云计算架构在银行批处理流程优化中的应用研究.pdfVIP

龙源期刊网

云计算架构在银行批处理流程优化中的应用

研究

作者：赵曦

来源：《软件导刊》2013年第10期

摘要：银行业在实现业务和数据集中处理的信息化架构后，随着业务的发展，面对数量越

来越多、规模越来越大的批处理需求，如何提高计算资源的使用效率和灵活配置资源是银行信

息中心不断面对的挑战。以资源和应用虚拟化为核心的云计算架构和技术正在不断发展和成

熟，它可以有效地提高信息中心的资源使用，为批处理业务动态配置有效资源。针对以批处理

中按照业务类型和处理流程进行资源配置的传统方法，提出了一种将业务流程进行优化分解成

为可以进行独立并行处理任务的方法，可以在云计算环境下分组处理具有共同特征的计算和操

作任务，实现优化资源调配。通过HadoopMapReduce并行计算架构进行模拟验证，初步实验

结果表明了该方法在批处理执行效率、资源使用和灵活性方面的优势，在大量批处理业务领域

（金融、证券、电子商务）具有一定的应用和研究价值。

关键词：银行业务；批处理流程；HadoopMapReduce；云计算

中图分类号：TP302文献标识码：A文章编号文章编号（2013）0010000104

作者简介：赵曦（1971-），男，博士，上海金融学院信息管理学院副教授，研究方向为

互联网金融应用。

引言0

随着大型商业银行业务规模的扩大和信息技术的发展，数据中心已经成为大型商业银行

业务系统与数据资源进行集中业务处理的枢纽，汇集了规模化的IT计算、存储和网络资源。

银行主要承担本外币储蓄、信用卡、对公存贷款业务，银行汇票及联行业务，国际结算和

外汇买卖，代收代付等业务[1]。银行业以网络和信息技术作为其业务处理的核心支撑，形成

了前端业务信息采集、中端数据交换和数据中心处理“分布采集、集中处理”模式。随着业务量

的增加和金融新产品的涌现，业务管理和信息处理“大集中”后对流程处理效率、系统扩展性和

数据存储可靠性提出了更高的要求。金融行业特别是银行业在处理在线联机业务（online

transaction）的同时，还需要处理大量的离线批处理业务（batchprocessing），如影像文件处

理、票据结算、外汇清算、代发薪资、各类报表，批处理业务具有数据量大、占用计算资源

多、限时处理完成的特点，银行信息中心通常要配备足够的资源在特定时间段（夜间、周末、

月末）进行批量业务数据处理。如何提高批处理业务能力、合理配置计算资源是银行信息中心

不断要面对的挑战。

龙源期刊网

以计算资源和服务虚拟化为核心的云计算架构和技术得到了广泛的认同，正在成为IT产

业和信息化应用系统架构的发展趋势，实践表明，基于云计算架构的系统在资源利用、服务效

率、运行成本及能源消耗方面具有明显的优势。

本文提出了一种应对批量业务流程处理的优化方法，基本原理是将业务流程的任务节点进

行分解和分类，形成流程队列和若干可以进行并行处理分类任务队列，使用Hadoop

MapReduce并行计算框架进行并行处理，MapReduce提供的资源调度和容错机制能够有效提高

业务处理系统的可扩展性和稳定性。模拟实验表明，流程任务分解优化方法比通常的以流程为

处理单元的方式具有一定的优势，可以在云计算环境下分组处理具有共同特征的计算和操作任

务，实现优化资源调配，提高批量业务处理的效率。

批处理业务流程优化1

批量业务处理是指一组遵循同一处理流程的重复操作，而涉及的业务流程是一组将输入转

化为输出的相互关联或相互作用的活动，活动之间不仅有严格的先后顺序限定，而且活动的内

容、方式、责任等也都必须有明确的安排和界定，以使不同活动在不同角色之间进行交接成为

可能，批量处理业务流程活动之间的转移不需要人工干预。处理流程中的活动根据数据处理的

要求和特点进行设计，如先进行数据核对，然后进行计算，最后进行账户操作，每个活动会产

生临时数据。为了提高处理能力和资源使用效率，流程活动设计尽可能遵循以下几个原则：

①独立于其它流程和活动，可进行重复操作；②使用较少类别的计算资源，CPU、网络、

存储；③能够进行并行处理。

图1示意了批量流程处理的原理，银行信息中心在每个批处理周期安排若干批处理的规

划，配置计算资源，启动和监控批处理过程。每个批处理中包括对应