靠谱 的软件外包伙伴

您的位置:首页 > 新闻动态 > APP外包开发中,数据实时集成案例分享!

APP外包开发中,数据实时集成案例分享!

2016-07-20 10:51:55

很多企业app外包开发系统建设中,开始关注和选用具有“自我特色”的开源技术和软件作为整体解决方案中的组成部分去实施。

以下案例是国外某客户,包括核心系统在内的众多生产系统中已运行 IBM 软件产品,其核心环节中使用 IBM 数据复制软件,再结合开源软件和工具,实现了从重要的交易业务生产系统中使用 IBM 软件实时地复制数据到目标系统,在目标系统上通过开源软件把数据进行分发、加工处理、交付到数据库分析系统中,实现对业务进行实时分析。

全面拥抱开源技术,数据实时集成案例分享

1)数据实时复制

负责从各个业务系统上实时地复制交易数据,选用IBM Change Data Capture软件产品来实现。

2)数据采集

负责从目标系统上实时地采集数据,选用 Apache Flume 来实现。

3)数据接入

由于采集数据的速度和数据处理的速度不一定同步,因此添加一个消息中间件来作为缓冲,选用 Apache Kafka。

4)流式计算

对采集到的数据按业务规范进行实时处理和分析,选用 Apache Storm。

5)数据输出

把处理后的结果存放,实现持久化、稳定化和高效化,使用开源的NoSQL数据库。

 

方案优点

下面,我们对几个开源的核心软件做个简单扼要的说明,相信大家对IBM CDC都有了一定了解,此处不多花笔墨作说明。

1) Apache Flume

Apache Flume 提供了一个分布式、可靠、和高可用的海量日志采集、聚合和传输的日志收集系统;支持在日志系统中定制各类数据发送方,用于收集数据 Flume 提供对数据进行高效处理,擅长转移大数据量的日志和交易数据;通过通道(channel)无缝连接 Kafka。

2) Apache Kafka

kafka 是一种高吞吐量的分布式发布订阅消息系统,目标是提供一个发布订阅解决方案,它可以处理消费者规模的网站中的所有动作流数据。

全面拥抱开源技术,数据实时集成案例分享

Kafka 具有如下特性:

  • 提供消息的持久化,即使数以TB的消息存储也能够保持长时间的稳定性能。
  • 令你高吞吐量,即使是非常普通的硬件,kafka也可以支持每秒数十万的消息。
  • 支持通过kafka服务器和消费机集群来分区消息。
  • 支持Hadoop并行数据加载。

3) Apache Storm

Storm 能处理大批量数据,在保证高可靠性的前提下,还可以让处理进行得更加实时,也就是说,所有的信息都会被处理。Storm 同样还具备容错和分布计算这些特性,这就让 Storm 可以扩展到不同的机器上进行大批量的数据处理。

Storm 具有如下特性:

  • 简单的编程模型。类似于MapReduce 降低了并行批处理复杂性,Storm 降低了进行实时处理的复杂性。
  • 可以使用各种编程语言。你可以在Storm 之上使用各种编程语言,默认支持 Clojure、Java、Ruby 和Python。要增加对其他语言的支持,只需实现一个简单的Storm通信协议即可。
  • 水平扩展。计算是在多个线程、进程和服务器之间并行进行的。对于扩展,你只需要添加机器和改变对应的 Topology(拓扑)设置。
  • 容错性。Storm 保证每个消息至少能得到一次完整处理,任务失败时,它会负责从消息源重试消息,会管理工作进程和节点的故障。
  • 本地模式。Storm 有一个“本地模式”,可以在处理过程中完全模拟 Storm 集群。

 

方案优势

  • 使用流计算处理核心业务数据,包括:交易行情数据、业务日志等重要业务信息,不但能高效处理,还能保证数据的完整性和准确性。
  • 能有效地解决了从 Flume 到 Kafka 实时数据优于单条过快,造成 stormspout 消费 kafka 速率跟不上。手段是通过进行多 tuple 结构优化,对多个 log 打包成一个 tuple 进行发射处理。
  • 提高整个系统运行的可靠性和高可用性。数据处理经过模块化之后,解决了用户最担心的假如当 Storm 挂掉了,数据采集和数据接入还是继续在跑着,数据不会丢失, Storm 起来之后可以继续进行流式计算。
  • 在使用 IBM 产品处理核心业务的数据和信息的基础上,拥抱开源产品,在满足需求前提下进行技术创新,以追求较好的性价比。

 

总结

全面拥抱开源技术,数据实时集成案例分享

1、IBM 提供云技术及数据服务,积极地支持开源技术和发展方向,无论是IBM现有客户,还是潜在的新客户,都能在结合 IBM 产品和解决方案之内或之外,找到最佳的解决方案,以满足业务要求和支持业务发展;

2、IBM支持广阔范围的开源技术及软件产品集成,为用户建设 IT系统时带来更大的灵活性和扩展性;

3、在 2015年, IBM 公司已被业界评为最具科技创新(most-innovative-companies)公司,帮助客户快速创新,获得最佳经济效益和减低实施风险。

 

关于:中科研拓

深圳市中科研拓科技有限公司专注提供软件外包、app开发、智能硬件开发、O2O电商平台、手机应用程序、大数据系统、物联网项目等开发外包服务,十年研发经验,上百成功案例,中科院软件外包合作企业。通过IT技术实现创造客户和社会的价值,致力于为用户提供最佳的软件解决方案。联系电话400-0316-532,邮箱sales@zhongkerd.com,网址www.zhongkerd.com


  上一篇   [返回首页] [打印] [返回上页]   下一篇