靠谱 的软件外包伙伴

您的位置:首页 > 新闻动态 > 移动app开发利器轻量级RPC框架微博Motan

移动app开发利器轻量级RPC框架微博Motan

2016-05-11 15:10:05

微博方面宣布,支撑微博千亿调用的轻量级 RPC 框架 Motan 正式开源了,项目地址为https://github.com/weibocom/motan。微博技术团队希望未来能有更多优秀的开源人入驻,并进一步完善优化。

微博轻量级RPC框架Motan正式开源

微博轻量级RPC框架Motan正式开源

Motan 是微博技术团队研发的基于 Java 的轻量级 RPC 框架,已在微博内部大规模应用多年,每天稳定支撑微博上亿次的内部调用。Motan 基于微博的高并发和高负载场景优化,成为一套简单、易用、高可用的 RPC 服务框架。

Motan 功能特点:简单、易用、高可用

无侵入集成、简单易用,通过 Spring 配置方式,无需额外代码即可集成分布式调用能力。

集成服务发现和服务治理能力,灵活支持多种配置管理组件,如 Consul、ZooKeeper 等。

支持自定义动态负载均衡、跨机房流量调整等高级服务调度能力。

基于高并发、高负载场景优化,具备 Failover、Failfast 能力,保障 RPC 服务高可用。

业界典型 RPC 框架对比

目前,业界 RPC 框架大致分为两类,一种是偏重服务治理,另一种侧重跨语言调用。

服务治理型的 RPC 框架典型的是 Dubbo 和 DubboX。Dubbo 是阿里开源的分布式服务框架,实现高性能的 RPC 调用同时提供了丰富的管理功能,是一款应用广泛的优秀的 RPC 框架,但现在较少维护更新。DubboX 是由当当在基于 Dubbo 框架扩展的一个 RPC 框架,支持 REST 风格的远程调用、Kryo/FST 序列化,增加了一些新的 feature。

这类 RPC 框架的特点是功能丰富,提供高性能的远程调用、服务发现及服务治理能力,适用于大型服务的服务解耦及服务治理,对于特定语言(Java)的项目可以实现透明化接入。缺点是语言耦合度较高,跨语言支持难度较大。

跨语言调用型的 RPC 框架有 Thrift、gRPC、Hessian、Hprose 等。这类 RPC 框架侧重于服务的跨语言调用,能够支持大部分的语言进行语言无关的调用,非常适合多语言调用场景。但这类框架没有服务发现相关机制,实际使用时需要代理层进行请求转发和负载均衡策略控制。

微博的 Motan RPC 倾向于服务治理型,跨语言方面正在尝试与 PHP 的调用集成。与 Dubbo 系列相比在功能上或许不是那么全,扩展实现也没有那么多,但 Motan 更注重简单、易用以及在高并发高可用场景的使用。

Motan 是基于 Java 的高性能轻量级 RPC 框架,其具备实用的服务治理功能和 RPC 协议扩展能力。服务发现灵活支持多种配置管理组件,基于高并发高负载场景的高可用策略优化,良好的 SPI(Service Provider Interface)扩展,详细的调用统计,灵活支持多种 RPC 传输协议,在使用上,无缝支持Spring 配置方式,通过简单灵活的配置即可快速接入使用。

Motan 的架构及模块设计

架构设计,分为服务提供方(RPC Server)、服务调用方(RPC Client)、注册中心(Registry)三个角色,Server 向 Registry 注册声明所提供的服务;Client 向 Registry 订阅指定服务,与 Registry 返回的服务列表的 Server 建立连接,进行 RPC 服务调用。Client 通过 Registry 感知 Server 的状态变更。三者的交互关系如下图:

微博轻量级RPC框架Motan正式开源

服务模块化设计方便灵活扩展,Motan 主要包括 register、transport、serialize、protocol、cluster 等,各个模块都是支持通过SPI 进行扩展,各个模块的交互图如下:

微博轻量级RPC框架Motan正式开源

register 模块

用来和注册中心进行交互,包括注册服务、订阅服务、服务变更通知、服务心跳发送等功能;Server 端会在系统初始化时通过 register 模块注册服务,Client 端在系统初始化时会通过 register 模块订阅到具体提供服务的 Server 列表,当 Server 列表发生变更时也由 register 模块通知 Client。

protocol 模块

用来进行 RPC 服务的描述和 RPC 服务的配置管理,这一层还可以添加不同功能的 filter 用来完成统计、并发限制等功能。

serialize 模块将 RPC 请求中的参数、结果等对象进行序列化与反序列化,即进行对象与字节流的互相转换;默认使用对 Java 更友好的 hessian2 进行序列化。

transport 模块用来进行远程通信,默认使用 Netty NIO 的 TCP 长链接方式。

cluster 模块

Client 端使用的模块,cluster 是一组可用的 Server 在逻辑上的封装,包含若干可以提供 RPC 服务的 Server,实际请求时会根据不同的高可用与负载均衡策略选择一个可用的 Server 发起远程调用。

在进行 RPC 请求时,Client 通过代理机制调用 cluster 模块,cluster 根据配置的 HA 和 LoadBalance 选出一个可用的 Server,通过 serialize 模块把RPC 请求转换为字节流,然后通过 transport 模块发送到 Server 端。

服务配置化增强了 Motan 的易用性,Motan 框架中将功能模块抽象为四个可配置的元素,分别为:

protocol:服务通信协议。服务提供方与消费方进行远程调用的协议,默认为 Motan 协议,使用 hessian2 进行序列化,Netty 作为 Endpoint 以及使用Motan 自定义的协议编码方式。 registry:注册中心。服务提供方将服务信息(包含 IP、端口、服务策略等信息)注册到注册中心,服务消费方通过注册中心发现服务。当服务发生变更,注册中心负责通知各个消费方。 service:服务提供方提供的服务。使用方将核心业务抽取出来,作为独立的服务。通过暴露服务并将服务注册至注册中心,从而使调用方调用。 referer:服务消费方对服务的引用,即服务调用方。

Motan 推荐使用 Spring 配置 RPC 服务,目前 Motan 扩展了 6 个自定义 Spring XML 标签 motan:protocol motan:registry motan:basicService

motan:service motan:basicReferer motan:referer

高可用方面是 Motan 的一大特点,支持多种服务治理和高可用机制,包括:

灵活多样的集群负载均衡策略,支持 ActiveWeight/Random/RoundRobin/LocalFirst/Consistent 等 6 种策略,并支持自定义扩展; 自动集成 Failover、Failfast 容错策略,实现故障节点自动摘除,自动探测恢复,有效进行服务故障隔离,远离服务卡死及雪崩; 连接池自定义控制,根据业务场景灵活配置; 支持多机房间调用流量压缩、动态流量调整,实现真正的跨 IDC 的高可用。

基于高并发、高负载场景的优化,具备在高压力场景下的高可用能力。

基准测试情况如下:

Server 端:并发多个 Client,连接数 50、并发数 100 的场景

空包请求:单 Server TPS 18W

1K String 请求:单 Server TPS 8.4W

5K String 请求:单 Server TPS 2W

Client端:(场景对比图如下)

微博轻量级RPC框架Motan正式开源

Motan 提供了基础性能测试框架,欢迎使用者进行性能评估,源码请参考 motan benchmark 文档:

https://github.com/weibocom/motan/tree/master/motan-benchmark

Motan 使用及易用性方面,Motan 使用 Spring 进行配置,业务代码无需修改,工程依赖只涉及核心 5 个模块,且可以按需依赖。关于在项目中使用Motan 框架的具体步骤,可参考快速入门文档:https://github.com/weibocom/motan/blob/master/docs/wiki/zh_quickstart.md

是否重复造轮子

在 RPC 框架的选择上,如上面针对各种 RPC 框架的对比,当前业界可供选择并持续维护的优秀 RPC 框架并不多。同时鉴于微博的内部调用量非常大,并且会有很多定制化的场景,要做到平滑的迁移到这些 RPC 框架也需要做不少定制化的改造,最终微博决定自主研发。主要从以下几个方面考虑:

框架的性能和可用性需要定制化;

微博内部调用量级非常大,业界很少类似场景的应用经验可以借鉴,需要针对高并发和复杂逻辑场景定制优化。 比如Motan 的 Failover 和 Failfast 机制等尽量做到平滑的迁移;

线上业务迁移需要保障业务改造尽量少,支持可快速回退,这个必须有有效的机制保障。比如 Motan 的 inJvm 机制等未来多语言兼容接入诉求;

微博整体技术体系包括 Java 和 PHP,还有部分 Erlang、C++ 等,未来希望能够通过这套服务框架解决整体内部依赖调用问题。 技术积累储备及掌控力。

Motan 的发展及开源

Motan 当前在微博内部已经广泛应用,每天支撑着上亿的内部调用,这个过程也是一个持续改进优化的过程。从服务发现、服务容错、快速失败、故障降级等多方面,针对复杂业务架构及高并发场景进行不断的定制优化改进。随着虚拟化技术的兴起,弹性调度成为成熟技术框架不可或缺的能力,新的Motan 框架技术负责人也适时对其增加了数据流量压缩、动态流量调整、多注册中心支持等功能、让 Motan 能够适应时代的变化。

为了方便其他团队的复用,针对 Motan 核心功能进行抽离和封装,去除掉微博自身依赖,形成今天的 Motan 开源版本,希望能发挥开源社区的力量,进一步发展和发挥 Motan 的价值。

Motan 的期待

在这唯快不破的互联网时代,软件的开发速度已经达到了前所未有的高度。这得益于软件已有模块的大规模复用。在过去的几年里,开源软件无疑在这方面做出了巨大的贡献。

微博技术团队表示,受益于开源社区,同时也希望能够为开源社区贡献自己的力量。 Motan 是经过微博大规模实践的轻量级 RPC 框架,希望未来能有更多优秀的开源人一起进一步完善优化。也期待更多的公司可以享受 Motan 这个轻量级 RPC 框架带来的非一般的感觉。

Motan 项目地址: https://github.com/weibocom/motan

 

关于:中科研拓

深圳市中科研拓科技有限公司专注提供软件外包、app开发、智能硬件开发、O2O电商平台、手机应用程序、大数据系统、物联网项目等开发外包服务,十年研发经验,上百成功案例,中科院软件外包合作企业。通过IT技术实现创造客户和社会的价值,致力于为用户提供最佳的软件解决方案。联系电话400-0316-532,邮箱sales@zhongkerd.com,网址www.zhongkerd.com


  上一篇   [返回首页] [打印] [返回上页]   下一篇