我们是阿里消息团队,已经发展了10年之久。
我们是中国最好的消息团队,已经走出国门打造Apache RocketMQ顶级项目。
我们在云原生时代,有了新的征程,消息与流存储技术,事件与流式处理,云原生消息交付与管理。
我们要做最先进的消息技术,还要做最受欢迎的消息产品,更要拥有最大的消息市场。
我们在做一件长期有价值的事情,新的10年,欢迎你的加入 [email protected],杭州、北京、深圳都可。
Apache RocketMQ 顶级项目
https://github.com/apache/rocketmq
OpenMessaging DLedger,基于Raft的一致性存储库
https://github.com/openmessaging/openmessaging-storage-dledger
OpenMessaging Benchmark, 消息性能测试
https://github.com/openmessaging/openmessaging-benchmark
对于我们团队有任何疑问,欢迎采用社区的方式进行沟通,提Issue。
云计算蓬勃发展,我们的规模也在迅速上涨,目前已有万级ECS。
集群流量峰值从20MB/s到2000MB/s+不等。
集群磁盘容量从500GB到100T+不等。
网络模式有公网、VPC、SLB等。
消息是个存储产品,其操作带有极强连续性语义,这是一个重度状态的应用。
消息团队的应用交付和管理,问题规模非常大,传统运维和管理理念已经不再适用。
我们要充分吸收『应用交付与管理』领域最先进的理念和设计,提升成本和效率。
如果你曾经有过集群管理经验,这里可以成为你证明自己实力的地方。 如果你学习过k8s,却苦于没有实战场景,这里也可以成为你的练兵场。
消息是个存储产品,持久化,多副本一致性,事务,定时,高可用,低延迟,这些都是最基本的要求。
流是一连串顺序的消息,实时性,高吞吐,无缝弹缩,断点续读,是其最显著的特点。
从消息到流,场景在变,形态在变,但延续着一个不变的共同点,就是append-only。
这在最基本的层面,保证了存在一个统一的存储引擎,可以满足不同场景的需求。
消息与流,在存储之上,又有着比较特殊的操作语义,Batch, 负载消费,数据冷热有别。
这又促进了架构上的存储计算分离,多级存储,碎片整理等一系列架构升级。
极致的性能,极致的弹性,极致的稳定,是我们永恒的追求,也是打胜仗的保障。
你不一定要写过消息存储引擎,只要有过存储相关经验,或者分布式相关经验,都可以来挑战这个领域。
消息本身就是数据,数据是价值的源头,但数据在消息这里只是一个过客,这是不能令人满意的。
事件是实时的带有Schema的消息,有了Schema,就有了实时理解的可能。
流是一连串消息或者事件,这是一种特殊的形态。
一个传统的map-reduce引擎,不是我们的目标,针对这种特殊的形态,必然有着特殊的操作语义。
这是一个相对比较新的领域,是一个需要突破已有认知的领域。
我们已经有了一定规模的市场,也就有了丰富的使用场景,这是创新的土壤,只待创新的产品生根发芽。
如果你对事件处理、流式处理比较感兴趣,又爱折腾新东西,这里非常适合你。