docs: http://canalx.readthedocs.io/en/latest/
待发布状态, 敬请期待
基于 Canal
的数据感知服务框架. 可用于围绕数据库Mysql
进行数据相关的各式业务开发, 并建立各式各样的服务平台。例如:
- 热点数据缓存KV服务
- 用户操作日志服务
- 数据变更通知服务
- 搜索服务
CanalX
是一个框架, 采用injector->processor->router架构, 并采用插件式开发, 可扩展性极强. 目前(以及短期)的插件有:
- 数据导入功能(injector):
- 支持
Canal
->Kafka
->CanalX
的数据导入方案。(已发布, 插件canalx-injector-kafka
) - 支持
Canal
->CanalX
的数据导入方案。(pending, 插件canalx-injector-canal
)
- 支持
- 数据处理功能(processor):
Data
->kv/codis
。将变更Data数据转化成 全内存的kv
存储 或者Codis(redis的某种实现)
中间件存储。(已发布, 插件canalx-processor-kv-codis
)Data
->History
。将变更Data数据转化成History
存储。(pending, 插件canalx-processor-history
)Data
->Mysql(Mybatis)
。将变更Data数据写到Mysql(使用Spring/Mybatis)的示例。(插件canalx-processor-mybatis
Data
->Notification
。将变更Data数据转化成Notification
存储。(pending, 插件canalx-processor-notification
)Data
->ElasticSearch
。将变更Data数据转化成ElasticSearch
搜索服务。(pending, 插件canalx-processor-es
)
- 数据发布功能(router):
web-rest
发布。将processor中的数据以web-rest
接口的方式。(已发布, 插件canalx-router-rest
)- 相配套的client: rest-client
dubbo
发布。将processor中的数据以dubbo-rpc
接口的方式(pending, 插件canalx-router-dubbo
)kepler
发布。将processor中的数据以kepler-rpc
接口的方式(pending, 插件canalx-router-kepler
)
- canalx-select-db-json - Fetch MYSQL's data to K-V style data. http://github.com/knightliao/canalx-select-db-json