Skip to content

Release v4.1.0

Latest
Latest
Compare
Choose a tag to compare
@baisui1981 baisui1981 released this 27 Feb 08:48
v4.1.0
120a3e7

Abstract

TIS的v4.1.0版本终于要与大家见面了，v4.1.0在以下几方面进行了功能加强和升级。

  1. 扩展TIS生态，新增多个实时 CDC Connector，如SqlServer，MongoDB，Oracle，人大金仓KingBase，Kafka，PostgreSQL。
  2. 支持源表列注释同步到目标表列，该功能在AI Chat-DB的场景中尤为重要。例如，用户将数据同步到 OLAP 库Doris中，Chat-DB需要依赖目标表的列注释来自动生成SQL，如用户手动同步会非常繁琐。
  3. 为Doris 添加了多个实用的功能，支持Doris 同步目标表DDL自动生成参数化，如：用户可以指定副本数、分桶数，另外，用户可批量添加目标表前缀，如：“ods_”
  4. 优化了Hive表导入、导出功能，增加了多种主流文件格式，如：Parquet、OCR、HFile，并且支持非分区表读取。
  5. 为了繁荣TIS生态构建，实现TIS社区良性发展，引入众包协作机制，让第三方开发者与TIS的用户有效互动、相互协助，TIS实现社区协作机制 https://tis.pub/community-collaboration
  6. 去除了之前添加的Zeppelin Notebook相关功能模块，实际使用下来使用者寥寥，切会增大TIS发布包体积，因此在该版本中将其去除。

Bug Fix

  • 由于flink 类更改导致序列化版本不一致错误，而客户端界面无法感知到错误#406
  • 利用FTP将CSV文件导入doris 配置流程出错#404
  • 4.0.1版本MySQL--> Doris，数据管道中的 Writer部分的 maxBatchSize 参数修改不生效#392
  • 使用JSON Splitter拆分记录中的JSON字段内容出错#390
  • 使用sqlserver2008创建数据源时，出现报错java.lang.RuntimeException: java.lang.NoClassDefFoundError: javax/xml/bind/DatatypeConverter#381
  • MongoDB作为数据源不支持Transformer功能#371
  • MongoDB 作为source源执行预览查看报错#370

Others

  • mysql 主键不在第一行，增量导入doris会报错#400

New Feature

  • 建议“数据管道添加“，支持批量修改StarRocks目标表名称，设置目标表属性，新增目标表字段。#410
  • 人大金仓批量增量支持#408
  • 删除Zeppelin Notebook相关功能模块#395
  • SqlServer数据库需支持基于chunjun实时写connector#386
  • PG增量复制需要源端Replica FULL，对源端性能影响严重#384
  • mongoDB 基于flink-cdc的实时读Connector实现#375
  • Oracle 基于logminer实时读 Connector 实现#374
  • 增加建表列字段的comments信息#351
  • Kafka 实现实时读#344
  • SqlServer数据库需支持基于flink-cdc实时读connector#340
  • 社区协作插件改造#317
  • 【UI】Table DDL Script名称过长问题#305

Installation

Related Projects

Assets 2
Loading