Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

plink 0.2新功能点收集 #87

Open
sllence opened this issue Jun 30, 2020 · 14 comments
Open

plink 0.2新功能点收集 #87

sllence opened this issue Jun 30, 2020 · 14 comments
Labels
discuss discuss for every

Comments

@sllence
Copy link
Contributor

sllence commented Jun 30, 2020

plink 新功能点收集

以下是暂定的Plink 0.2待支持的功能点,有任何新想法请在下面追加评论,
功能点收集完成后会在qq群里进行投票来确定最终的功能点,欢迎大家积极参与

  • 支持flink sql任务
  • 支持flink on yarn
  • 支持查看启动日志
  • flink metrics采集与展示
  • 支持监控报警
  • 支持系统自动重试
  • 支持用户体系
@sllence sllence added the discuss discuss for every label Jun 30, 2020
@amazingSaltFish
Copy link

前排赞颂大佬牛逼!

@lingya
Copy link

lingya commented Jul 1, 2020

source 支持 avro
支持UDF
sink 支持 hive

@sllence sllence changed the title plink 新功能点收集 plink 0.2新功能点收集 Jul 1, 2020
@sllence
Copy link
Contributor Author

sllence commented Jul 1, 2020

source 支持 avro
支持UDF
sink 支持 hive

@lingya source和sink的能力去看官方的sql,可自主扩展,我了解flink 1.11已经支持hive sink了

@lingya
Copy link

lingya commented Jul 1, 2020

source 支持 avro
支持UDF
sink 支持 hive

@lingya source和sink的能力去看官方的sql,可自主扩展,我了解flink 1.11已经支持hive sink了

@sllence 明白,plink可以直接支持吗?

@linxin4wtl
Copy link

希望能够在启动任务的时候,能够传性能参数,比如并发、内存等

@sllence
Copy link
Contributor Author

sllence commented Jul 3, 2020

希望能够在启动任务的时候,能够传性能参数,比如并发、内存等

@linxin4wtl 目前提交任务的是通过flink的rest api进行提交的,不支持设置参数,这块会在flink on yarn里进行支持

@linxin4wtl
Copy link

希望能够在启动任务的时候,能够传性能参数,比如并发、内存等

@linxin4wtl 目前提交任务的是通过flink的rest api进行提交的,不支持设置参数,这块会在flink on yarn里进行支持

如果有参数调整的话应该是个很好的亮点,用户能够通过当前系统搞定一切了,通过监控发现问题再进行调整参数。
或基于flink扩展一层?支持on yarn以及alone模式多种引擎

@sllence
Copy link
Contributor Author

sllence commented Jul 3, 2020

希望能够在启动任务的时候,能够传性能参数,比如并发、内存等

@linxin4wtl 目前提交任务的是通过flink的rest api进行提交的,不支持设置参数,这块会在flink on yarn里进行支持

如果有参数调整的话应该是个很好的亮点,用户能够通过当前系统搞定一切了,通过监控发现问题再进行调整参数。
或基于flink扩展一层?支持on yarn以及alone模式多种引擎

后续都会支持的包括k8s,不过k8s最早得下下个版本了

@lingya
Copy link

lingya commented Aug 13, 2020

是否可以直接升级到 flink1.11.1 ?

@sllence
Copy link
Contributor Author

sllence commented Aug 14, 2020

是否可以直接升级到 flink1.11.1 ?

@lingya 正常情况下平台支持托管任意版本的flink客户端,但sql任务的解析会依赖于固定的flink版本,目前会基于最新版本的api进行解析,这不影响其他版本flink jar任务托管

@lingya
Copy link

lingya commented Aug 14, 2020

是否可以直接升级到 flink1.11.1 ?

@lingya 正常情况下平台支持托管任意版本的flink客户端,但sql任务的解析会依赖于固定的flink版本,目前会基于最新版本的api进行解析,这不影响其他版本flink jar任务托管

jar任务不需要,V0.2 的 sql任务的解析要不升级最新版本 Flink1.11.1?

@sllence
Copy link
Contributor Author

sllence commented Aug 14, 2020

jar任务不需要,V0.2 的 sql任务的解析要不升级最新版本 Flink1.11.1?

看开发进度,会尽可能的用flink的最新版本,比如开发过程中flink发布1.12了会直接使用1.12

@lingya
Copy link

lingya commented Aug 15, 2020

jar任务不需要,V0.2 的 sql任务的解析要不升级最新版本 Flink1.11.1?

看开发进度,会尽可能的用flink的最新版本,比如开发过程中flink发布1.12了会直接使用1.12

好的

@fantasticKe
Copy link

任务定时调度

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
discuss discuss for every
Projects
None yet
Development

No branches or pull requests

5 participants