start refactoring toward python grpc client #56

robertchoi80 · 2021-09-02T04:21:13Z

workflow 로직 내에서 tks service와 통신하는 부분을 python grpc client로 구현하였습니다.
tks-proto 로부터 생성된 python binding 코드를 configmap으로 만들어 컨테이너에 마운트하는 형태로 작성하였고, (최초 1회) configmap 생성 부분은 README에 절차를 언급하던지, 또는 자동화를 고민해볼 예정입니다.
본 PR이 동작하려면 openinfradev/tks-proto#26 이 먼저 반영되어야 합니다.

commit 메세지가 정리가 좀 안되었는데, 머지 전에 rebase해서 합치도록 하겠습니다.

ktkfree · 2021-09-03T01:01:53Z

templates/decapod-apps/tks-lma-federation-wftpl.yaml

+        import info_pb2_grpc
+        import common_pb2
+        import common_pb2_grpc
+


tks proto import 는 어떻게 처리하셨는지 코드상으로는 표현되지 않네요.
관련하여 tks project 가 모두 private repo 로 옮겨졌기때문에 최신 버전의 proto를 import하기 위해서는 아마 아래 정도의 작업이 필요할 수 있을 것 같습니다.
. https://mingrammer.com/go-modules-private-repo/

엇? 이 블로그는 클라이언트 단이 아닌 서버단에서 proto를 import할 때 저도 참고했던 블로그입니다. 여기서의 import는 미리 생성된 python binding 코드를 configmap으로 만들어두고 컨테이너에 마운트해서 사용합니다.(volumeMount 부분 참고)

zugwan · 2021-09-03T04:49:06Z

추가로 LMA 컴포넌트들 설치하는 워크플로우 템플릿과 이를 사용해서 추가로 TKS 서비스와 연동하는 워크플로우(in https://github.com/openinfradev/tks-flow) 를 만드는 쪽으로 정리했던 것으로 기억하는데 @intelliguy 님 확인 부탁 드립니다.

위 내용이 맞다면 태일님 작업 중인 부분은 tks-flow 쪽에 반영되는 것이 좋겠습니다.

robertchoi80 · 2021-09-03T06:16:21Z

추가로 LMA 컴포넌트들 설치하는 워크플로우 템플릿과 이를 사용해서 추가로 TKS 서비스와 연동하는 워크플로우(in https://github.com/openinfradev/tks-flow) 를 만드는 쪽으로 정리했던 것으로 기억하는데 @intelliguy 님 확인 부탁 드립니다.

위 내용이 맞다면 태일님 작업 중인 부분은 tks-flow 쪽에 반영되는 것이 좋겠습니다.

네, 성일님 확인해주시면 그렇게 옮기도록 하겠습니다. 근데 성일님은 알림을 꺼놓으셨는지 @ mention해도 거의 안보시더라구요. 월요일까지 기다려보고 직접 문의해봐야겠습니다.

zugwan · 2021-09-03T07:51:10Z

추가로 LMA 컴포넌트들 설치하는 워크플로우 템플릿과 이를 사용해서 추가로 TKS 서비스와 연동하는 워크플로우(in https://github.com/openinfradev/tks-flow) 를 만드는 쪽으로 정리했던 것으로 기억하는데 @intelliguy 님 확인 부탁 드립니다.
위 내용이 맞다면 태일님 작업 중인 부분은 tks-flow 쪽에 반영되는 것이 좋겠습니다.

네, 성일님 확인해주시면 그렇게 옮기도록 하겠습니다. 근데 성일님은 알림을 꺼놓으셨는지 @ mention해도 거의 안보시더라구요. 월요일까지 기다려보고 직접 문의해봐야겠습니다.

네, 오전에 말씀드린 부분하고 합쳐서 정리하면 아래와 같습니다.

openinfradev/decapod-flow에는LMA 컴포넌트를 구축하는 워크 플로우 템플릿((lma-uniformed-wftpl.yaml))만 존재
tks-flow에 태일님이 작업하는 tks 서비스와 통신하는 워크플로우 템플릿 생성
tks-flow에 위 1), 2) 워크플로우 템플릿을 호출하는 tks LMA 구성 워크플로우 템플릿(tks-lma-federation-wftpl.yaml) 생성

bluejayA · 2021-09-03T07:54:19Z

추가로 LMA 컴포넌트들 설치하는 워크플로우 템플릿과 이를 사용해서 추가로 TKS 서비스와 연동하는 워크플로우(in https://github.com/openinfradev/tks-flow) 를 만드는 쪽으로 정리했던 것으로 기억하는데 @intelliguy 님 확인 부탁 드립니다.
위 내용이 맞다면 태일님 작업 중인 부분은 tks-flow 쪽에 반영되는 것이 좋겠습니다.

네, 성일님 확인해주시면 그렇게 옮기도록 하겠습니다. 근데 성일님은 알림을 꺼놓으셨는지 @ mention해도 거의 안보시더라구요. 월요일까지 기다려보고 직접 문의해봐야겠습니다.

네, 오전에 말씀드린 부분하고 합쳐서 정리하면 아래와 같습니다.

openinfradev/decapod-flow에는LMA 컴포넌트를 구축하는 워크 플로우 템플릿((lma-uniformed-wftpl.yaml))만 존재

tks-flow에 태일님이 작업하는 tks 서비스와 통신하는 워크플로우 템플릿 생성

tks-flow에 위 1), 2) 워크플로우 템플릿을 호출하는 tks LMA 구성 워크플로우 템플릿(tks-lma-federation-wftpl.yaml) 생성

@zugwan @robertchoi80 @intelliguy
위에 내용이 별도 티켓화 되어야 하면, 등록까지 해주시기 바랍니다.
아니면, 내용만 추가되면 되는 기존 티켓이 있을까요?

zugwan · 2021-09-03T08:14:08Z

추가로 LMA 컴포넌트들 설치하는 워크플로우 템플릿과 이를 사용해서 추가로 TKS 서비스와 연동하는 워크플로우(in https://github.com/openinfradev/tks-flow) 를 만드는 쪽으로 정리했던 것으로 기억하는데 @intelliguy 님 확인 부탁 드립니다.
위 내용이 맞다면 태일님 작업 중인 부분은 tks-flow 쪽에 반영되는 것이 좋겠습니다.

네, 성일님 확인해주시면 그렇게 옮기도록 하겠습니다. 근데 성일님은 알림을 꺼놓으셨는지 @ mention해도 거의 안보시더라구요. 월요일까지 기다려보고 직접 문의해봐야겠습니다.

네, 오전에 말씀드린 부분하고 합쳐서 정리하면 아래와 같습니다.

openinfradev/decapod-flow에는LMA 컴포넌트를 구축하는 워크 플로우 템플릿((lma-uniformed-wftpl.yaml))만 존재

tks-flow에 태일님이 작업하는 tks 서비스와 통신하는 워크플로우 템플릿 생성

tks-flow에 위 1), 2) 워크플로우 템플릿을 호출하는 tks LMA 구성 워크플로우 템플릿(tks-lma-federation-wftpl.yaml) 생성

@zugwan @robertchoi80 @intelliguy
위에 내용이 별도 티켓화 되어야 하면, 등록까지 해주시기 바랍니다.
아니면, 내용만 추가되면 되는 기존 티켓이 있을까요?

지금 작업 내용인 (2번)은 openinfradev/tks-client#4 (https://app.zenhub.com/workspaces/tks-development-60c96f813019b5000e5b69c3/issues/openinfradev/tks-client/4) 이 논의 후에 현재 내용대로 바뀐 것입니다.
(3번)은 성일님이 설명하시는 건 들었는데 티켓은 잘 모르겠습니다.

robertchoi80 · 2021-09-05T06:31:15Z

추가로 LMA 컴포넌트들 설치하는 워크플로우 템플릿과 이를 사용해서 추가로 TKS 서비스와 연동하는 워크플로우(in https://github.com/openinfradev/tks-flow) 를 만드는 쪽으로 정리했던 것으로 기억하는데 @intelliguy 님 확인 부탁 드립니다.
위 내용이 맞다면 태일님 작업 중인 부분은 tks-flow 쪽에 반영되는 것이 좋겠습니다.

네, 성일님 확인해주시면 그렇게 옮기도록 하겠습니다. 근데 성일님은 알림을 꺼놓으셨는지 @ mention해도 거의 안보시더라구요. 월요일까지 기다려보고 직접 문의해봐야겠습니다.

네, 오전에 말씀드린 부분하고 합쳐서 정리하면 아래와 같습니다.

openinfradev/decapod-flow에는LMA 컴포넌트를 구축하는 워크 플로우 템플릿((lma-uniformed-wftpl.yaml))만 존재

tks-flow에 태일님이 작업하는 tks 서비스와 통신하는 워크플로우 템플릿 생성

tks-flow에 위 1), 2) 워크플로우 템플릿을 호출하는 tks LMA 구성 워크플로우 템플릿(tks-lma-federation-wftpl.yaml) 생성

@zugwan @robertchoi80 @intelliguy
위에 내용이 별도 티켓화 되어야 하면, 등록까지 해주시기 바랍니다.
아니면, 내용만 추가되면 되는 기존 티켓이 있을까요?

지금 작업 내용인 (2번)은 openinfradev/tks-client#4 (https://app.zenhub.com/workspaces/tks-development-60c96f813019b5000e5b69c3/issues/openinfradev/tks-client/4) 이 논의 후에 현재 내용대로 바뀐 것입니다.
(3번)은 성일님이 설명하시는 건 들었는데 티켓은 잘 모르겠습니다.

2번의 경우 며칠 전에 새 이슈 등록했습니다
https://app.zenhub.com/workspaces/tks-development-60c96f813019b5000e5b69c3/issues/openinfradev/tks-issues/25

robertchoi80 · 2021-09-05T06:49:58Z

추가로 LMA 컴포넌트들 설치하는 워크플로우 템플릿과 이를 사용해서 추가로 TKS 서비스와 연동하는 워크플로우(in https://github.com/openinfradev/tks-flow) 를 만드는 쪽으로 정리했던 것으로 기억하는데 @intelliguy 님 확인 부탁 드립니다.

위 내용이 맞다면 태일님 작업 중인 부분은 tks-flow 쪽에 반영되는 것이 좋겠습니다.

네, 우선 end-to-end 로 흐름 보실 수 있게 대략적인 코드 작성이 완료되면 필요한 부분들은 tks-flow 쪽으로 옮길 생각입니다. 그전까지는 한눈에 보시는 게 편할 듯 하여 우선 여기다 commit 할게요.

github-actions · 2021-09-08T13:33:56Z

This PR is stale because it has been open 3 days with no activity. Remove stale label or comment or this will be closed in 3 days.

intelliguy · 2021-09-09T07:04:46Z

추가로 LMA 컴포넌트들 설치하는 워크플로우 템플릿과 이를 사용해서 추가로 TKS 서비스와 연동하는 워크플로우(in https://github.com/openinfradev/tks-flow) 를 만드는 쪽으로 정리했던 것으로 기억하는데 @intelliguy 님 확인 부탁 드립니다.

위 내용이 맞다면 태일님 작업 중인 부분은 tks-flow 쪽에 반영되는 것이 좋겠습니다.

기본 flow는 opensource flow로 유지하고 tks용이 필요하다면 해당 기능은 tks용 flow에 넣고 내부에서 opensource flow에 있는 내용은 호출해서 사용하는 방식으로 하자고 이야기 했었습니다

robertchoi80 · 2021-09-11T07:59:00Z

추가로 LMA 컴포넌트들 설치하는 워크플로우 템플릿과 이를 사용해서 추가로 TKS 서비스와 연동하는 워크플로우(in https://github.com/openinfradev/tks-flow) 를 만드는 쪽으로 정리했던 것으로 기억하는데 @intelliguy 님 확인 부탁 드립니다.
위 내용이 맞다면 태일님 작업 중인 부분은 tks-flow 쪽에 반영되는 것이 좋겠습니다.

기본 flow는 opensource flow로 유지하고 tks용이 필요하다면 해당 기능은 tks용 flow에 넣고 내부에서 opensource flow에 있는 내용은 호출해서 사용하는 방식으로 하자고 이야기 했었습니다

네, 기본적으로 tks-flow 쪽의 tks-lma-fed WF 에서 opensource 쪽의 lma-uniform WF 및 기타 WF 들을 호출하는 형태로 하면 될 것 같습니다.

i.e.,to make sure only one update-decapod-manifest task can run at a time

Jaesang · 2021-09-15T07:39:49Z

templates/decapod-manifests/update-decapod-manifest-wftpl.yaml

+        if not os.path.isdir(sitePath):
+            print("Cloning repository...")
+
+            repo = git.Repo.clone_from('https://github.com/robertchoi80/decapod-site', 'decapod-site')


태일님 repo를 바라보는건 어떤 의미인가요?

앗! 이거 고쳐야 합니다

수정했습니다!

Jaesang · 2021-09-15T07:48:14Z

변경파일을 보면 git push하는것으로 보이는데 python grpc client는 어디에 있는거죠? 못찾겠어요ㅠ

robertchoi80 · 2021-09-15T08:16:41Z

변경파일을 보면 git push하는것으로 보이는데 python grpc client는 어디에 있는거죠? 못찾겠어요ㅠ

아 이게 원래 하나의 PR이었는데, 두개로 나뉘면서 그 부분은 tks-flow 쪽으로 옮겨졌습니다.

ktkfree · 2021-09-15T09:02:02Z

templates/decapod-manifests/update-decapod-manifest-wftpl.yaml

+        repo = None
+        config = {}
+        commit_msg = ''
+        numChanged = 0


가독성을 위해 true, false flag 도 괜찮을 것 같습니다. 물론 중요하진 않습니다 ㅎㅎ

그렇네요. 굳이 수정된 갯수까진 알 필요 없으니 boolean 값으로 바꾸는게 좋겠네요

github-actions · 2021-09-19T01:47:58Z

This PR is stale because it has been open 3 days with no activity. Remove stale label or comment or this will be closed in 3 days.

github-actions · 2021-09-22T01:48:29Z

This PR was closed because it has been stalled for 10 days with no activity.

start refactoring toward python grpc client

daefcbd

robertchoi80 mentioned this pull request Sep 2, 2021

add python binding openinfradev/tks-proto#26

Merged

robertchoi80 requested a review from zugwan September 2, 2021 04:27

robertchoi80 self-assigned this Sep 2, 2021

temp: one step further

1dcabfe

robertchoi80 force-pushed the tacodev-762 branch from 99bc150 to 1dcabfe Compare September 2, 2021 09:24

robertchoi80 requested a review from seungkyua September 2, 2021 09:26

ktkfree reviewed Sep 3, 2021

View reviewed changes

temp: two steps further

04660f1

github-actions bot added the Stale There has been no activity on this label Sep 8, 2021

github-actions bot removed the Stale There has been no activity on this label Sep 9, 2021

almost done except the last step

bdb6bd2

ktkfree self-requested a review September 13, 2021 01:13

move tks-specific WFT to tks-flow repo

df60457

robertchoi80 mentioned this pull request Sep 13, 2021

add new workflow templates openinfradev/tks-flow#5

Merged

robertchoi80 added 2 commits September 13, 2021 15:03

remove deprecated script

4156669

use mutex to synchronize tasks

c0aabde

i.e.,to make sure only one update-decapod-manifest task can run at a time

robertchoi80 changed the title ~~[WIP] start refactoring toward python grpc client~~ start refactoring toward python grpc client Sep 15, 2021

Jaesang reviewed Sep 15, 2021

View reviewed changes

ktkfree reviewed Sep 15, 2021

View reviewed changes

add site_repo_url param

d6674ed

robertchoi80 force-pushed the tacodev-762 branch from 479e0e8 to d6674ed Compare September 16, 2021 01:10

github-actions bot added the Stale There has been no activity on this label Sep 19, 2021

github-actions bot closed this Sep 22, 2021

robertchoi80 reopened this Sep 24, 2021

bluejayA removed the Stale There has been no activity on this label Sep 24, 2021

seungkyua approved these changes Sep 24, 2021

View reviewed changes

seungkyua merged commit ab83bf4 into openinfradev:main Sep 24, 2021

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

start refactoring toward python grpc client #56

start refactoring toward python grpc client #56

robertchoi80 commented Sep 2, 2021 •

edited

Loading

ktkfree Sep 3, 2021

robertchoi80 Sep 3, 2021 •

edited

Loading

zugwan commented Sep 3, 2021

robertchoi80 commented Sep 3, 2021

zugwan commented Sep 3, 2021

bluejayA commented Sep 3, 2021

zugwan commented Sep 3, 2021 •

edited

Loading

robertchoi80 commented Sep 5, 2021

robertchoi80 commented Sep 5, 2021

github-actions bot commented Sep 8, 2021

intelliguy commented Sep 9, 2021

robertchoi80 commented Sep 11, 2021

Jaesang Sep 15, 2021

robertchoi80 Sep 15, 2021

robertchoi80 Sep 16, 2021

Jaesang commented Sep 15, 2021

robertchoi80 commented Sep 15, 2021 •

edited

Loading

ktkfree Sep 15, 2021

robertchoi80 Sep 16, 2021

github-actions bot commented Sep 19, 2021

github-actions bot commented Sep 22, 2021

start refactoring toward python grpc client #56

start refactoring toward python grpc client #56

Conversation

robertchoi80 commented Sep 2, 2021 • edited Loading

ktkfree Sep 3, 2021

Choose a reason for hiding this comment

robertchoi80 Sep 3, 2021 • edited Loading

Choose a reason for hiding this comment

zugwan commented Sep 3, 2021

robertchoi80 commented Sep 3, 2021

zugwan commented Sep 3, 2021

bluejayA commented Sep 3, 2021

zugwan commented Sep 3, 2021 • edited Loading

robertchoi80 commented Sep 5, 2021

robertchoi80 commented Sep 5, 2021

github-actions bot commented Sep 8, 2021

intelliguy commented Sep 9, 2021

robertchoi80 commented Sep 11, 2021

Jaesang Sep 15, 2021

Choose a reason for hiding this comment

robertchoi80 Sep 15, 2021

Choose a reason for hiding this comment

robertchoi80 Sep 16, 2021

Choose a reason for hiding this comment

Jaesang commented Sep 15, 2021

robertchoi80 commented Sep 15, 2021 • edited Loading

ktkfree Sep 15, 2021

Choose a reason for hiding this comment

robertchoi80 Sep 16, 2021

Choose a reason for hiding this comment

github-actions bot commented Sep 19, 2021

github-actions bot commented Sep 22, 2021

robertchoi80 commented Sep 2, 2021 •

edited

Loading

robertchoi80 Sep 3, 2021 •

edited

Loading

zugwan commented Sep 3, 2021 •

edited

Loading

robertchoi80 commented Sep 15, 2021 •

edited

Loading