bugfix) 맴버클러스터의 3시간 이상된 데이터를 볼수 없는 상황해소

[intelliguy]

s3로 변경하면서 해당 정보를 primary가 아닌경우에도 체크해줘야 하는데 이 부분이 누락되어 있었음.
변경로직을 추가합니다.

[bluejayA]

이건 긴급 hotpatch 프로세스로 진행해야 하는데, 이걸로 한번 프로세스 만들고 해보죠

[intelliguy]

이 패치를 release로 머지할지 release.v2로 머지할지부터 헛갈리네요

[intelliguy]

• 급한대로 prd 해당 환경에 적용후 추이를 보고 있습니다. (맴버 중 cy82je9wb 에 workflow를 한번 수행하는 방식으로 적용)
• argocd가 secret(taco-object-store) 변경까지는 적용해줍니다.
• 하지만 operator가 얘를 반영하기 위한 어떤 일도 하지 않는 느낌입니다.
  • prometheus pod내부에 sidecar로 띄워져있고 위 시크릿을 마운트하고 있는데 시크릿이 변경되도 반영되지 않네요....
  • 띄워진 pod를 확인해보면 restartpolicy는 항상으로 되어있습니다.
• 환경변수형태로 활용하고 있고 사이드카 기동시 이 변수를 읽어서 시작하는 것으로 생각됨. 컨테이너 내부의 환경변수는 변경됨을 확인
• 하여 해당 컨테이너에 접속해 kill 1을 통해 컨테이너 재시동후 정상작동(s3 바라봄) 확인
• 최종적으로 UI까지 반영되는 것으로 확인됨

[ktkfree]

• 급한대로 prd 해당 환경에 적용후 추이를 보고 있습니다. (맴버 중 cy82je9wb 에 workflow를 한번 수행하는 방식으로 적용)

• argocd가 secret(taco-object-store) 변경까지는 적용해줍니다.

• 하지만 operator가 얘를 반영하기 위한 어떤 일도 하지 않는 느낌입니다.

  • prometheus pod내부에 sidecar로 띄워져있고 위 시크릿을 마운트하고 있는데 시크릿이 변경되도 반영되지 않네요....

Prd 말고 release (qa) 환경에서 테스트 해도 됩니다. 현재 qa 와 prd 환경이 완전히 같아요. prd 는 가능하면 건드리지 않는게 좋을 듯 해요. prd는 기존 main으로 원복허시고, 이 커밋 release merge후 qa에서 테스트하고 스택 생성/삭제 및 기본 기능 테스트후 main merge 하는게 좋겠습니다. 보니 변경이 꽤 많군요..

[intelliguy]

기존 문제있는 클러스터에 적용하는 방법

• lma 설치 워크플로우를 한번 돌린다
• prometheus pod의 sidecar container에 접속해서 kill 1 명령을 수행한다.
• 잠시(5분정도) 기다리면 정상동작됨

[ktkfree]

prd 환경의 tks-flow 를 main 기준으로 원복(sync) 하였습니다. prd 는 손으로 apply 하지 않도록 프로세스가 필요할 듯 합니다.

이 변경은 release merge 후 hotfix 로 진행하도록 하겠습니다.