Orkiestracja databricks inaczej niż ADFem - jakie alternatywy jak najmniej IaaSowe?

[maciej-skorupka]

Hej,

Zastanawiam się nad Waszym podejściem do orkiestracji i triggerowania przetwarzań databricks. Mam wrażenie, że jest kilka popularnych rozwiązań, ale żadne mnie nie przekonuje.

1. Joby databricks - bardzo ograniczone bo to w zasadzie cron i brak zależności
2. Databricksowe notebooki - mam wrażenie, że dla administrowania tym zbyt mało czytelne, bo nieobrazkowe, ale chętnie wysłucham, jeśli to dobre podejście.
3. ADF - mam wrażenie, że to odpalanie armaty na muchę. Chciałbym po prostu mieć graf kolejnych uruchamianych rzeczy na databricks a nie dużo szerszą technologię.
4. Airflow - też chyba zbyt kod na administrację i raczej nie chciałbym utrzymywać dockera i iść w coś bardziej PaaSowe, jeśli się da.

Macie jakieś lepsze pomysły? Albo gdzieś głupoty myślę w powyższych?

[piotrgwiazda]

W przypadku usług zewnętrznych zabawą będzie uwierzytelnienie jakiejś tożsamości żeby miała prawo do wykonia joba w Databricks (też usłudze zewnętrznej) i przekaże jakieś parametry. ADF ma to jakoś zintegrowane (nie używałem z Databricks ale ze Sparkiem z Synapsa). ADF jest serverless, ma monitoring, da się zrobić alerty, re-run, zależności (w ramach Pipeline a także pomiędzy Pipeline). Pewnie będzie najszybciej zacząć i mieć coś działającego. Definicje pipelineów daje się zsynchronizować z Gitem i zrobić sobie deployment dalej z dev na wyższe środowiska. Jak dobijesz do granic możliwości ADF to wtedy Airflow, ale to będzie więcej pracy na start. Oczywiście najpierw sprawdź czy to co masz wewnątrz Databricks nie wystarczy. niedz., 30 sty 2022, 15:32 użytkownik maciej-skorupka < ***@***.***> napisał:

…

Hej, Zastanawiam się nad Waszym podejściem do orkiestracji i triggerowania przetwarzań databricks. Mam wrażenie, że jest kilka popularnych rozwiązań, ale żadne mnie nie przekonuje. 1. Joby databricks - bardzo ograniczone bo to w zasadzie cron i brak zależności 2. Databricksowe notebooki - mam wrażenie, że dla administrowania tym zbyt mało czytelne, bo nieobrazkowe, ale chętnie wysłucham, jeśli to dobre podejście. 3. ADF - mam wrażenie, że to odpalanie armaty na muchę. Chciałbym po prostu mieć graf kolejnych uruchamianych rzeczy na databricks a nie dużo szerszą technologię. 4. Airflow - też chyba zbyt kod na administrację i raczej nie chciałbym utrzymywać dockera i iść w coś bardziej PaaSowe, jeśli się da. Macie jakieś lepsze pomysły? Albo gdzieś głupoty myślę w powyższych? — Reply to this email directly, view it on GitHub <#392>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ABIVXF74ST4FT4FBDUKCJRDUYVDXTANCNFSM5NEKGDQQ> . Triage notifications on the go with GitHub Mobile for iOS <https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675> or Android <https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub>. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>