feat: Article REX plateforme data #988
Merged
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
|
Images automagically compressed by Calibre's image-actions ✨ Compression reduced images by 21.1%, saving 37.15 KB.
1099 images did not require optimisation. |
lepiaf
force-pushed
the
feat/data-plateforme
branch
from
1f5adfc to
6d76b8a
Compare
|
Images automagically compressed by Calibre's image-actions ✨ Compression reduced images by 22.5%, saving 19.11 KB.
1099 images did not require optimisation. |
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
⚡️🏠 Lighthouse reportHere's the summary:
Here's the audits:
|
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
lepiaf
force-pushed
the
feat/data-plateforme
branch
from
8c85822 to
d5f8db3
Compare
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
lepiaf
force-pushed
the
feat/data-plateforme
branch
from
d5f8db3 to
5f23d6a
Compare
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
lepiaf
force-pushed
the
feat/data-plateforme
branch
from
7ea3456 to
3dc673c
Compare
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
|
Hello, désoler pour ces changements, tu devras faire un rebase sur master et déplacer tes fichiers dans les bons dossiers. |
lepiaf
force-pushed
the
feat/data-plateforme
branch
2 times, most recently
from
43d5224 to
61d3f59
Compare
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
lepiaf
force-pushed
the
feat/data-plateforme
branch
from
61d3f59 to
1963718
Compare
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
lepiaf
force-pushed
the
feat/data-plateforme
branch
from
1963718 to
8559120
Compare
lepiaf
added
status/reviewable
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
lepiaf
force-pushed
the
feat/data-plateforme
branch
from
8559120 to
93ead02
Compare
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
Pouzor
approved these changes
Nov 13, 2023
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
Cindyvlv
reviewed
Nov 13, 2023
Co-authored-by: Cindyvlv <[email protected]>
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
Co-authored-by: Cindyvlv <[email protected]>
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
github-actions
bot
temporarily deployed
to
dev-feat/data-plateforme
ch3ric
reviewed
Nov 23, 2023
| lancer. | ||
|
|
||
| Un Poc ("Proof of Concept", ou preuve de concept) a été mise en oeuvre par l'équipe data. Elle s'articule autour d'un | ||
| pipeline ELT (extract, load, transform) en utilisant les technologies suivantes : Google Cloud Platform, Talend, dbt et |
|
|
||
| - MySQL | ||
| - MongoDB ([voir notre article de blog sur MongoDB](https://blog.eleven-labs.com/fr/symfony-et-mongodb-retour-aux-sources/)) | ||
| - Appel HTTP vers des API externes |
|
|
||
| C'est dans ce contexte que ma mission commence. | ||
|
|
||
| ## Le pipeline ELT : Extract, Load, Transform |
There was a problem hiding this comment.
préciser "Le pipeline ELT du PoC existant"
|
|
||
| Ce pipeline est fonctionnel et déjà en place avec Jenkins. Voyons l'architecture de la nouvelle plateforme data. | ||
|
|
||
| ## Architecture de la plateforme data |
There was a problem hiding this comment.
Préciser "Nouvelle Archi" (que tu as mise en place)
|
|
||
| Une fois l'architecture dessinée et communiquée à l'équipe, nous pouvons la mettre en oeuvre. | ||
|
|
||
| ## Conditionnement des charges de travail |
There was a problem hiding this comment.
Ces parties suivantes devraient être des sous parties de la partie 'nouvelle archi' ?
There was a problem hiding this comment.
"Conditionnement" : pas sur de comprendre ? parler d'Orchestration ou Ordonnancement peut etre ?
There was a problem hiding this comment.
en anglais on dirait "workload packaging". je veux expliquer que "j'emballe" tout le code dans une image Docker/conteneur.
en effet, il faut changer le niveau de titre en sous-partie de "nouvelle archi"
| Enfin, en dernière étape de ce pipeline, il y a l'affichage des données. | ||
|
|
||
| Le but final de tout ce travail est d'éviter d'effectuer tous les calculs au moment d'afficher les rapports d'analyse. | ||
| Sans le travail en amont de calcul et d'aggrégation de données, l'affichage des graphiques serait très longs. |
There was a problem hiding this comment.
"affichage [...] long" (sans "s")
| propriétaire des bases de données. Cette démarcation se traduit dans le code de l'infrastructure et permet de | ||
| bien délimiter les responsabilités entre les équipes. | ||
|
|
||
| Nous retrouvons donc en partie supérieure du schéma les sources de données de type base de données qui sont géréeé par |
|
|
||
| Suite à cette mise en production, l'infrastructure ne va pas beaucoup changer. Il y aura principalement de la maintenance et des mises à jour à effectuer, en particulier sur le service Composer. | ||
|
|
||
| Un des points de souffrance sur le pipeline est Talend. Cet outil ne s'adapte pas bien à un environnement Cloud. Le projet serait de trouver une solution alternative. Quel serait l'outil adapté pour de l'extraction de données et qui serait complètement géré par Google ? |
There was a problem hiding this comment.
oh le beau teasing pour le prochain article ;)
|
|
||
| La construction de cette plateforme data a été un grand projet de notre [Studio Eleven Labs](https://eleven-labs.com/nos-publications/donnez-une-nouvelle-dimension-a-votre-equipe-produit). Tout a été construit depuis zéro. J'ai bien cerné la problématique, cela m'a permis d'identifier tous les éléments sur le fonctionnement du pipeline. La solution a été de s'adapter à son fonctionnement et aux pré-requis. Enfin, la mise en production s'est déroulée comme prévu. La mise en place d'une surveillance active m'a permis de détecter les erreurs en amont. Cela réduit considérablement les temps d'indisponibilité de la plateforme. | ||
|
|
||
| Pour ma part, cette mission a été très complète. J'ai tantôt été _Architecte_ avec la conception de l'infrastructure, _Ops_ avec l'écriture du Terraform et de la bonne compréhension de Google Cloud Platform, et enfin _Dev_ avec la rédaction du DAG Airflow. J'en ressort avec encore plus d'expérience ! |
There was a problem hiding this comment.
oui c'est également possible. je vais changer.
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
No description provided.