REFACTORING - utiliser un modèle pour valider les params des dags

[kolok]

Les params sont de la forme:

    params={
        "column_mapping": {
            "id_point_apport_ou_reparation": "identifiant_externe",
            "type_de_point_de_collecte": "acteur_type_id",
            "exclusivite_de_reprisereparation": "exclusivite_de_reprisereparation",
            "uniquement_sur_rdv": "uniquement_sur_rdv",
            "public_accueilli": "public_accueilli",
            "reprise": "reprise",
            "produitsdechets_acceptes": "produitsdechets_acceptes",
            "labels_etou_bonus": "labels_etou_bonus",
            "point_de_reparation": "point_de_reparation",
            "ecoorganisme": "source_id",
            "adresse_format_ban": "adresse_format_ban",
            "nom_de_lorganisme": "nom",
            "perimetre_dintervention": "perimetre_dintervention",
            "longitudewgs84": "longitude",
            "latitudewgs84": "latitude",
        },
        "endpoint": (
            "https://data.pointsapport.ademe.fr/data-fair/api/v1/datasets/"
            "donnees-eo-aliapur/lines?size=10000"
        ),
        "columns_to_add_by_default": {
            "statut": "ACTIF",
        },
        "ignore_duplicates": False,
        "validate_address_with_ban": False,
        "product_mapping": get_mapping_config(),
    },

l'idée est d'avoir une class genre :

…

@dataclass
class DagParams():
  ignore_duplicates: bool

…

  def __post_init__():
    … # Valide la logique métier

  def __to_dict__():
    …

[maxcorbeau]

A voir si besoin d'utiliser les types Airflow:

• https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/params.html#json-schema-validation
• Nested parameters and JSON Schema with arrays for DAG Run configurations apache/airflow#25064