OK-602 Päivitetty valintaperusteiden lataus

Opetushallitus · Feb 6, 2025 · 2a1463b · 2a1463b
1 parent 295a460
commit 2a1463b
Show file tree

Hide file tree

Showing 5 changed files with 12 additions and 102 deletions.
diff --git a/dbt/models/dw/_dw.yml b/dbt/models/dw/_dw.yml
@@ -213,79 +213,31 @@ models:
       - name: dw_metadata_dw_stored_at
         data_type: timestamp with time zone
   - name: dw_valintaperusteet_hakukohde
-    description: >-
-      Valintaperusteiden tietoja
-
-      lähdejärjestelmästä ei löydy muokkausaikaleimaa, joten tässä käytetään tiedoston luontihetkeä muokattu-aikaleimana. Tämä arvo voi olla duplikaatti jos sama tiedosto luetaan useaan kertaan, joten tämä DW-malli on erilainen.
+    description: Valintaperusteiden tietoja
     columns:
-      - name: valinnanvaihe_id
-        description: ""
-        data_type: text
       - name: hakukohde_oid
-        description: ""
         data_type: text
       - name: haku_oid
-        description: ""
         data_type: text
+      - name: muokattu
+        data_type: timestamp with time zone
       - name: tarjoaja_oid
-        description: ""
         data_type: text
-      - name: viimeinenvalinnanvaihe
-        description: ""
-        data_type: integer
       - name: hakukohteenvalintaperuste
-        description: ""
-        data_type: jsonb
-      - name: valinnanvaihe_nimi
-        description: ""
-        data_type: text
-      - name: valinnanvaihe_jarjestysluku
-        description: ""
-        data_type: integer
-      - name: valinnanvaihetyyppi
-        description: ""
-        data_type: text
-      - name: valintatapajono
-        description: ""
-        data_type: jsonb
-      - name: valintakoe
-        description: ""
         data_type: jsonb
-      - name: jonot
-        description: ""
+      - name: valinnanvaiheet
         data_type: jsonb
-      - name: aktiivinen
-        description: ""
-        data_type: boolean
-      - name: muokattu
-        description: muokattu on tiedoston luontihetki, koska kannassa ei ole muutostietoja. Tämä tarkoittaa sitä että tällä voin olla duplikaattiarvoja (sama tiedosto luettu useampaan kertaan)
-        data_type: timestamp with time zone
       - name: dw_metadata_source_timestamp_at
-        description: ""
         data_type: timestamp with time zone
       - name: dw_metadata_stg_stored_at
-        description: ""
         data_type: timestamp with time zone
       - name: dw_metadata_dbt_copied_at
-        description: ""
         data_type: timestamp with time zone
       - name: dw_metadata_filename
-        description: ""
         data_type: character varying
       - name: dw_metadata_file_row_number
-        description: ""
         data_type: integer
-      - name: dw_metadata_hash
-        description: ""
-        data_type: text
-      - name: dw_metadata_key
-        description: ""
-        data_type: text
-      - name: dw_metadata_timestamp
-        description: ""
-        data_type: timestamp with time zone
       - name: dw_metadata_dw_stored_at
-        description: ""
         data_type: timestamp with time zone
   - name: dw_sure_suoritus
     description: Sisältää Suoritusrekisterin suoritus tietoja

diff --git a/dbt/models/dw/dw_valintaperusteet_hakukohde.sql b/dbt/models/dw/dw_valintaperusteet_hakukohde.sql
@@ -1,4 +1,4 @@
 {%- set stage_model = ref('stg_valintaperusteet_hakukohde') -%}
-{%- set key_columns_list = ['valinnanvaihe_id','muokattu'] -%}
+{%- set key_columns_list = ['hakukohde_oid','muokattu'] -%}
 
 {{ generate_dw_model_muokattu(stage_model, key_columns_list) }}
diff --git a/dbt/models/int/int_valintaperusteet_valintatapajono.sql b/dbt/models/int/int_valintaperusteet_valintatapajono.sql
@@ -1,5 +1,6 @@
 {{
   config(
+    enabled=false,
     materialized='incremental',
     unique_key ='valinnanvaihe_id',
     full_refresh = false,

diff --git a/dbt/models/stg/_stg.yml b/dbt/models/stg/_stg.yml
@@ -30,65 +30,30 @@ models:
       - name: dw_metadata_file_row_number
         data_type: integer
   - name: stg_valintaperusteet_hakukohde
-    description: ""
     columns:
-      - name: valinnanvaihe_id
-        description: ""
-        data_type: text
       - name: hakukohde_oid
-        description: ""
         data_type: text
       - name: haku_oid
-        description: ""
         data_type: text
+      - name: muokattu
+        data_type: timestamp with time zone
       - name: tarjoaja_oid
-        description: ""
         data_type: text
-      - name: viimeinenvalinnanvaihe
-        description: ""
-        data_type: integer
       - name: hakukohteenvalintaperuste
-        description: ""
-        data_type: jsonb
-      - name: valinnanvaihe_nimi
-        description: ""
-        data_type: text
-      - name: valinnanvaihe_jarjestysluku
-        description: ""
-        data_type: integer
-      - name: valinnanvaihetyyppi
-        description: ""
-        data_type: text
-      - name: valintatapajono
-        description: ""
-        data_type: jsonb
-      - name: valintakoe
-        description: ""
         data_type: jsonb
-      - name: jonot
-        description: ""
+      - name: valinnanvaiheet
         data_type: jsonb
-      - name: aktiivinen
-        description: ""
-        data_type: boolean
-      - name: muokattu
-        description: Hetki jolloin tiedot poimittiin lähdejärjestelmästä. Tässä tiedossa ei ole mukana datan muokkaushetkeä
-        data_type: timestamp with time zone
       - name: dw_metadata_source_timestamp_at
-        description: ""
         data_type: timestamp with time zone
       - name: dw_metadata_stg_stored_at
-        description: ""
         data_type: timestamp with time zone
       - name: dw_metadata_dbt_copied_at
-        description: ""
         data_type: timestamp with time zone
       - name: dw_metadata_filename
-        description: ""
         data_type: character varying
       - name: dw_metadata_file_row_number
-        description: ""
         data_type: integer
+
   - name: stg_sure_suoritus
     description: Sisältää Suoritusrekisterin suoritustietoja
     columns:

diff --git a/dbt/models/stg/stg_valintaperusteet_hakukohde.sql b/dbt/models/stg/stg_valintaperusteet_hakukohde.sql
@@ -12,20 +12,12 @@ with source as (
 
 final as (
     select
-        coalesce(data -> 'valinnanVaihe' ->> 'valinnanVaiheOid'::varchar, 'puuttuu') as valinnanvaihe_id,
         data ->> 'hakukohdeOid'::varchar as hakukohde_oid,
         data ->> 'hakuOid'::varchar as haku_oid,
+        (data ->> 'lastModified')::timestamptz as muokattu,
         data ->> 'tarjoajaOid'::varchar as tarjoaja_oid,
-        data -> 'valinnanVaihe' ->> 'nimi'::varchar as valinnanvaihe_nimi,
-        (data -> 'valinnanVaihe' ->> 'valinnanVaiheJarjestysluku')::int as valinnanvaihe_jarjestysluku,
-        (data ->> 'viimeinenValinnanvaihe')::int as viimeinenValinnanvaihe,
-        (data -> 'valinnanVaihe' ->> 'aktiivinen')::boolean as aktiivinen,
-        data -> 'valinnanVaihe' ->> 'valinnanVaiheTyyppi'::varchar as valinnanvaihe_tyyppi,
         (data -> 'hakukohteenValintaperuste')::jsonb as hakukohteenValintaperuste,
-        (data -> 'valinnanVaihe' -> 'valintatapajono')::jsonb as valintatapajono,
-        (data -> 'valinnanVaihe' -> 'valintakoe')::jsonb as valintakoe,
-        (data -> 'valinnanVaihe' ->> 'jonot')::jsonb as jonot,
-        dw_metadata_source_timestamp_at as muokattu,
+        (data -> 'valinnanVaiheet')::jsonb as valinnanvaiheet,
         {{ metadata_columns() }}
     from source
 )