From 2a1463ba3036f9cb57ea7ea77d06a2b25307b63d Mon Sep 17 00:00:00 2001 From: Matz Rasmus Date: Thu, 6 Feb 2025 11:03:41 +0200 Subject: [PATCH] =?UTF-8?q?OK-602=20P=C3=A4ivitetty=20valintaperusteiden?= =?UTF-8?q?=20lataus?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- dbt/models/dw/_dw.yml | 56 ++----------------- .../dw/dw_valintaperusteet_hakukohde.sql | 2 +- .../int_valintaperusteet_valintatapajono.sql | 1 + dbt/models/stg/_stg.yml | 43 ++------------ .../stg/stg_valintaperusteet_hakukohde.sql | 12 +--- 5 files changed, 12 insertions(+), 102 deletions(-) diff --git a/dbt/models/dw/_dw.yml b/dbt/models/dw/_dw.yml index 90709c2..43802b4 100644 --- a/dbt/models/dw/_dw.yml +++ b/dbt/models/dw/_dw.yml @@ -213,79 +213,31 @@ models: - name: dw_metadata_dw_stored_at data_type: timestamp with time zone - name: dw_valintaperusteet_hakukohde - description: >- - Valintaperusteiden tietoja - - lähdejärjestelmästä ei löydy muokkausaikaleimaa, joten tässä käytetään tiedoston luontihetkeä muokattu-aikaleimana. Tämä arvo voi olla duplikaatti jos sama tiedosto luetaan useaan kertaan, joten tämä DW-malli on erilainen. + description: Valintaperusteiden tietoja columns: - - name: valinnanvaihe_id - description: "" - data_type: text - name: hakukohde_oid - description: "" data_type: text - name: haku_oid - description: "" data_type: text + - name: muokattu + data_type: timestamp with time zone - name: tarjoaja_oid - description: "" data_type: text - - name: viimeinenvalinnanvaihe - description: "" - data_type: integer - name: hakukohteenvalintaperuste - description: "" - data_type: jsonb - - name: valinnanvaihe_nimi - description: "" - data_type: text - - name: valinnanvaihe_jarjestysluku - description: "" - data_type: integer - - name: valinnanvaihetyyppi - description: "" - data_type: text - - name: valintatapajono - description: "" - data_type: jsonb - - name: valintakoe - description: "" data_type: jsonb - - name: jonot - description: "" + - name: valinnanvaiheet data_type: jsonb - - name: aktiivinen - description: "" - data_type: boolean - - name: muokattu - description: muokattu on tiedoston luontihetki, koska kannassa ei ole muutostietoja. Tämä tarkoittaa sitä että tällä voin olla duplikaattiarvoja (sama tiedosto luettu useampaan kertaan) - data_type: timestamp with time zone - name: dw_metadata_source_timestamp_at - description: "" data_type: timestamp with time zone - name: dw_metadata_stg_stored_at - description: "" data_type: timestamp with time zone - name: dw_metadata_dbt_copied_at - description: "" data_type: timestamp with time zone - name: dw_metadata_filename - description: "" data_type: character varying - name: dw_metadata_file_row_number - description: "" data_type: integer - - name: dw_metadata_hash - description: "" - data_type: text - - name: dw_metadata_key - description: "" - data_type: text - - name: dw_metadata_timestamp - description: "" - data_type: timestamp with time zone - name: dw_metadata_dw_stored_at - description: "" data_type: timestamp with time zone - name: dw_sure_suoritus description: Sisältää Suoritusrekisterin suoritus tietoja diff --git a/dbt/models/dw/dw_valintaperusteet_hakukohde.sql b/dbt/models/dw/dw_valintaperusteet_hakukohde.sql index 71b23ce..7b4520d 100644 --- a/dbt/models/dw/dw_valintaperusteet_hakukohde.sql +++ b/dbt/models/dw/dw_valintaperusteet_hakukohde.sql @@ -1,4 +1,4 @@ {%- set stage_model = ref('stg_valintaperusteet_hakukohde') -%} -{%- set key_columns_list = ['valinnanvaihe_id','muokattu'] -%} +{%- set key_columns_list = ['hakukohde_oid','muokattu'] -%} {{ generate_dw_model_muokattu(stage_model, key_columns_list) }} diff --git a/dbt/models/int/int_valintaperusteet_valintatapajono.sql b/dbt/models/int/int_valintaperusteet_valintatapajono.sql index bd57952..654f8df 100644 --- a/dbt/models/int/int_valintaperusteet_valintatapajono.sql +++ b/dbt/models/int/int_valintaperusteet_valintatapajono.sql @@ -1,5 +1,6 @@ {{ config( + enabled=false, materialized='incremental', unique_key ='valinnanvaihe_id', full_refresh = false, diff --git a/dbt/models/stg/_stg.yml b/dbt/models/stg/_stg.yml index 0853592..b1b94fc 100644 --- a/dbt/models/stg/_stg.yml +++ b/dbt/models/stg/_stg.yml @@ -30,65 +30,30 @@ models: - name: dw_metadata_file_row_number data_type: integer - name: stg_valintaperusteet_hakukohde - description: "" columns: - - name: valinnanvaihe_id - description: "" - data_type: text - name: hakukohde_oid - description: "" data_type: text - name: haku_oid - description: "" data_type: text + - name: muokattu + data_type: timestamp with time zone - name: tarjoaja_oid - description: "" data_type: text - - name: viimeinenvalinnanvaihe - description: "" - data_type: integer - name: hakukohteenvalintaperuste - description: "" - data_type: jsonb - - name: valinnanvaihe_nimi - description: "" - data_type: text - - name: valinnanvaihe_jarjestysluku - description: "" - data_type: integer - - name: valinnanvaihetyyppi - description: "" - data_type: text - - name: valintatapajono - description: "" - data_type: jsonb - - name: valintakoe - description: "" data_type: jsonb - - name: jonot - description: "" + - name: valinnanvaiheet data_type: jsonb - - name: aktiivinen - description: "" - data_type: boolean - - name: muokattu - description: Hetki jolloin tiedot poimittiin lähdejärjestelmästä. Tässä tiedossa ei ole mukana datan muokkaushetkeä - data_type: timestamp with time zone - name: dw_metadata_source_timestamp_at - description: "" data_type: timestamp with time zone - name: dw_metadata_stg_stored_at - description: "" data_type: timestamp with time zone - name: dw_metadata_dbt_copied_at - description: "" data_type: timestamp with time zone - name: dw_metadata_filename - description: "" data_type: character varying - name: dw_metadata_file_row_number - description: "" data_type: integer + - name: stg_sure_suoritus description: Sisältää Suoritusrekisterin suoritustietoja columns: diff --git a/dbt/models/stg/stg_valintaperusteet_hakukohde.sql b/dbt/models/stg/stg_valintaperusteet_hakukohde.sql index 469ba36..f5f0b86 100644 --- a/dbt/models/stg/stg_valintaperusteet_hakukohde.sql +++ b/dbt/models/stg/stg_valintaperusteet_hakukohde.sql @@ -12,20 +12,12 @@ with source as ( final as ( select - coalesce(data -> 'valinnanVaihe' ->> 'valinnanVaiheOid'::varchar, 'puuttuu') as valinnanvaihe_id, data ->> 'hakukohdeOid'::varchar as hakukohde_oid, data ->> 'hakuOid'::varchar as haku_oid, + (data ->> 'lastModified')::timestamptz as muokattu, data ->> 'tarjoajaOid'::varchar as tarjoaja_oid, - data -> 'valinnanVaihe' ->> 'nimi'::varchar as valinnanvaihe_nimi, - (data -> 'valinnanVaihe' ->> 'valinnanVaiheJarjestysluku')::int as valinnanvaihe_jarjestysluku, - (data ->> 'viimeinenValinnanvaihe')::int as viimeinenValinnanvaihe, - (data -> 'valinnanVaihe' ->> 'aktiivinen')::boolean as aktiivinen, - data -> 'valinnanVaihe' ->> 'valinnanVaiheTyyppi'::varchar as valinnanvaihe_tyyppi, (data -> 'hakukohteenValintaperuste')::jsonb as hakukohteenValintaperuste, - (data -> 'valinnanVaihe' -> 'valintatapajono')::jsonb as valintatapajono, - (data -> 'valinnanVaihe' -> 'valintakoe')::jsonb as valintakoe, - (data -> 'valinnanVaihe' ->> 'jonot')::jsonb as jonot, - dw_metadata_source_timestamp_at as muokattu, + (data -> 'valinnanVaiheet')::jsonb as valinnanvaiheet, {{ metadata_columns() }} from source )