DataLeaguebeta
Všetky roadmapy
Engineer10 krokov4 pokryté úlohami

Dátový inžinier

Pokročilé SQL, dátové modelovanie, ETL/ELT pipeline-y, cloudové sklady, kvalita dát a infraštruktúra, stavba základov, na ktorých stojí analytika aj AI.

Prihlás sa a sleduj, koľko z 34 úloh roadmapy máš hotových.

Pre programátorov a analytikov, ktorí chcú stavať dátovú infraštruktúru, pipeline-y, sklady a modely, z ktorých čerpá analytika, reporting aj AI. Roadmapa vedie od relačného návrhu, pokročilého SQL a dátového modelovania cez ETL/ELT, cloudové sklady a streaming až po kvalitu dát, infraštruktúru ako kód a governance. Na konci navrhneš a prevádzkuješ dátovú platformu, ktorej výstupom sa dá veriť a ktorá prežije tvoju dovolenku.

Kroky

  1. Krok 1: Relačný návrh a ERD

    Entity, vzťahy a kardinalita v ERD, primárne a cudzie kľúče, rozklad vzťahu M:N cez prepojovaciu tabuľku a normalizácia do 3NF. Bez poriadneho relačného návrhu sa každý sklad aj pipeline stavia na piesku: duplicity, nekonzistentné údaje a dotazy, ktoré nikto nevie napísať. Hotovo je, keď zo slovného zadania nakreslíš ERD, prevedieš ho na tabuľky s kľúčmi a zdôvodníš, prečo je každá v 3NF.

    Úlohy

    Zdroje

  2. Krok 2: Pokročilé SQL

    Okenné funkcie, CTE, rekurzívne dotazy, EXPLAIN a indexy, dátový inžinier musí SQL nielen písať, ale aj rozumieť, prečo je dotaz pomalý a ako ho databáza vykoná. Väčšina transformácií v modernom sklade je nakoniec SQL. Hotovo je, keď napíšeš dotaz s okennými funkciami nad miliónmi riadkov, prečítaš jeho plán vykonávania a zrýchliš ho vhodným indexom alebo prepisom.

    Úlohy

    Zdroje

  3. Krok 3: Dátové modelovanie

    externé zdroje

    Hviezdicová schéma s faktami a dimenziami, pomaly sa meniace dimenzie, normalizácia vs. denormalizácia a vrstvy skladu (L0 surové / L1 vyčistené / L2 biznisové, inde bronze, silver, gold). Dobrý model znamená, že analytik napíše dotaz za minútu a výsledok je konzistentný pre všetkých. Hotovo je, keď z prevádzkovej databázy navrhneš hviezdicovú schému pre jednu biznisovú oblasť a zdôvodníš každú dimenziu.

    Zdroje

  4. Krok 4: ETL/ELT a orchestrácia

    externé zdroje

    Dáta treba zo zdrojov dostať do skladu, transformovať a pravidelne obnovovať, spoľahlivo, idempotentne a s možnosťou spätného dohrania. Orchestrátor (Airflow, Dagster) riadi závislosti a plán, dbt štandardizuje transformácie v SQL. Hotovo je, keď máš pipeline, ktorá denne stiahne dáta z API, uloží ich surové, transformuje cez dbt a pri zlyhaní ťa upozorní.

    Zdroje

  5. Krok 5: Cloudový dátový sklad: BigQuery, Snowflake

    externé zdroje

    Moderné sklady oddeľujú úložisko od výpočtu, škálujú na terabajty a účtujú podľa spotreby, čo mení spôsob, ako navrhuješ tabuľky (v BigQuery partície a clustering, v Snowflake clustering kľúče) aj ako píšeš dotazy (BigQuery účtuje objem skenovaných dát, Snowflake kredity bežiaceho warehousu). Hotovo je, keď v BigQuery alebo Snowflake nahráš dataset, navrhneš tabuľku tak, aby dotaz čítal len potrebné dáta, a vieš odhadnúť jeho cenu skôr, než ho spustíš.

    Zdroje

  6. Krok 6: Spracovanie veľkých dát: Spark, Parquet, DuckDB

    voliteľnéexterné zdroje

    Keď sa dáta nezmestia do pamäte jedného stroja, prichádza distribuované spracovanie (Spark) a stĺpcové formáty (Parquet); na druhej strane DuckDB ukazuje, že veľa „big data" úloh zvládne jeden notebook. Hotovo je, keď ten istý dataset spracuješ v pandas, DuckDB a Sparku a vieš povedať, kedy sa ktorý oplatí.

    Zdroje

  7. Krok 7: Streaming: základy

    voliteľnéexterné zdroje

    Niektoré dáta nemôžu čakať na nočný beh: udalosti z aplikácie, senzory, platby. Kafka a spracovanie prúdov prinášajú vlastné pojmy, topic, partícia, offset, exactly-once, oneskorené udalosti. Hotovo je, keď postavíš jednoduchý producer a consumer nad Kafkou a vysvetlíš, čo sa stane s udalosťou, keď consumer spadne uprostred spracovania.

    Zdroje

  8. Krok 8: Kvalita dát a testovanie

    Pipeline, ktorá beží, ešte neznamená pipeline, ktorá dáva správne dáta. Testy schémy, unikátnosti a referenčnej integrity, kontroly rozdelení a odľahlých hodnôt, sledovanie čerstvosti, a popisná štatistika ako nástroj profilovania. Hotovo je, keď má každý model v sklade testy, zmena rozdelenia hodnôt spustí alarm a vieš do hodiny povedať, odkiaľ chybná hodnota prišla.

    Témy na portáli

    Zdroje

  9. Krok 9: Infraštruktúra ako kód a CI/CD

    externé zdroje

    Sklad, pipeline-y aj oprávnenia majú byť definované v kóde, verzované a nasadzované automaticky, inak sú nereprodukovateľné a závislé od jedného človeka. Terraform, kontajnery, GitHub Actions a prostredia dev/stage/prod. Hotovo je, keď zmena v dbt modeli prejde cez pull request, CI spustí testy a nasadenie do produkcie prebehne bez ručného klikania.

    Zdroje

  10. Krok 10: Governance a bezpečnosť

    Kto smie vidieť ktoré dáta, odkiaľ pochádzajú (lineage), ako dlho sa uchovávajú a ako sa anonymizujú osobné údaje podľa GDPR, to rozhoduje, či sklad firma môže vôbec používať. Hotovo je, keď máš katalóg s vlastníkmi tabuliek, riadenie prístupu po rolách, citlivé stĺpce označené a maskované a vieš zodpovedať žiadosť o výmaz osobných údajov.

    Úlohy

    Zdroje