DataLeaguebeta
Všetky roadmapy
Scientist9 krokov5 pokrytých úlohami

Data scientist

Matematické a štatistické základy, Python, strojové učenie a jeho poctivá evaluácia, cesta od analytiky k modelovaniu.

Prihlás sa a sleduj, koľko z 33 úloh roadmapy máš hotových.

Pre študentov a analytikov, ktorí chcú ísť za hranicu popisu dát, stavať modely, ktoré predpovedajú, a vedieť, kedy im veriť. Roadmapa prechádza matematickými a štatistickými základmi, Python ekosystémom, strojovým učením a jeho evaluáciou až po nasadenie a prezentovanie výsledkov. Na konci zvládneš celý cyklus: od otázky cez dáta a model po poctivé vyhodnotenie a zrozumiteľnú komunikáciu.

Kroky

  1. Krok 1: Matematické základy

    Lineárna algebra (vektory, matice, maticové násobenie), základy kalkulu (derivácia, gradient) a pravdepodobnosť sú jazyk, v ktorom sú napísané všetky modely strojového učenia. Nemusíš dokazovať vety, ale musíš rozumieť, čo sa deje, keď model „trénuje". Hotovo je, keď vieš vysvetliť, čo je skalárny súčin, vlastný vektor, gradient a podmienená pravdepodobnosť, a prečo na nich ML stojí.

    Témy na portáli

    Zdroje

  2. Krok 2: Inferenčná štatistika a experimenty

    Popisná štatistika hovorí, čo je vo vzorke; inferenčná, čo z toho vyplýva pre celú populáciu. Intervaly spoľahlivosti, testovanie hypotéz, p-hodnoty a návrh experimentu sú základ, bez ktorého sa každé „zlepšenie modelu" môže ukázať ako šum. Hotovo je, keď navrhneš experiment, vyhodnotíš ho vrátane intervalu spoľahlivosti a vieš, kedy je rozdiel štatisticky aj prakticky významný.

    Témy na portáli

    Úlohy

    Zdroje

  3. Krok 3: Python ekosystém

    NumPy, pandas, Matplotlib a Jupyter sú každodenné nástroje data scientistu; čistý a reprodukovateľný kód (virtuálne prostredia, Git, funkcie namiesto kopírovania buniek) je to, čo odlišuje notebook od výsledku, ktorému sa dá veriť. Hotovo je, keď vieš s pandas pripraviť dataset, s NumPy vektorizovať výpočet namiesto cyklu a notebook odovzdať tak, že ho kolega spustí od začiatku do konca.

    Úlohy

    Zdroje

  4. Krok 4: Základy strojového učenia

    externé zdroje

    Učenie s učiteľom (regresia, klasifikácia), bez učiteľa (zhlukovanie, redukcia dimenzie), pojmy ako trénovacia a testovacia množina, preučenie a regularizácia. Dôležitejšie než poznať päťdesiat algoritmov je rozumieť, kedy je lineárny model lepší než gradient boosting. Hotovo je, keď natrénuješ a porovnáš tri rôzne modely na jednom datasete a vysvetlíš, prečo vyhral ten, ktorý vyhral.

    Zdroje

  5. Krok 5: Evaluácia modelov

    Presnosť (accuracy) je na nevyvážených dátach takmer bezcenná, potrebuješ precision, recall, F1, ROC/AUC, maticu zámen a pri regresii MAE či RMSE. K tomu správne delenie dát, krížová validácia a vedomie, že únik informácie z testu do tréningu je najčastejší spôsob, ako si klamať. Hotovo je, keď pre daný problém zvolíš metriku, obhájiš ju biznisovým dopadom falošne pozitívnych a negatívnych výsledkov a nastavíš validáciu bez úniku dát.

    Úlohy

    Zdroje

  6. Krok 6: Feature engineering

    externé zdroje

    Kvalita vstupných príznakov rozhoduje o modeli viac než výber algoritmu. Škálovanie, kódovanie kategórií, práca s chýbajúcimi hodnotami, odvodené príznaky z dátumov a textu, výber príznakov, a disciplína robiť to v pipeline, aby sa transformácie na teste nelíšili od tréningu. Hotovo je, keď postavíš scikit-learn Pipeline s predspracovaním a modelom a ukážeš, o koľko lepšie príznaky zlepšili výsledok.

    Zdroje

  7. Krok 7: Základy deep learningu

    externé zdroje

    Neurónové siete, spätné šírenie chyby, optimalizátory, a prečo sú dnes za obrazom, rečou aj jazykovými modelmi. Pre väčšinu tabuľkových problémov ich nepotrebuješ, ale musíš vedieť, kedy áno, a ako využiť predtrénovaný model namiesto trénovania od nuly. Hotovo je, keď v PyTorch natrénuješ malú sieť na klasifikáciu, vysvetlíš, čo sa deje v jednom tréningovom kroku, a použiješ predtrénovaný model na vlastné dáta.

    Zdroje

  8. Krok 8: MLOps a nasadenie

    voliteľnéexterné zdroje

    Model v notebooku nič nezarobí. Sledovanie experimentov, verzovanie modelov a dát, vystavenie modelu cez API, monitoring driftu a automatické pretrénovanie sú to, čo z prototypu robí produkt. Hotovo je, keď model zabalíš do služby s API, logujú sa jeho predikcie a vieš povedať, podľa čoho spoznáš, že ho treba pretrénovať.

    Zdroje

  9. Krok 9: Komunikácia výsledkov

    Výsledok modelu musí pochopiť manažér, ktorý nepozná pojem AUC. Vysvetliteľnosť (ktoré príznaky rozhodujú), poctivé uvádzanie neistoty a vizualizácie, ktoré nezavádzajú, sú rovnako dôležité ako samotná presnosť. Hotovo je, keď výsledky projektu odprezentuješ na troch slajdoch, problém, riešenie, dopad, a odpovieš na otázku „prečo by sme tomu mali veriť".

    Témy na portáli

    Zdroje