IT Fitness Test bol prvýkrát spustený v roku 2010. Jeho cieľom je ukázať aké máme reálne zručnosti a kompetencie v IT. O tom prečo úspešnosť v teste tento rok klesla, akým spôsobom má testovanie význam pre zamestnávateľov a či je vhodný ako celoeurópska skúška, sme sa rozprávali s jeho iniciátorom Máriom Lelovským.
Mário Lelovský stál pri zrode IT Fitness testu a je jedným z jeho iniciátorov. Je prvým viceprezidentom IT asociácie Slovenska a rovnakú pozíciu zastáva aj v Republikovej únii zamestnávateľov (RÚZ). V roku 1988 ukončil štúdium Elektrotechnickej fakulty Slovenskej technickej univerzite v Bratislave, odbor kybernetika a riadiaca technika. V rokoch 1991 až 2013 viedol firmy skupiny BaSys v Čechách a na Slovensku. V roku 2000 založil firmu Media Control a podniká v oblasti riadiacich systémov inteligentných objektov. Je autorom a investorom projektu Prvý demonštračný inteligentný nízkoenergetický dom – iDOM. Angažuje sa vo viacerých slovenských a medzinárodných inštitúciách na poli podpory a rozvoja IT sektora, digitálnych zručností, vzdelávania a podnikania. Je podpredsedom výboru pre Digital skills pri DigitalEurope. V RÚZ vedie podvýbor pre digitálnu ekonomiku, a je členom výborov pre hospodárstvo, prácu a životné prostredie. Predsedá dozornej rade spoločnosti SEWA a.s. zaoberajúcej sa zberom a recykláciou elektro-odpadu. V septembri 2017 počas prvého zasadnutia Digitálnej koalície bol zvolený za predsedu Výkonného výboru Digitálnej koalície SR a v roku 2019 sa stal prezidentom neziskovej organizácie Ukraine-Slovak Centre v Kyjeve. Je členom Správnej rady STU a podpredsedom Správnej rady slovak.AI.
IT Fitness Test vznikol v roku 2010. Rastie záujem a počet absolventov testu?
Prvé spustenie testu bolo podporené silnou komunikačnou kampaňou, ktorej súčasťou boli aj Adela so Sajfom. Bolo to obdobie začiatku smartfónov a búmu okolo digitálnych zručností. Bol to vôbec prvý test na tieto zručnosti a aj preto bol test pre mladých ľudí veľmi atraktívny a vzbudil obrovský záujem. Zúčastnilo sa ho okolo 80 tisíc ľudí. V jednom momente bol záujem tak vysoký, že si test chcelo spraviť súčasne asi 30 tisíc ľudí, čo nás technicky potrápilo, ale zvládli sme to. V ďalších ročníkoch sa počet absolventov stabilizoval približne na 20 tisícoch.
Zmenila sa forma a obsah za dobu existencie?
Áno, v prvom ročníku bol formát testovania jednoduchší, pokrýval menej okruhov a mal menší počet otázok.
IT Fitness test si môžete spraviť aj vy. Stačí sa zaregistrovať na stránke itfitness.sk.
Je vôbec dôležité, aby sa testu zúčastnilo čo najviac ľudí?
Nejde o absolútny počet účastníkov, test je dobrovoľný aj preto, že nie je registrovaný ako oficiálny nástroj štátu, vlády, alebo akéhokoľvek orgánu. Je to naša vlastná dobrovoľná iniciatíva.
Ako vôbec vznikla myšlienka testu?
Impulz prišiel z projektu e-skills, za ktorým stála Európska komisia. Bolo to v roku 2010. Vstupom do projektu bolo zistenie, že Európania nie sú dobre pripravení na digitálnu dobu a majú nedostatočné digitálne zručnosti. USA, Veľká Británia, a Škandinávci v tej dobe už rýchlo napredovali, Európa vôbec. Reálny problém to aj bol pre mladých ľudí. Dnes už 80% ľudí v práci na niečo používa počítač. Povedali sme si, že ak chceme posilňovať digitálne zručnosti a kompetencie populácie, treba začať ich zmeraním. Potrebovali sme vedieť, ako na tom reálne sme.
Vypracovali ste test len vy ako organizácia?
Nie. Sadli sme si tímom učiteľov informatiky, vysokoškolskými pedagógmi a s celoslovenským klubom učiteľov informatiky. Predostreli sme im nejakú našu predstavu a chceli sme vedieť, čo sa s tým dá robiť. Oni navrhli, aby sme skúsili postaviť testovanie na základe rozsahu znalostí tak, že testy pre žiakov základnej školy tvoria učitelia stredných škôl. Testuje sa teda to, čo má vedieť absolvent základnej školy, ktorý chce študovať na strednej. Stredoškolský učiteľ tak vie, ako je na tom „materiál“, s ktorým musí pracovať. Test pre absolventov stredných škôl je zasa postavený na požiadavkách z praxe alebo vysokých škôl. Takto vieme povedať, čo my zamestnávatelia a vysoké školy, chceme od svojich budúcich zamestnancov a študentov. V tomto prístupe k riešeniu problému nedostatku digitálnych zručností sme boli iní ako zbytok Európy.
Ako ste povedali, test je dobrovoľný. Koľko škôl sa zapája?
Báza je stabilná. Približne 500 základných a 200 až 300 stredných škôl. Sú to školy, ktoré sa zapájajú do všetkého. Súťaže, krúžky, olympiády, projekty, Eurofondy. Je to skupina škôl, ktoré majú záujem sa zlepšovať a chápu potrebu takýchto aktivít. Zbytok z tých 2 000 základných a vyše 700 stredných škôl nerobí nič alebo len veľmi málo pre svoj rozvoj. Ukazuje to na skutočnosť, že len okolo tretiny škôl na sebe skutočne pracuje.
Teda tieto školy môžeme považovať za lepšie?
Berieme to tak, že školy, ktoré sa zúčastňujú vo veľkom na rôznych projektoch a aktivitách, majú aspoň 150 a viac žiakov, môžeme považovať za tie lepšie a aktívne. Dostávame spätnú väzbu, že učiteľom informatiky pomáha test identifikovať a reagovať na to, čo žiaci nevedia. A potom s tým pracujú. Treba tiež povedať, že minulý rok sme k testu spravili väčšiu komunikačnú kampaň a pritiahli sme ďalších 100 škôl. Celkový priemerný výsledok testu aj vďaka tomu klesol. Školy, ktoré štandardne robili test boli tie lepšie, študenti boli lepšie pripravení. Tieto školy to chcú, majú dobre pripravených žiakov a chcú sa prezentovať so svojimi výsledkami. Pri novotestovaných školách bolo hneď vidno, že sú na nižšej úrovni. Otázne potom je, ako sú na tom školy, ktoré sa testu nezúčastnili vôbec. My ich vyzývame a pozývame na testovanie, zväčša ani len nezareagujú, že nemajú záujem.
Úspešnosť testu v roku 2019 bola 49%, ak by sa zapojili aj tie ďalšie školy, bol by výsledok horší?
Dovolím si tvrdiť, že ten výsledok by bol významne horší. Naopak, ukázalo by sa, že tu je približne 100 naozaj dobrých škôl, 200 skôr lepších a ten zbytok by bol dosť biedny. Je potom otázne, aký všetky tie školy majú vôbec zmysel, akú kvalitu prípravy žiakov na modernú digitálnu dobu poskytujú, ak sa ani do testovania, ktoré je pre nich zdarma, nezapájajú.
Ako vyzerá vyhodnotenie testu?
Je to veľmi podrobná 100 stranová správa, kde vyhodnocujeme všetko, čo sa dá pomocou testu zistiť. Výsledky vieme poskytnúť až na úroveň jednotlivého žiaka. Učiteľ môže dostať výsledky svojej triedy, rozpracované do 5 kategórií, na jednotlivého žiaka. Učitelia s tým vedia pracovať, upraviť vyučovanú látku, upraviť priebežné testy.
Nastala už situácia, že by učiteľ upravil učebné osnovy na základe výsledkov testu?
Deje sa to a takých prípadov je veľa. My otázky v teste upravujeme priebežne v spolupráci s učiteľmi. Nie preto, aby bol ľahší, ale aby bol účinný.
Stretli ste sa s tým, že by niekto test kritizoval ako priveľmi náročný?
Test ako taký zatiaľ nikto nikdy nenapadol a je pravda, že sa prakticky nedá spraviť na 100%. To je dôkaz, že je naozaj dobrý. Test je dlhodobo nastavovaný na 50% priemerný výsledok. Vtedy je citlivosť testu dobrá. Keď majú všetci 80% úspešnosť test je ľahký. Naopak, keď majú všetci až na pár výnimiek, 20 – 30% bol test veľmi ťažký. Nie je dôležité je či je 50% veľa alebo málo, ale či je veľká väčšina okolo 50% alebo je veľká skupina okolo 30%, to ukáže, že je veľká skupina mladej populácie mimo. Ak je zasa v niečom veľká skupina nad, tak viete, v ktorej časti otázok môžeme pritvrdiť.
Naozaj sa nedá spraviť na 100%?
Tento rok sme mali 7 testovaných, ktorí ho spravili na 100%. Ide o to, že ak by bola skupina so 100% výsledkom veľká, test by nebol dostatočne náročný. Dobre postavený test je taký, ktorého priemer vyjde na 50 %.
Z čoho je test platený?
Sú to sponzorské príspevky na rôznych úrovniach. Peniaze sme tiež získali z Európskej komisie v rámci projektu e-skills, išlo o 10 tisíc eur ročne. Celé testovanie stojí medzi 30 až 40 tisíc eur. Na test opakovanie prispieval SK nic, správca národnej .sk domény a v poslednom roku významne pomohlo ministerstvo školstva.
To znamená, že náklady na jedného testovaného sú koľko?
Ak ročne otestujeme 20 až 25 tisíc záujemcov, tak náklady jedného sa pohybujú na úrovni do 2 eur. Je to extrémne málo vzhľadom na to, že v teste je veľmi široký set otázok. Ak aj dvadsiati robia test súčasne, nebudú mať rovnaké otázky. Výsledkom je certifikát absolventa na meno. Ten obsahuje komplexné hodnotenie, detailné vyhodnotenie výsledkov každej z piatich kategórií a odporúčanie pre absolventa. Priemerný testovaný čas je 45 minút až hodinu.
Aké kategórie v teste sú?
Je ich päť, vrámci ktorých sme sa snažili pokryť celý rozsah digitálnych zručností a kompetencií. Kategórie sú všeobecné používanie internetu, bezpečnosť a počítačové systémy, komplexné úlohy, kancelárske nástroje, kolaboratívne nástroje a sociálne siete.
Ktorá z kategórií je podľa vás najdôležitejšia?
Pri deťoch je to rozhodne bezpečnosť. Nevedia na internete bezpečne narábať s informáciami a všetko zverejňujú. Potom tu máme prípady šikany, keď nejaký zlomyseľník stiahne niečo 2 – 3 roky staré z internetu, zavesí to v triede na digitálnu nástenku a celá trieda sa niekomu vysmeje. Tie prípady môžu byť až tak extrémne, že sa dieťa pochváli pekným bytom, novým obrazom alebo nejakou elektronikou a týždeň-dva luxusnou dovolenkou s rodičmi. Nie je potom pre zlodeja problém spočítať si, že je niekde na dva týždne pekný byt bez dohľadu a majiteľ je na opačnom konci sveta. Smutné je, že dlhodobo bola práve táto kategória najslabšia.
Nepomohlo ani to, že majú internetoví giganti, ako Facebook, Google alebo Amazon, jeden škandál so zneužívaním osobných údajov za druhým a stále sa o tom hovorí?
Toľko sa okolo toho kričí a upozorňuje, že sa bezpečnosť neberie vážne, až sa tomu ľudia začali venovať. V tohtoročnom testovaní boli výsledky v bezpečnosti mierne lepšie ako po minulé roky. Študenti aj dospelí už asi pochopili riziká, berú vážne heslá a nenechajú sa len tak napáliť podvodnými e-mailami.
Ktorá kategória teda mala na tohtoročnom testovaní najhoršie výsledky?
Kancelárske nástroje. Je to dosť alarmujúce pretože práve z tejto kategórie potrebuje zručnosti a kompetencie každý, kto sa chce v dnešnej dobe zamestnať.
Vidíte dôvod prečo je práve táto kategória najslabšia?
Je to spôsobené aj tým, že sme do kategórie zahrnuli modernejšie kancelárske nástroje, kde sa očakáva prepájanie jednotlivých programov. V otázkach sa nepýtame len na to, ako zrátať čísla v Exceli, ale chceme vedieť, ako ste získali graf, ktorý je v prezentácii v Powepointe. Testovaný musí hľadať dáta, overiť ich, vytvoriť graf a nakoniec tiež nájsť, či sme si nevymysleli to, čo je v pôvodnom grafe napísane. Celý problém je ale v tom, že učitelia nevedú žiakov aktívne k používaniu a kombinácii kancelárskych nástrojov. Dnes mladí ľudia vedia vyhľadávať, pracovať s populárnymi nástrojmi, ale v momente, keď majú tieto základné úlohy kombinovať, vzniká problém.
V kontexte žiakov, ako sú na tom kolaboratívne nástroje?
Sú to nástroje ako Google Drive, riešenie od Microsoftu, iCloud a podobne. Sú to riešenia, ktoré sa používajú participačne. Žiaci s tým, bohužiaľ, nemajú takmer žiadne skúsenosti. Minimum škôl dokáže spraviť to, že by vrámci hodiny informatiky učitelia zadávali tímové práce, ktoré sa robia na cloude a zdieľaných platformách. Pritom dnes už každá firma, každé centrum zdieľaných služieb funguje na týchto riešeniach.
Na akej úrovni musia byť moje zručnosti a kompetencie, aby som test zvládol?
Zvyčajne jedna z otázok ide do hĺbky, napríklad, či viete spraviť kontingenčnú tabuľku v tabuľkovom programe. Inak sú otázky postavené tak, že skúsený používateľ zvládne 4 z 5 otázok. Ak máte 5 správnych odpovedí, zrejme sa tomu venujete viac a ovládate aj pokročilé funkcie. Naopak, ak máte správne len 2 odpovede, tak danú oblasť neovládate dostatočne. Ak by ste nezvládli ani polovicu testu, budete mať v práci reálny problém.
Máte ambíciu spraviť z IT Fitness testu povinný test?
Diskutujeme s Národným ústavom certifikovaných meraní, že by sme test posunuli do celonárodného certifikovaného testovania, čo je niečo ako monitor pre stredoškolákov. Ponúkli sme spoluprácu s tým, že si chceme udržať prístup v tom, že my budeme určovať oblasti otázok, nie vedci a úradníci. Pre mňa ako zamestnávateľa je v podstate známka z maturity irelevantná, rozhodujúce je to čo absolvent skutočne vie. Ak sa študent učivo len namemoruje, no nevie ho reálne použiť, vlastne nič nevie. Toto je však na diskusiu, pretože národné ústavy certifikovaných meraní majú zvyčajne iný štýl uvažovania, daný aj medzinárodnými štandardami.
Dajú sa výsledky testu porovnať s okolitými krajinami a ak áno, ako sme na tom?
Digitálne zručnosti sú dosť široké, od abstraktného myslenia, cez relatívne jasné veci, po kreativitu. A to je problém. Otestovať kreativitu je v tomto momente v podstate nemožné. Komunikoval som s umelcom z akademických kruhov a ten mi povedal, že kreativita sa merať nedá. Tvrdil, že každý umelec je dobrý, len tí akože horší sú vraj nepochopení. Čo je prístup, ktorý je pre nás nepoužiteľný. Pisa, medzinárodný systém testovania zručností OECD, sa však snaží vrámci testovania zahrnúť všetko. Preto už extrémne dlho tvoria len koncept, čo a ako testovať.
Tým pádom je IT Fitness Test akýmsi vodítkom, ako na to?
Testov je viacero, len sa musí nájsť spôsob, ako prísť k všeobecne uznanému postupu. Existuje DigComp, teraz už verzia 2.1, ktorý skúma 21 rôznych kompetencií, každú na 8 úrovniach. Je jasné, že je to strašne komplikované. Pritom majú kompetencie rovnako rozdelené do 5 oblastí, tak ako my. Oni však pracujú aj s kreativitou, ktorú sme my vyradili. Tým, že je DigComp 2.1 projektom Európskej komisie, tak v podstate aj my ideme podľa nich. Avšak, Európska komisia momentálne len testuje, či je takto komplikované riešenie vôbec použiteľné. Tiež ich test nie je postavený na praktickom skúšaní vedomostí, ale testovaný sám seba hodnotí a teda sa jedná o sebahodnotiaci proces. Teda pri otázke kolaboratívnych nástrojov napíše, že si o sebe myslí, že je na úrovni 6. Pritom prax by mohla pokojne ukázať, že je tak na úrovni 2. Reálne vás ohodnotí len praktická testovacia úloha.
Mali ste snahu test ponúknuť do zahraničia?
Náš test bol použitý v Čechách a vo Fínsku. Česi sú na tom podobne ako my, ako výsledkom tak účasťou. Tiež sa testovali len školy, ktoré sa do podobných aktivít zapájajú pravidelne. Vo Fínsku sa testu zúčastnila vopred vybratá vzorka škôl, čo podľa mňa nie je úplne relevantné. Tým pádom mali výsledok lepší ako my. Test sme tiež preložili do angličtiny a ponúkli ho na používanie vrámci Európy. Tu je však problém, že ho treba lokalizovať nie len jazykom, ale aj v spoločensko-historických súvislostiach. Sú tam otázky, v ktorých treba rozumieť širším súvislostiam v rámci krajiny.
Rozprávame sa o teste v kontexte žiakov a študentov. Môže ho však absolvovať a certifikát získať v podstate ktokoľvek?
Je otvorený pre všetkých. Je to perfektná spätná väzba pre zamestnancov, ktorí v zamestnaní nie sú spokojní. Výsledok im môže povedať, že skutočne majú na viac a môžu sa posunúť, na pohovore môžu certifikát ukázať. Naopak, pre tých čo sú nespokojní, no test nezvládnu je to signál, že by si možno mohli vstúpiť do svedomia. Máme v pláne upraviť test aj špeciálne pre zamestnancov verejnej správy. Tam by podľa mňa mohol spôsobiť menšie zemetrasenie v tom, koľko percent zamestnancov má vôbec zručnosti a kompetencie potrebné na výkon svojej pozície.
Teda je to reálna pomôcka aj pre zamestnávateľov v súkromnom sektore?
Predstavte si to takto. Ste šikovný mäsiar, ktorý si založil vlastnú firmu. Venujete sa výrobe mäsových výrobkov, v tom ste doma. Firma však potrebuje aj ekonomické oddelenie. Pritom vy sa v ekonómii vôbec nevyznáte, nemáte veľmi ani prečo. Na pohovor vám prídu 4 uchádzačky o post ekonómky a v CV budú mať napísane, že štyri roky pracovali v nejakom účtovníckom programe. To ale neznamená, že ho vedia aj reálne ovládať. A ohodnotia svoje skúsenosti ako pokročilé alebo expert. Ako sa pohnete pri výbere?
Neviem…
Pomôže štandard, v ktorom by bolo napísané, že na taký a taký post treba takéto a takéto digitálne zručnosti. Ak by bol test štandardizovaný, uchádzač ho absolvuje, dostane certifikát a podľa neho sa môže orientovať pri výbere zamestnania a zamestnávateľ sa zasa môže rozhodovať pri výbere zamestnancov. Je samozrejme potrebné, aby výsledok testu bol rozdelený do viacerých úrovní a každá úroveň bola slovne popísaná. Takéto niečo by malo oveľa väčší dosah. Môže to byť dobrá spätná väzba aj pre vývojárov, ktorí možno robia na používanie zbytočne komplikovaný softvér.