Ako odhaliť, či text písala AI? Na online detektory sa príliš nespoliehajte

S nárastom záujmu o generatívnu umelú inteligenciu prirodzene stúpli aj obavy o to, že túto technológiu môžu mnohí zneužiť a vydávať texty, obrázky či nahrávky vygenerované pomocou nástrojov AI, za svoje.

Najmä učitelia sa tak okamžite chopili šance odhaliť AI generované texty pomocou rôznych online nástrojov. Mnohí študenti kvôli nim neprešli skúškami, občas neprávom.

Diskusné fóra venované nielen umelej inteligencii, ale aj komunitám študentov či akademikov, sa prakticky od začiatku vlny popularity umelej inteligencie začali plniť príspevkami opisujúcimi, ako učitelia vo veľkom využívajú online nástroje na detekciu AI nástrojov a ako ich eseje, záverečné práce a ďalšie texty, ktoré písali sami, tieto nástroje označili za plagiáty.

Pedagógovia sa prirodzene pokúšajú pomocou takýchto nástrojov odhaliť nepoctivých študentov a ďalších od podobných nápadov odstrašiť. Problémom však je, že takéto nástroje majú vysokú mieru výskytu falošne pozitívnych výsledkov a naopak texty vytvorené umelou inteligenciou často nezachytia. Nemožnosť spoľahlivo detegovať takéto texty už priznala aj spoločnosť OpenAI, ktorá stojí za populárnym četbotom ChatGPT.

Spoločnosť OpenAI priznala, že nedokáže spoľahlivo detegovať, či bol text generovaný umelou inteligenciou a to aj napriek tomu, že sama veľký jazykový model vyvíja. Takýchto nástrojov je však na internete ďaleko viac, od tých, ktoré sa snažia AI text od ľudského rozoznať pomocou legitímnych postupov až po také, ktoré sa iba vezú na vlne popularity a výsledky takýchto kontrol si prakticky iba vymýšľajú.

Vyskúšať si to môžete aj sami, no ako príklad si môžeme vziať aj pokus jedného z členov komunity r/ChatGPT, ktorý svoju vlastnoručne písanú esej prehnal cez osem takýchto detektorov. Sedem z nich nenašlo v texte ani stopu po AI, podľa ôsmeho však bola jeho esej na 99 % napísaná umelou inteligenciou. Ak by rovnaký nástroj použil jeho učiteľ, jeho esej by už zrejme bez zaváhania označil za plagiát.

Na presnosť detektorov AI textov sa nedávno pozrela aj profesorka médií a výpočtovej techniky na Univerzite aplikovaných vied Debora Weber-Wulff z univerzity HTW Berlín spolu so skupinou výskumníkov z rôznych univerzít. V rámci svojho zatiaľ nerecenzovaného výskumu tento tím skontroloval 14 takýchto detektorov, vrátane Turnitin, GPT Zero a Compilatio.

Väčšina týchto nástrojov v texte hľadá charakteristiky AI generovaného textu, ako je napr. opakovanie a následne vypočíta pravdepodobnosť, že daný text vygenerovala skutočne umelou inteligenciou. Tím však zistil, že všetky nástroje začali mať so zachytením AI generovaného textu problém v momente, kedy do textu zasiahol človek a napr. iba upravil slovosled. Testovali dokonca aj vlastné texty v slovenčine a češtine.

Hoci vyjadrenie profesorky médií znie veľmi kriticky, výskumný tím v závere štúdie uznal, že detektory AI nie sú úplnou pohromou. Napríklad nástroj Turnitin dosiahol v testoch pomerne dobré výsledky s nízkym výskytom falošných pozitívnych detekcií. Problém však vidia skôr v tom, že sa ľudia na tieto detektory príliš spoliehajú a dokážu iba na základe ich nespoľahlivých výsledkov niekoho bez zaváhania obviniť z plagiátorstva.

„Nepokúšajte sa odhaliť AI – urobte to tak, aby použitie AI nebolo problémom,“ odkazuje Vitomir Kovanović, docent Univerzity Južnej Austrálie vyvíjajúci modely strojového učenia a umelej inteligencie. Pedagógovia by tak nemali študentom zadávať zbytočné eseje, ale skôr praktické úlohy či študentov dokonca povzbudiť, aby nástroje AI naopak využili na vytvorenie ešte kvalitnejších výskumov a prác.

Využitím umelej inteligencie vo vzdelávaní sa aktuálne zaoberá mnoho pedagógov po celom svete. V našich končinách je zrejme najpopulárnejším projektom v tejto oblasti nezisková iniciatíva AI dětem, ktorá má vyššie zmieňovanú myšlienku priamo v motte – Pojďme změnit větu: „Děti budou díky AI podvádět.“ na otázku: „Jak zavést AI do školních lavic tak, aby byla přínosem?“.

Detekcia obsahu generovaného pomocou AI nie je problémom iba pri textoch, ale aj obrázkoch, zvukových nahrávkach a deepfake videách. Americký prezident Joe Biden si preto minulý mesiac predvolal zástupcov siedmych technologických firiem, aby mu prisľúbili, že do takéhoto obsahu implementujú akúsi obdobu vodoznaku, pomocou ktorého bude možné okamžite rozpoznať, že ide o výtvor umelej inteligencie. Tento zámer potvrdil Amazon, Anthropic, Google, Inflection, Meta, Microsoft, aj OpenAI.

Kým spoločnosti do svojich modelov takéto vodoznaky nezapracujú, budeme žiť na AI-divokom západe, kde v tomto smere vládne istá miera neistoty a paranoje. Je však pravdepodobné, že aj po tomto kroku bude stále možné nájsť nástroje, ktorých hlavných predajným bodom bude práve to, že žiaden takýto vodoznak do tvorby AI implementovať nebudú. Tu už do diania bude zrejme musieť vstúpiť legislatívna regulácia.