Mokantis naujos kalbos dažnai kyla sunkumų tiksliai suprasti atskirų žodžių ar posakių reikšmę. Tai ypač išryškėja tuomet, kai jų vartojimo kontekstas skiriasi nuo to, prie kurio esame įpratę gimtojoje kalboje. Todėl nenuostabu, kad tokie modeliai kaip „ChatGPT“ šioje srityje susiduria su dar didesniais iššūkiais. Į šią problemą dėmesį atkreipė naujo mokslinio tyrimo autoriai.
Tyrėjai pabrėžia, kad vienas didžiausių didžiųjų kalbinių modelių iššūkių yra žmogui būdingas neapibrėžtumo ir abejonės „pojūtis“. Kai žmogus vartoja tokius žodžius kaip „galbūt“ ar „tikriausiai“, dirbtinio intelekto sistemai perduodamas miglotas, netikslus signalas. Mayankas Kejriwalas iš Pietų Kalifornijos universiteto kartu su kolegomis palygino, kaip žmonės ir dirbtinio intelekto modeliai tokias sąvokas įvertina skaitine išraiška – procentais. Taip pavyko nustatyti esminius skirtumus tarp žmonių ir didžiųjų kalbinių modelių.
Kraštutiniai atvejai, pavyzdžiui, „neįmanoma“, didesnių nesusipratimų paprastai nesukelia – juos panašiai supranta ir žmonės, ir mašinos. Tačiau kitais atvejais skirtumai tampa ryškesni. Vienas iš labiausiai išsiskiriančių pavyzdžių – žodis „tikėtina“. Vidutiniškai žmogus šį žodį sieja maždaug su 65 procentų tikimybe, o kalbinis modelis jam priskiria gerokai didesnę reikšmę – apie 80 procentų.
Anot tyrėjų, galimas paaiškinimas yra tas, kad žmonės sprendimus priima labiau atsižvelgdami į kontekstą, asmeninę patirtį ir situacijos niuansus. Kalbiniai modeliai, priešingai, linkę „suvidurkinti“ daugybėje treniravimo duomenų esančius (neretai ir tarpusavyje prieštaringus) tokių žodžių vartojimo atvejus. Dėl to atsiranda reikšmingų neatitikimų tarp žmogaus ir mašinos suvokimo.
Komplikacijos, galinčios apsunkinti kasdienį gyvenimą
Tyrimas atskleidė ir daugiau sudėtingų aspektų. Mokslininkai pastebėjo, kad didieji kalbiniai modeliai yra jautrūs tiek lyčiai, tiek konkrečiai vartojamai kalbai. Paprastai tariant, kai užuominoje apie asmenį vietoje „jis“ pavartojama „ji“, dirbtinio intelekto pateikiami tikimybės įverčiai dažnai tampa griežtesni. Tai rodo treniravimo duomenyse slypinčias lyčių stereotipų ir šališkumo apraiškas.
Be to, kai ta pati užuomina iš anglų kalbos išverčiama į kinų, dirbtinio intelekto skaičiavimai vėl pakinta. Manoma, kad taip nutinka dėl esminių anglų ir kinų kalbų skirtumų, susijusių su neapibrėžtumo raiška ir interpretacija.
Šios įžvalgos nėra vien teorinės – jos turi aiškias praktines pasekmes. Didieji kalbiniai modeliai jau seniai nebėra vien technologinė įdomybė: jie vis plačiau taikomi sveikatos priežiūroje, valstybės valdymo sprendimų priėmime, moksliniuose tyrimuose ir daugelyje kitų sričių. Todėl tai, kaip tokios sistemos komunikuoja riziką ir tikimybes, tampa kritiškai svarbiu klausimu.
Įsivaizduokime situaciją, kai modelis tam tikrą pavojų įvertina pagal „savo“ skalę, kuri nesutampa su žmogaus suvokimu. Tai gali lemti klaidingą informacijos interpretaciją ir neteisingus sprendimus, ypač jautriose srityse, susijusiose su žmonių sveikata ar saugumu. Dėl šios priežasties tyrimo autoriai ragina atsakingai kalibruoti kalbinius įrankius, kad jų vartojamos sąvokos ir tikimybių įverčiai būtų kuo artimesni žmonių kalbos ir mąstymo logikai.
