Edinburgo universiteto tyrėjų grupė išbandė keletą geriausių daugiamodalinių didelės apimties kalbos modelių, norėdami išsiaiškinti, kaip gerai jie gali atsakyti į klausimus, susijusius su laikrodžių ir kalendorių vaizdais.
Buvo bandomos šios sistemos: „Google DeepMind“ „Gemini 2.0“, „Anthropic“ „Claude 3.5 Sonnet“, „Meta“ „Llama 3.2-11B-Vision-Instruct“, „Alibaba“ „Qwen2-VL7B-Instruct“, „ModelBest“ „MiniCPM-V-2.6“ ir „OpenAI“ GPT-4o ir GPT-o1.
Paveikslėliuose pasirodė įvairių tipų laikrodžiai: kai kurie su romėniškais skaitmenimis, su sekundžių rodyklėmis ir be jų, skirtingų spalvų ciferblatai ir pan. Sistemos teisingai nuskaitė laikrodžius mažiau nei 25 % atvejų. Joms sunkiau sekėsi dirbti su romėniškais skaitmenimis ir stilizuotomis rodyklėmis žymimais laikrodžiais.
Dirbtinio intelekto rezultatai nepagerėjo, kai buvo pašalinta sekundžių rodyklė, todėl tyrėjai daro prielaidą, kad problema kyla dėl laikrodžių rodyklių aptikimo ir laikrodžio ciferblato kampų interpretavimo.
Naudodamiesi 10 metų kalendorių vaizdais, tyrėjai uždavė tokius klausimus: Kokia savaitės diena yra Naujųjų metų diena ir Kokia yra 153-oji metų diena? Net ir sėkmingiausi dirbtinio intelekto modeliai 20 proc. atvejų neteisingai atsakė į kalendoriaus klausimus.
Sėkmės rodikliai skyrėsi priklausomai nuo naudojamos dirbtinio intelekto sistemos. Geriausiai laikrodžio testą atliko Gemini-2.0, o GPT-01 kalendoriaus klausimus teisingai išsprendė 80 proc. atvejų.
„Dauguma žmonių nuo mažens moka nustatyti laiką ir naudotis kalendoriais, – sakė tyrimo vadovas Rohitas Saxena iš Edinburgo universiteto Informatikos mokyklos. „Mūsų rezultatai rodo, kad dirbtiniam intelektui labai trūksta gebėjimų atlikti žmonėms gana paprastus įgūdžius. Šiuos trūkumus būtina pašalinti, jei norime, kad dirbtinio intelekto sistemos būtų sėkmingai integruotos į realias, laikui jautrias taikomąsias programas, tokias kaip planavimas, automatizavimas ir pagalbinės technologijos.“
