Ljudi često razgovaraju neformalno s AI chatbotovima, što može smanjiti preciznost njihovog razumijevanja.
Novo istraživanje pokazuje da prilagođavanje stila i treniranje AI modela mogu značajno poboljšati razumijevanje korisničkih namjera.
Naučnici Fulei Zhang i Zhou Yu iz Amazona analizirali su kako korisnici komuniciraju s ljudskim agentima u poređenju s chatbotovima zasnovanim na velikim jezičkim modelima (LLM). Koristeći model Claude 3.5 Sonnet, procjenjivali su pristojnost, tečnost i raznovrsnost vokabulara. Utvrdili su da su korisnici znatno manje formalni i pristojni kada razgovaraju s chatbotovima. Komunikacija s ljudskim agentima bila je 14,5% formalnija i pristojnija, 5,3% tečnija i 1,4% raznovrsnija u rječniku.
Korisnici prilagođavaju svoj jezički stil u razgovorima s LLM-ovima tako što šalju poruke koje su kraće, direktnije, manje formalne i gramatički jednostavnije. Ovo ponašanje, navode autori istraživanja objavljenog na preprint serveru arXiv, vjerovatno proizlazi iz shvatanja da chatbotovi nisu toliko društveno osjetljivi i da manje mogu da tumače nijanse.
U drugoj fazi istraživanja, Zhang i Yu obučili su model Mistral 7B na 13.000 razgovora između ljudi, a zatim ga testirali na 1.357 interakcija korisnika s chatbotovima. Pošto je Mistral treniran na ljudskim dijalozima, često je pogrešno tumačio korisničke namjere u razgovorima s AI-em, zbog ranije navedenih razlika.
Pokušaji poboljšanja razumijevanja pomoću Claude AI, koji su uključivali stilsku preobliku korisničkih poruka u „minimalni“ ili „obogaćeni“ oblik, zapravo su smanjili preciznost za 2,6% odnosno 1,8%. Kombinovanjem oba pristupa, preciznost se poboljšala za 2,9%, što pokazuje važnost prilagođavanja stila komunikacije.
Noah Giansiracusa sa Univerziteta Bentley, koji nije učestvovao u istraživanju, smatra da različit ton prema chatbotovima ne treba posmatrati negativno.
„Dobro je kada ljudi znaju da razgovaraju s botovima i prilagođavaju svoje ponašanje u skladu s tim“, rekao je za New Scientist, prenosi Zimo.
