ChatGPT. Sursa: LinkedIn
Din cuprinsul articolului
Un nou studiu sugerează că o atitudine bruscă sau chiar nepoliticoasă ar putea îmbunătăți acuratețea răspunsurilor oferite de inteligența artificială, contrazicând concluziile anterioare care promovau politețea în interacțiunile cu astfel de sisteme. Cercetătorii au descoperit că chatboturile bazate pe inteligență artificială tind să ofere informații mai precise atunci când utilizatorii adoptă un ton dur sau direct, potrivit livescience.com.
Dacă ești rău cu ChatGPT, s-ar putea să regreți, avertizează oamenii de știință
Totuși, specialiștii avertizează că folosirea unui limbaj jignitor, chiar dacă pare să aducă rezultate mai bune, poate genera efecte negative asupra modului în care oamenii comunică și se raportează la tehnologie.
Mai exact, în studiul publicat pe 6 octombrie în baza de date preprint arXiv, explorează modul în care tonul comunicării poate influența performanța inteligenței artificiale. Cercetarea, care încă nu a fost supusă evaluării colegiale, investighează dacă politețea sau nepoliticosul utilizatorului afectează acuratețea răspunsurilor generate de un model AI.
Pentru a testa această ipoteză, oamenii de știință au creat 50 de întrebări cu variante multiple de răspuns, pe teme precum matematică, istorie și știință. Acestea au fost modificate prin adăugarea a cinci tonuri diferite: foarte politicos, politicos, neutru, nepoliticos și foarte nepoliticos. Fiecare întrebare conținea patru opțiuni, dintre care una era corectă.
Rezultatul a fost un set de 250 de întrebări, care a fost introdus de zece ori în ChatGPT-4, unul dintre cele mai avansate modele lingvistice dezvoltate de OpenAI.
„Experimentele noastre sunt preliminare și arată că tonul poate afecta semnificativ performanța măsurată în ceea ce privește scorul la răspunsurile la cele 50 de întrebări”, notează autorii studiului. În mod surprinzător, datele indică faptul că întrebările formulate într-un ton nepoliticos au condus la rezultate mai bune decât cele exprimate politicoasă.
O trezire brutală pentru chatbot-uri: cum tonul influențează răspunsurile
Cercetătorii au descoperit că modul în care este formulată o întrebare poate afecta semnificativ performanța chatbot-urilor. În timpul studiului, fiecare solicitare a fost prezentată modelului fără a lua în considerare conversațiile anterioare, pentru a preveni influențarea răspunsului de tonul anterior. Chatbot-ului i s-a cerut să aleagă, fără explicații, una dintre cele patru opțiuni disponibile.
Rezultatele au fost surprinzătoare: răspunsurile extrem de politicoase au înregistrat o acuratețe de 80,8%, în timp ce cele foarte nepoliticoase au atins 84,8%. Pe măsură ce tonul se îndepărta de politețe, acuratețea creștea treptat: 81,4% pentru răspunsuri politicoase, 82,2% pentru cele neutre și 82,8% pentru răspunsurile ușor nepoliticoase.
ChatGPT. Sursă foto: Unsplash
Pentru a testa efectul tonului, echipa a folosit diverse formule de adresare. Întrebările extrem de politicoase începeau cu expresii precum „Pot să vă cer ajutorul cu această întrebare?” sau „Ați fi atât de amabil încât să răspundeți la următoarea întrebare?”. La polul opus, cererile mai nepoliticoase includeau formulări directe și chiar jignitoare, cum ar fi „Hei, băiete; descoperă asta” sau „Știu că nu ești deștept, dar încearcă asta”.
Studiul face parte din domeniul Ingineria Promptelor (practica de a crea indicații precise pentru a ajuta modelele de inteligență artificială generativă (AI) să răspundă corect la întrebări și să îndeplinească o gamă largă de sarcini). Interesant, constatările obținute contrazic cercetările anterioare privind impactul politeții versus grosolăniei, oferind o perspectivă nouă asupra felului în care chatbot-urile interpretează limbajul uman.
Întrebările agresive sau nepoliticoase tind să genereze rezultate slabe
Cercetările anterioare sugerează că tonul influențează performanța modelelor de inteligență artificială. Astfel, întrebările agresive sau nepoliticoase tind să genereze rezultate slabe, în timp ce un limbaj excesiv de politicoasă nu garantează neapărat îmbunătățirea performanței.
Totuși, aceste concluzii provin dintr-un studiu care a utilizat mai multe modele, printre care ChatGPT 3.5 și Llama 2-70B, și a testat opt niveluri diferite de ton. În mod interesant, datele au arătat că setarea cea mai nepoliticoasă a prompturilor a produs o acuratețe ușor mai mare (76,47%) comparativ cu cea mai politicoasă (75,82%).
Autorii studiului au recunoscut însă că există limite semnificative. Numărul relativ mic de 250 de întrebări folosite în test și faptul că experimentul s-a desfășurat pe un singur model LLM fac dificilă extrapolarea concluziilor la alte sisteme de inteligență artificială.
Pentru a depăși aceste limitări, cercetătorii intenționează să extindă analiza la alte modele, inclusiv Claude de la Anthropic și ChatGPT o3 de la OpenAI. În plus, ei subliniază că testarea exclusiv cu întrebări cu variante multiple de răspuns oferă doar o măsurătoare limitată a performanței, neputând evalua alte aspecte importante, precum fluența, coerența sau raționamentul modelului.
