Patrons d’entrenament i respostes "parahumanes": reptes i ètica dels grans models de llenguatge (LLM) en la tecnologia actual
Els patrons en les dades d’entrenament dels grans models de llenguatge (LLM) poden fer que aquests sistemes generin respostes "parahumanes", és a dir, respostes que s’assemblen molt a les humanes però que presenten diferències subtils i sistemàtiques respecte a com respondria una persona.
Els LLM aprenen a partir de grans quantitats de text extret de fonts humanes, així que tendeixen a imitar patrons de conversa, vocabulari i estil pròpiament humans. No obstant això, diversos estudis mostren que, tot i la seva semblança superficial, les respostes dels LLM presenten característiques diferenciades, com ara una longitud de resposta, diversitat lèxica i estructura de frase que no coincideixen exactament amb les respostes humanes. Això és especialment evident en models d’ús general que no han estat ajustats de manera específica.
Les tècniques com l’"aprenentatge per reforç amb feedback humà" (RLHF) i el "fine-tuning" (ajust fi) permeten millorar l’alineació de les respostes als valors i expectatives humanes, fent-les més coherents i naturals. Tot i així, fins i tot amb aquests ajustos, els LLM poden mostrar biaixos o errors sistemàtics derivats dels patrons de les dades amb què han estat entrenats, i poden simular emocions o rols sense comprendre'ls realment.
Aquesta situació planteja qüestions ètiques importants, ja que la semblança amb la comunicació humana pot fer difícil distingir entre una resposta humana i una generada per IA, amb el risc de desinformació o d’ús maliciós. Per millorar encara més la qualitat i la naturalitat de les seves respostes, es recomana seguir ajustant els models amb dades més específiques i millorant les tècniques de generació de textos.
Font original: Veure article original