Els sistemes d’intel·ligència artificial (IA) plantegen dubtes sobre possibles biaixos ideològics i sobre la seguretat de les dades. Un dels principals riscos és l’opacitat en la presa de decisions: sovint, els algoritmes funcionen com a “caixes negres” i resulta difícil comprendre com arriben a determinades conclusions, cosa que pot dificultar la transparència i la supervisió humana .

A més, aquests models poden reproduir o fins i tot amplificar discriminacions si han estat entrenats amb dades esbiaixades, generant resultats arbitraris o injustos, i ocasionant problemes ètics (per exemple, discriminació algorítmica) . Un altre risc és l’anomenada “al·lucinació de la màquina”: la IA pot fabricar informació errònia o de baixa qualitat si no s’hi posa una supervisió suficient .

Pel que fa a la seguretat, la privacitat de la informació és un repte fonamental, especialment en sectors sensibles com el financer, sanitari o governamental. Les noves tècniques i l’aparició de models més petits i especialitzats (SLMs) permeten un major control sobre les dades i una integració més eficient i segura de la IA . Tot plegat fa necessari combinar avenços tecnològics amb mesures estrictes de transparència, supervisió i protecció de dades per evitar riscos i abusos.