La demanda que els bots d’intel·ligència artificial (IA) expliquin les seves respostes reflecteix una confusió estesa sobre el seu funcionament. Els xatbots no “entenen” ni “raonen” com una persona, sinó que generen textos basant-se en patrons estadístics i models matemàtics que han après a partir de grans quantitats de dades. Quan se’ls demana que expliquin una decisió o una resposta, no proporcionen una justificació real, sinó que simulen una explicació utilitzant el mateix procés de generació de text que fan servir per a qualsevol altra resposta.

És important saber que aquests sistemes no tenen consciència ni comprensió profunda: només simulen converses de manera convincent, però no poden donar raons internes o motius autèntics per les seves afirmacions. Això pot portar a equívocs sobre el que realment poden fer els bots de conversa, i alimenta expectatives desajustades sobre la seva “intel·ligència”.