Noves eines de tracing i avaluació d’OpenAI per optimitzar i monitoritzar el rendiment dels agents d’intel·ligència artificial


OpenAI ha incorporat eines de **tracing** (traçat) i **avaluació** (eval tools) a la seva API per ajudar els equips a definir els objectius dels agents d’intel·ligència artificial i a fer-ne un seguiment precís del rendiment.

El **tracing** registra automàticament tot el que passa durant l’execució d’un agent: des de la generació de respostes per part del model de llenguatge (LLM), consultes a eines externes, fins als passos personalitzats que es defineixin. Cada execució es recull com un **trace** (traça), que està format per diversos **spans** (trams). Cada span representa una acció concreta (per exemple, una crida a una eina o al model) i inclou informació com els temps d’inici i fi, identificadors, i metadades addicionals. Això permet als desenvolupadors **visualitzar, depurar i monitoritzar** el comportament dels agents tant en fase de desenvolupament com en producció, identificant en quin punt es consumeixen més recursos o temps, i quants tokens s’utilitzen.

Pel que fa a l’**avaluació**, la plataforma ara ofereix eines per mesurar automàticament el rendiment dels agents. Es pot obtenir informació detallada de cada execució: si les respostes han estat correctes, quin cost i latència han tingut, i altres mètriques rellevants. Aquestes dades són útils per **definir criteris d’èxit, comparar agents** i optimitzar-los de manera objectiva i contínua.

Aquestes funcionalitats integrades ajuden les empreses i equips tècnics a garantir que els seus agents compleixen els objectius de qualitat, eficiència i seguretat, i ofereixen una base sòlida per a la millora constant dels sistemes d’IA.

Font original: Veure article original