**Assembly-of-Experts (AoE): Innovadora tècnica per optimitzar i potenciar grans models de llenguatge (LLMs) fusionant tensors de pesos**


La tècnica denominada **Assembly-of-Experts (AoE)**, desenvolupada per TNG, permet millorar els grans models de llenguatge (LLMs) fusionant selectivament els tensors de pesos dels models. Aquesta metodologia consisteix a combinar diferents conjunts de pesos de manera selectiva per construir models més potents i eficients, millorant el rendiment sense necessitar entrenaments complets des de zero. Així, el procés aprofita les propietats dels pesos dels models existents per crear nous models amb capacitats avançades, optimitzant recursos i temps en la creació d’LLMs. Aquesta innovació pot suposar un salt important en la forma com es desenvolupen i milloren els models d’IA lingüística.

Font original: Veure article original