MADRID, 21 Nov. (Portaltic/EP) -
Microsoft ha presentado Orca 2 un modelo de lenguaje pequeño que alcanza capacidades de razonamiento comparables a los de los modelos grandes, resultado de un entrenamiento estratégico con datos sintéticos personalizados.
La compañía tecnológica trabaja en la forma de enseñar a razonar a los modelos de lenguaje más pequeños, aquellos que tienen 10.000 millones de parámetros o menos. Primero lo hizo con Orca, un modelo de 13.000 millones de parámetros presentado en junio que imitaba el proceso de razonamiento de los modelos de gran tamaño.
Ahora lo hace con la siguiente iteración, Orca 2, que está disponible con 7.000 millones de parámetros o 13.000 millones. Se basa en el modelo base de Llama 2 --que Microsoft ha desarrollado con Meta--, a partir de datos sintéticos personalizados.
Los modelos grandes, como GPT-4 o PaLm, muestran su capacidad de razonar "respondiendo preguntas complejas, generando explicaciones e incluso resolviendo problemas que requieren un razonamiento de varios pasos"; capacidad que, según Microsoft, "no se ha observado en modelos de lenguaje más pequeños", como recoge en su blog de investigación.
La compañía tecnológica ha entrenado Orca 2 bajo el enfoque de que las estrategias de solución empleadas por los modelos grandes pueden no ser la mejor opción para uno más pequeño. Por ello, ha utilizado un conjunto de datos sintéticos "cuidadosamente filtrados" con el que enseñaba a Orca 2 varias técnicas de razonamiento y diferentes estrategias para resolver diferentes tareas.
Tras evaluar el rendimiento de este modelo en tareas complejas, Microsoft afirma que "Orca 2 supera significativamente a los modelos de tamaño similar (incluido el modelo Orca original) y alcanza niveles de rendimiento similares o mejores que los modelos entre cinco y diez veces más grandes".
"A medida que los modelos más grandes continúan sobresaliendo, nuestro trabajo con Orca 2 marca un paso significativo en la diversificación de las aplicaciones y opciones de implementación de los modelos de lenguaje", concluye.