En el mundo de la inteligencia artificial, los modelos de lenguaje (LM) cada vez son mejores en tareas como la generación de imágenes, responder preguntas de trivia y resolver problemas matemáticos sencillos. Sin embargo, cuando se trata de tareas complejas que requieren razonamiento avanzado, todavía se quedan cortos en comparación con los humanos.
El problema del razonamiento complejo en los modelos de lenguaje
Resolver puzzles complejos, diseñar moléculas o escribir pruebas matemáticas son tareas que resultan difíciles para los LM, especialmente cuando se enfrentan a solicitudes abiertas con reglas estrictas. Si bien los modelos de lenguaje grandes (LLM) a veces pueden manejar estas tareas, requieren una gran cantidad de potencia de cálculo y tiempo de respuesta.
DisCIPL: La solución colaborativa del MIT
Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT han desarrollado un enfoque colaborativo llamado “Distributional Constraints by Inference Programming with Language Models” (DisCIPL). Este framework utiliza un LLM para planificar y dividir el trabajo entre modelos más pequeños, lo que permite obtener respuestas más precisas y eficientes.
En esencia, DisCIPL funciona como la contratación de una empresa para un trabajo específico. Un modelo “jefe” (LLM) recibe la solicitud y elabora un plan. Luego, transmite las instrucciones a modelos más pequeños, corrigiendo sus salidas cuando es necesario. La comunicación entre los modelos se realiza a través de un lenguaje de programación llamado “LLaMPPL”, que permite codificar reglas específicas para guiar a los modelos hacia el resultado deseado.
Cómo funciona DisCIPL
DisCIPL utiliza un LLM como planificador para guiar a modelos más pequeños hacia respuestas precisas en tareas como:
- Escribir textos cortos.
- Crear listas de compras con presupuestos.
- Planificar itinerarios de viaje.
El LLM se comunica con los modelos más pequeños utilizando LLaMPPL, un lenguaje de programación diseñado para controlar LMs. LLaMPPL permite codificar reglas específicas que guían a los modelos hacia un resultado deseado. Por ejemplo, se puede utilizar para generar código sin errores o para escribir poemas con reglas de métrica específicas.
DisCIPL vs. Modelos de lenguaje tradicionales
Los investigadores compararon DisCIPL con otros enfoques, incluyendo:
- Un modelo pequeño (Llama-3.2-1B) trabajando solo.
- GPT-4o (un LLM de OpenAI) trabajando solo.
- El sistema de razonamiento o1, utilizado por ChatGPT para tareas complejas.
Los resultados mostraron que DisCIPL era capaz de generar textos que seguían reglas explícitas con una precisión y coherencia similar a o1, pero con un costo computacional significativamente menor.
Ventajas de DisCIPL
- Mayor eficiencia: DisCIPL utiliza modelos pequeños que son mucho más baratos por token que los modelos de razonamiento tradicionales.
- Mayor escalabilidad: Permite ejecutar docenas de modelos pequeños en paralelo a un costo reducido.
- Mejor rendimiento en tareas específicas: Supera a GPT-4o en tareas como crear listas de ingredientes, planificar viajes y escribir propuestas con límites de palabras.
El futuro de DisCIPL
Los investigadores planean expandir el framework para permitir que el mismo modelo actúe como líder y seguidor de forma recursiva. También quieren probarlo en tareas de razonamiento matemático y en la interpretación de preferencias ambiguas de los usuarios.
Conclusión
DisCIPL representa un avance significativo en el campo de la inteligencia artificial, demostrando que la colaboración entre modelos de lenguaje pequeños puede superar a los modelos grandes en términos de eficiencia y precisión en tareas complejas. Este enfoque abre nuevas posibilidades para el desarrollo de sistemas de IA más accesibles y sostenibles.
Fuente: MIT News – AI
Leave a Comment