La inteligencia artificial generativa está dejando de ser algo exclusivo de la nube para instalarse directamente en nuestros dispositivos. Google AI Edge ha presentado LiteRT-LM, un nuevo motor de tiempo de ejecución (runtime) que promete llevar las capacidades de la IA generativa a una gama mucho más amplia de dispositivos, desde ordenadores portátiles hasta relojes inteligentes.
¿Qué es LiteRT-LM?
LiteRT-LM es una API de código abierto en C++ diseñada para ejecutar modelos de lenguaje grandes (LLM) de manera eficiente en diversos hardwares. Lo más interesante es su compatibilidad cruzada y la aceleración por hardware que ofrece, permitiendo que modelos como Gemma y Gemini Nano funcionen de forma óptima incluso en dispositivos con recursos limitados.
La Arquitectura Modular: Clave de su Versatilidad
La innovación principal de LiteRT-LM reside en su arquitectura flexible y modular. Esta característica le permite adaptarse a diferentes cargas de trabajo y entornos. Puede escalar para potenciar funciones complejas y multitarea en Chrome y Chromebook Plus, pero también ser lo suficientemente ligero para funcionar en dispositivos con limitaciones de recursos como el Pixel Watch. Esta versatilidad abre un abanico de posibilidades para la IA en el dispositivo.
Casos de Uso: WebAI y Respuestas Inteligentes
LiteRT-LM ya está impulsando una nueva ola de IA generativa en el dispositivo. Un ejemplo claro es WebAI, una funcionalidad que permite realizar tareas de IA directamente en el navegador Chrome, sin necesidad de enviar datos a la nube. También se están implementando respuestas inteligentes en diversos dispositivos, ofreciendo sugerencias de respuestas contextuales y personalizadas.
El Futuro de la IA en el Dispositivo
La llegada de LiteRT-LM marca un punto de inflexión en la democratización de la IA generativa. Al permitir que los modelos de lenguaje grandes se ejecuten localmente en una variedad de dispositivos, Google está abriendo la puerta a experiencias de usuario más rápidas, privadas y personalizadas. Estaremos atentos a cómo esta tecnología continúa evolucionando y transformando la forma en que interactuamos con nuestros dispositivos.
Fuente: Google Developers Blog
Leave a Comment