La inteligencia artificial (IA) está transformando la forma en que las empresas gestionan y acceden a sus datos. Los sistemas de almacenamiento tradicionales, diseñados para tareas sencillas y un número limitado de usuarios, se ven sobrepasados por las demandas de la IA, que requiere el acceso y procesamiento paralelo de enormes volúmenes de información por parte de millones de agentes. Cloudian, fundada por Michael Tso y Hiroshi Ohta, se presenta como una solución innovadora para este desafío.
El problema del almacenamiento tradicional en la era de la IA
Los sistemas de almacenamiento de datos convencionales se han vuelto excesivamente complejos, lo que ralentiza los procesos de la IA. Los datos deben pasar por múltiples capas antes de llegar a las unidades de procesamiento gráfico (GPUs), que son el cerebro de la IA. Esta latencia y los cuellos de botella energéticos limitan el potencial de las aplicaciones de IA.
Cloudian: Una arquitectura de almacenamiento pensada para la IA
Cloudian ha desarrollado un sistema de almacenamiento escalable que facilita el flujo de datos entre el almacenamiento y los modelos de IA. Su plataforma consolida las funciones de la IA y los datos en una única plataforma de procesamiento paralelo, que almacena, recupera y procesa conjuntos de datos escalables. Además, permite transferencias directas y de alta velocidad entre el almacenamiento y las GPUs y CPUs.
“Una de las cosas que la gente olvida de la IA es que se trata de los datos”, explica Tso. “No se puede obtener una mejora del 10 por ciento en el rendimiento de la IA con un 10 por ciento más de datos, ni siquiera con 10 veces más datos, sino que se necesitan 1.000 veces más datos. Ser capaz de almacenar esos datos de forma fácil de gestionar, y de tal manera que se puedan integrar cálculos para ejecutar operaciones mientras los datos entran sin moverlos, es hacia donde se dirige esta industria”.
De las aulas del MIT a la industria
La historia de Cloudian tiene sus raíces en el MIT, donde Michael Tso se familiarizó con la computación paralela gracias al profesor William Dally. Esta experiencia fue fundamental para el desarrollo de la arquitectura de Cloudian.
Después de su paso por el MIT, Tso trabajó en Intel y en la startup Inktomi, antes de fundar Gemini Mobile Technologies y, posteriormente, Cloudian en 2012. La visión de Tso era crear una solución de almacenamiento de datos escalable, distribuida y compatible con la nube, anticipando el auge de la IA.
Almacenamiento centrado en la IA
La plataforma de Cloudian utiliza una arquitectura de almacenamiento de objetos, en la que todo tipo de datos (documentos, vídeos, datos de sensores) se almacenan como un objeto único con metadatos. Este enfoque es ideal para gestionar grandes conjuntos de datos no estructurados, pero tradicionalmente ha tenido dificultades para enviar datos directamente a los modelos de IA.
En julio, Cloudian anunció la ampliación de su sistema de almacenamiento de objetos con una base de datos vectorial, que almacena los datos en un formato utilizable directamente por los modelos de IA. Además, la compañía ha establecido una asociación con NVIDIA para que su sistema de almacenamiento funcione directamente con las GPUs de la empresa, lo que permite operaciones de IA aún más rápidas y reduce los costes de computación.
“NVIDIA se puso en contacto con nosotros hace aproximadamente un año y medio porque las GPU solo son útiles con datos que las mantienen ocupadas”, dice Tso. “Ahora que la gente se está dando cuenta de que es más fácil mover la IA a los datos que mover enormes conjuntos de datos. Nuestros sistemas de almacenamiento incorporan muchas funciones de IA, por lo que podemos pre y post-procesar datos para la IA cerca de donde recopilamos y almacenamos los datos”.
El futuro del almacenamiento de datos para la IA
Cloudian está ayudando a cerca de 1.000 empresas de todo el mundo a obtener más valor de sus datos. Su plataforma se utiliza en diversos sectores, como la fabricación, los servicios financieros, la sanidad y las agencias gubernamentales.
En un ejemplo concreto, Cloudian está colaborando con un fabricante de automóviles para utilizar la IA en la determinación del momento en que cada uno de sus robots de fabricación necesita mantenimiento. También está trabajando con la Biblioteca Nacional de Medicina para almacenar artículos de investigación y patentes, y con la Base de Datos Nacional del Cáncer para almacenar secuencias de ADN de tumores, conjuntos de datos que los modelos de IA podrían procesar para ayudar a la investigación a desarrollar nuevos tratamientos u obtener nuevos conocimientos.
Conclusión
Cloudian se posiciona como un actor clave en la evolución del almacenamiento de datos para la era de la IA. Su enfoque innovador, basado en la computación paralela y la integración con las GPUs, permite a las empresas superar las limitaciones de los sistemas tradicionales y aprovechar al máximo el potencial de sus datos.
Fuente: MIT News – AI
Leave a Comment