La IA generativa induce a grandes cambios en los centros de datos

Gracias a que la Inteligencia Artificial (IA) requiere mayor procesamiento, más energía y mayor poder tecnológico, se convierte en un verdadero reto para los centros de datos que para responder a estos requerimientos tendrán que cambiar para siempre mientras siguen en su lucha por ser más eficientes, limpios y responsables con sus recursos y su entorno.

Esta situación se hace cada vez más intensa si miramos la perspectiva de los negocios. El uso intensivo de IA que arranca con pequeños y básicos bots que responden a los usuarios en sus dudas cotidianas de servicio, también está presente en las inmensas aplicaciones de analítica que buscan respuestas complejas a temas de ingeniería, bilogía, química y finanzas.

Pero más allá de estas aplicaciones, la IA Generativa, exige aún mayores recursos tanto de datos como de procesamiento para obtener resultados con audio y video por lo que hoy, toda esta cadena de valor requiere y exige nuevas soluciones cada vez más veloces y proactivas.

Es por esto que, para lograr los potenciales requeridos, todos acuden a los centros de datos para exprimir al máximo las capacidades de la IA a un costo equitativo para todos los negocios. Por esto mismo los cambios en los centros de datos pasaron de ser necesarios a urgentes para atender tanta demanda, que además día por día seguirá creciendo de manera casi exponencial.

De acuerdo con un estudio de Gartner para la firma Daon, empresa de investigaciones, se ponen estos datos en consideración:  De 2023 a 2026, los modelos basados en soluciones de IA Generativa pasarán del 1% a más del 60%, desplazando a modelos monomodales de IA.

De igual forma Gartner asegura que las ofertas de AIaaS (Inteligencia Artificial como Servicio) están creciendo en demanda. Esto incluye soluciones como AI TRiSM (Gestión de Confianza, Riesgo y Seguridad), gestión de alucinaciones, detectores de procedencia, IA responsable e IA sostenible.

Los Centros de Datos se transforman

Recientemente hablamos con Jonathan Jew, Secretario del Comité de Ingeniería TR-42 de la Telecommunications Industry Association, TIA. Jew nos ayudará a entender hacia dónde se dirigen los centros de datos frente a la creciente demanda de recursos generada por la Inteligencia Artificial, IA.

De hecho, es importante resaltar que, desde la pandemia los centros de datos han comenzado a adaptarse a nuevas tareas y funcionalidades. Sin embargo, el auge de la Inteligencia Artificial, IA, implica que estos deben reforzar elementos claves de sus infraestructuras para responder a la nueva demanda.

Jonathan Jew explica que “La IA es la próxima revolución. Todo lo que hacemos, y esto es muy emocionante, va a exigir una mayor demanda para los centros de datos. Por ejemplo, algunos usuarios de centros de estaban buscando mayor espacio para colocation y eso conduce también a buscar más energía y capacidad de enfriamiento. Estamos en consumos de 30 KW por gabinete cuando, en el pasado, el consumo promedio era de 8KW”.

Las GPU requieren más recursos

Otro punto que está cambiando es la manera como se construyen los centros de datos. De hecho, las redes de servidores con GPU, o unidades de procesamiento de gráficos que pueden realizar cálculos matemáticos a alta velocidad, exigen formas más eficientes de conectividad a la red y de alimentación energética con el fin de obtener todo su potencial.

En el campo de los centros de datos de hyperscale, se busca crear grandes clústeres de GPU, a menudo con 64K o más GPU. Esto les permite adaptarse con mayor versatilidad a todas las variantes de cargas de trabajo de entrenamiento de IA generativa (genAI).

El tamaño de estos grandes modelos de transformadores y los conjuntos de datos pueden necesitar miles de GPU para complementarse. Por lo tanto, proporcionar conectividad de red sin bloqueo (Fully Non-Blocking) entre las GPU podría ser un diseño excesivo.

Así, comprender la partición del modelo y los patrones de tráfico para las cargas de trabajo de entrenamiento de GenAI optimiza la topología de red. De paso, permite el uso eficiente de los conmutadores Infiniband y Ethernet básicos para las estructuras de GPU.

Adicionalmente, los centros de datos requieren mayor velocidad de conectividad. De acuerdo con Jew, los centros de datos requieren mayor conectividad para las redes con GPU. Por esta razón se están usando fibras ópticas multimodo, para mejorar la velocidad. Ahora estamos con 8,6 TB de velocidad, pero muchos de nuestros clientes están buscando el punto de conectividad dentro de los centros de datos con fibra óptica mono modo.

Más energía, enfriamiento y fibra para el centro de datos

Frente al uso de recursos como energía y enfriamiento, Jew aclara que “Los sistemas de energía y enfriamiento también deben ajustarse a los servidores. Si se construye un centro de datos desde cero, se debe pensar en darle soporte a una alta densidad. Así que, si se quieren tener tres o cuatro servidores con GPU en un gabinete, se requieren entre 30 y 40 KW en ese gabinete. Esta cifra es solo para arrancar, no sabemos hasta dónde llegará, pero es un buen número para arrancar.”

Igualmente, es necesario mejorar la conectividad basada en fibra óptica. La fibra óptica proporciona una alta velocidad de transmisión y baja latencia, lo que permite un procesamiento rápido y eficiente de los datos necesarios para la inteligencia artificial.

De acuerdo con Jonathan Jew, “en los centros de datos se está pasando de la transmisión multimodo a la transmisión monomodo a través de las redes de fibra óptica, con esto se obtendrá una velocidad más alta”.

De esta forma, se calcula que los centros de datos atenderán de forma más confiable y oportuna los incrementos considerables en demanda de procesamiento en los próximos años, pero la verdad, la historia lo dirá.

Para desglosar este tema de tendencia, el experto ofrecerá en exclusiva para Colombia una charla en el marco del evento BICSI ICT SUMMIT COLOMBIA 2024, que se realizará el 28 y 29 de mayo en el Centro de Convenciones Ágora en Bogotá, cuyo registro ya está abierto en este  vínculo.