La inteligencia artificial generativa estaría “reventando” las GPU de Google

La exigencia de la inteligencia artificial generativa (IAG) podría resultar agotadora para las GPU de Google. Así lo sugiere la información filtrada de forma anónima por un ingeniero de la compañía.

La veracidad de esta afirmación es difícil de confirmar, y que fue publicada por primera vez por el usuario de redes sociales TechFund, quien escribe sobre inversión en tecnología. Sin embargo, según consigna la web especializada ExtremeTech, este usuario de redes  “tiene un historial razonablemente bueno” en sus contenidos.

La fuente invocada por TechFund es un "arquitecto principal de IAG en Alphabet" anónimo, que dice que un centro de datos con un alto uso de aceleradores de IA verá fallar el hardware en unos tres años.

La afirmación no resulta descabellada. Los aceleradores de IA usan mucha energía. De hecho, la nueva generación chips Blackwell de Nvidia usaría hasta 1.000 watts.  Incluso las GPU Hopper de última generación resultaron bastante angurrientas con su capacidad de energía de 700 W.  Eso es mucha energía y calor para pasar a través de un silicio delicado, lo que sin duda reduce la vida útil de la pieza.

Las GPU que se han utilizado para minar criptomonedas experimentan un estrés similar, y se ha comprobado que al cabo de unos años de “pico y pala” comienzan a fallar. Eso ha causado la decepción de varios aficionados a los videojuegos que compran una GPU de alta gama usada, y comprueban que se empleó para criptominería y está casi para tirar.

AI architect at Google mentions the lifetime of datacenter GPUs at current utilization levels to be 3 years at most. This is v bullish for $NVDA end-demand as most analysts were assuming a lifetime of around 5 years. pic.twitter.com/zI3LHHwFoJ

— Tech Fund (@techfund1) October 23, 2024

Asimismo, la corta vida útil de las GPU de los centros de datos podría ser un problema para la industria. A pesar de todo el dinero que se está invirtiendo en IA generativa, nadie está ganando dinero vendiendo estos servicios todavía. OpenAI, una de las empresas de IA más importantes del mundo, espera perder US$ 5 mil millones en 2024, incluso cuando la mayoría de sus enormes costos de procesamiento estén cubiertos por Microsoft. Mientras tanto, Google gastó US$ 13.2 mil millones en el segundo trimestre en hardware de procesamiento de IA, y planea gastar aún más en el futuro cercano. Si estas afirmaciones sobre la vida útil de la GPU son correctas, esa infraestructura no es una inversión a largo plazo, sino un costo continuo.

Los inversores ya están empezando a preguntarse cuándo la IA generativa estará a la altura de las expectativas y ofrecerá un retorno de la inversión masiva de capital. Muchas de las empresas que se centran en la construcción de centros de datos de IA están prometiendo modelos más grandes, que costarán miles de millones de dólares para entrenar y miles de millones más para operar. Y más GPU hoy significa más GPU para reemplazar en tres años.

Las empresas preocupadas por agotar los costosos aceleradores de IA demasiado rápido podrían intentar reducir la utilización, pero eso solo significa que el hardware tardará más en amortizarse. Si el interés en la IA generativa continúa, los operadores pueden tener que frenar las expansiones de los centros de datos.

Nvidia es el mayor productor de aceleradores de IA, por lo que está en una buena posición. Su valor se ha más que triplicado en los últimos años, alcanzando los 3 billones de dólares en junio de 2024. Si puede seguir vendiendo nuevos lotes de GPU a las mismas potencias de la IA cada pocos años, esa cifra podría crecer aún más rápido.

Además, de momento ningún ingeniero ha filtrado información sobre la durabilidad de sus GPU.