Google ha asegurado que la IA utiliza hasta seis veces menos memoria. Micron, Samsung y SK Hynix lo pagan caro – La nación

Llevamos meses envueltos en la crisis de la memoria, pero quizás haya una salida. Investigación de Google de la semana pasada publicó un estudio en el que reveló una técnica llamada TurboQuant. Se trata de un algoritmo de compresión que puede comprimir la memoria de los modelos de IA hasta seis veces sin una pérdida significativa de calidad o rendimiento. Una gran noticia para los usuarios finales que ven una luz al final del túnel, pero una pésima noticia para los fabricantes para quienes esta época dorada puede estar llegando a su fin.

Expliquemos qué es la caché KV.. Para comprender TurboQuant, es necesario comprender qué tipo de memoria puede comprimir. Cuando un modelo de lenguaje procesa una conversación larga, necesita recordar el contexto. Cada token procesado se almacena en el llamado caché KV, un tipo de memoria que crece a medida que chateas. Cuanto más dura la conversación, más memoria requiere el modelo.

Comprimir qué es un gerundio. Este es uno de los principales cuellos de botella en la fase de inferencia de la IA (es decir, cuando utilizamos los modelos) y una de las razones por las que los centros de datos necesitan tanta RAM o almacenamiento HBM. TurboQuant utiliza un método de cuantificación vectorial para comprimir este caché manteniendo la precisión del modelo.

Flautista. Tan pronto como apareció este estudio de Google, comenzaron las analogías con la trama de la serie “Silicon Valley”. En él, la startup ficticia de la trama logró desarrollar un algoritmo de compresión extraordinariamente eficiente llamado Pied Piper, que amenazaba con revolucionar la industria tecnológica. Hoy han aparecido en las redes sociales varias referencias a la serie, que ya ha sido calificada de visionaria porque reflejaba los acontecimientos con una precisión espectacular, incluso cuando la serie todavía era una comedia.

Seis veces menos memoria. El artículo de Google Research afirma que este método puede reducir el caché KV 6 veces sin causar una diferencia significativa de rendimiento durante llamadas largas. Los investigadores presentarán sus hallazgos en un evento el próximo mes y explicarán los dos métodos que se pueden utilizar para ponerlos en práctica. Si confirman lo que ya han sugerido, las implicaciones son enormes: menos memoria para inferencia significa que los centros de datos pueden hacer lo mismo con mucho menos hardware/memoria.

El momento DeepSeek de Google. Algunos analistas llaman al descubrimiento el “momento DeepSeek” de Google. Hace un año, la startup china DeepSeek lanzó un modelo de inteligencia artificial que competía con los mejores pero cuyo desarrollo costaba mucho menos. Eso sacudió a la industria y ahora volvemos a un logro técnico que apunta a lo mismo. Cuando se trata de IA, hacer lo mismo con menos es crucial dados los vastos recursos que requiere esta tecnología. Hay quienes ya haber hecho Prueba Rondas preliminares con TurboQuant y he confirmado que el método realmente funciona.

Micron, Samsung y SK Hynix lo pagan caro. El impacto de esta tecnología puede ser enorme, lo que ya se nota en las valoraciones bursátiles de los fabricantes de memorias DRAM y de HBM. Empresas como Micron, Samsung, SK Hynix, SanDisk y Kioxia cayeron significativamente desde sus máximos recientes la semana pasada. El 18 de marzo, el precio rondaba los 471 dólares, hoy las acciones están a 357 dólares, una asombrosa caída del 24,2%. Lo mismo ocurrió con el resto de fabricantes, que ya venían en declive desde esa fecha, pero aceleraron este descenso con la introducción de TurboQuant.

Pero. En teoría, la técnica solo se puede aplicar a la fase de inferencia, pero la fase de entrenamiento de los modelos de IA no se ve afectada por esta técnica de compresión. Por lo tanto, todavía se requiere una gran cantidad de memoria durante la fase de entrenamiento. Además, tendremos que esperar a que las empresas de IA empiecen a aplicar este sistema cuando se confirme que funciona, y entonces podremos ver el impacto real. En teoría, esto dará a las grandes empresas tecnológicas mucho margen de maniobra, lo que podrá hacer bajar aún más los precios de los tokens, pero aún está por ver si lo harán.

La memoria RAM baja de precio. Los efectos de TurboQuant también se pueden ver claramente en los precios de los módulos de memoria, que han bajado significativamente. Por ejemplo, según CamelCamelCamel, los módulos Corsair Vengeance DDR5 32 GB 6000 MHz (2×16 GB) costaban hasta hace unas semanas 489,59 euros en Amazon, pero actualmente están a 339,89 euros, una rebaja considerable. Es cierto que no todos los componentes disminuyen por igual, pero hay casos en los que parecen producirse disminuciones.

En Xataka | La crisis de la RAM está arruinando todos los planes de Valve para su Steam Machine