Blogs de Festeros.es

Cada vez son más los analistas que se apuntan a una idea que ya he escuchado en la industria: que los algoritmos generativos, que tantísima popularidad han alcanzado desde el lanzamiento en abierto de ChatGPT en noviembre de 2022, van a recibir «una ducha fría» en sus perspectivas de adopción durante el 2024 debido, fundamentalmente, a su incapacidad para alcanzar una estructura de costes razonable y que tenga sentido.

La cuestión parece pura lógica aritmética, y se reduce a un simple análisis de los costes de producción de esos algoritmos frente a sus costes de operación. Los costes de producción de un algoritmo generativo son ya de por sí muy elevados, dado que requieren el desarrollo de modelos con miles de millones de variables cuando, hasta hace muy poco tiempo, los modelos utilizados habitualmente en modelos de automatización muy sofisticada de machine learning solían tener, como mucho, algunos cientos. Pero como tales costes de desarrollo, las compañías podían plantearse su amortización a largo plazo, recurriendo en muchos casos a capitalistas de riesgo más o menos pacientes dispuestos a esperar a la maduración de la inversión.

El problema surge cuando hablamos, además, de modelos cuyo entrenamiento no se puede detener y precisa de constantes iteraciones para generar nuevas versiones más avanzadas y que tengan en cuenta un contexto permanentemente cambiante, y además, al tiempo, se enfrentan con costes operativos también muy elevados, que generan flujos de caja negativos constantes. Si los costes de entrenamiento son ya de por sí elevados, los costes de inferencia exceden con mucho la escala de los anteriores, y crecen más aún a medida que el modelo se hace más grande.

Simplemente la operación de ChatGPT genera más de 700,000 dólares al día en uso de servidores a OpenAI: cada vez que alguien hace una pregunta al conocido algoritmo, la compañía pierde dinero, bien porque se trate de un usuario gratuito, o porque sea uno de pago que, por lo tanto, tiende a mantener un uso mucho más habitual e intenso. Plantear un precio que permitiese un equilibrio con respecto a los costes que genera supondría, seguramente, que muy pocos pudiesen plantearse recurrir al algoritmo de manera cotidiana. Incluso con su crecimiento en facturación y cobrando veinte dólares al mes a los usuarios premium, la compañía está muy lejos de cubrir sus costes.

En términos de coste, de uso de energía e incluso medioambientales, hay quienes califican a ChatGPT de «pacto con el demonio«. El análisis del funcionamiento operativo de los llamados Large Language Models permite comprobar que los costes que generan son difícilmente compatibles con una operativa comercial razonable, y ayuda a comprender por qué Google, al principio de esta carrera armamentística por tener el mejor algoritmo generativo, vaciló antes de lanzarse a competir. Frente al coste de una búsqueda convencional en bases de datos masivas pero brutalmente optimizadas, el de una búsqueda que utilice una inferencia resuelta mediante algoritmia generativa es varios órdenes de magnitud mayor. Los resultados de una búsqueda tal vez puedan ser más concluyentes – excluyendo, lógicamente, las llamadas «alucinaciones» que algunos, además, están usando para contaminar la web – pero, simplemente, no nos los podemos permitir desde un punto de vista financiero razonable.

Convertir el hype de los modelos de algoritmia generativa en beneficios para las compañías parece que va a ser extremadamente complicado, y eso podría significar un parón importante en el uso que hacemos de ese tipo de herramientas, al menos hasta que las mejoras continuas en eficiencia y el progresivo descenso en los costes de computación permitan reducir esos costes operativos (con Microsoft incluso encomendándose para ello al desarrollo de nuevos chips para competir con Nvidia). Para algunas compañías, esto puede representar la llamada «muerte por LLM«, la incapacidad para cubrir los costes de sus operaciones. Para muchos usuarios, tras haber probado satisfactoriamente este tipo de algoritmos en muchas tareas, esto podría significar dificultades, sobre todo si han dimensionado servicios basados en ellos y con las estructuras de costes que se plantearon inicialmente.

Aparentemente, cuando Google, teniendo tecnología disponible para ello, no lanzó ningún servicio al público basado en ella, sabía lo que hacía: simplemente, había hecho los números, y no le salían. Ahora, tenemos una oferta de un producto que cuesta tanto entrenar y operar que no puede hacerse a precios razonablemente atractivos, que no ha solucionado el problema de las alucinaciones – lo que impide muchos usos que requieran cierta fiabilidad – y al que le queda mucho, en el estado actual de la tecnología, para ser de utilidad al nivel que muchos creyeron que lo sería. Es el problema que tiene creer que es posible adelantarse a los tiempos.

Publicado con licencia Creative Commons 3.0 España