Blogs de Festeros.es

Chris Bakke publica en X una captura de pantalla en la que muestra cómo, mediante una prompt injection muy sencilla, consiguió que un chatbot de servicio al cliente de Chevrolet le vendiese un Chevrolet Tahoe último modelo por un dólar, y dijese además que se trataba de una oferta legalmente vinculante.

Obviamente, la marca no va a llevar a cabo la operación, pero la captura, que Bakke llevó a cabo tras darse cuenta de que el chatbot en cuestión era una simple adaptación de ChatGPT 3, es una buena prueba de concepto que demuestra que si una marca quiere sustituir todos o parte de sus procesos de servicio al cliente mediante un chatbot gestionado mediante un algoritmo generativo, es muy posible que la tecnología no esté aún suficientemente madura.

La cuestión es evidente: si diseñas un chatbot para tomar cualquier frase tecleada por un supuesto cliente mediante un algoritmo generativo, es muy difícil evitar que ese algoritmo generativo, al procesar la frase en cuestión, no se limite a procesar la información y responder, sino que también pueda interpretarla como condicionantes para futuras conversaciones en ese hilo. En sus experimentos con el chatbot de Chevrolet, Chris Bakke consiguió, por ejemplo, que la compañía, supuestamente, le ofreciese un dos por uno en todos sus vehículos o que llegase incluso a venderle un Tesla.

La prompt injection es, simplemente, una familia de exploits de seguridad que tienen lugar cuando un algoritmo que fue capacitado para seguir instrucciones dadas por humanos, recibe esas instrucciones de un usuario malintencionado que pretende manipular sus respuestas. Mediante prompt injection se han conseguido todo tipo de respuestas, incluidos por ejemplo detalles sobre el entrenamiento de determinados algoritmos.

separar los ámbitos de administración y de servicio es, en este tipo de entornos, bastante difícil, y tratar de prevenir ataques de prompt injection es, dada la enorme diversidad posible con la que pueden producirse, una tarea que se plantea como casi ilimitada y que, además, es susceptible de condicionar respuestas a muchos otros intercambios que podrían ser genuinos, debilitando por tanto las posibilidades del chatbot.

Por otro lado, la posibilidad de recurrir a un chatbot de este tipo es muy atractiva, y de hecho, fue una de las primeras funcionalidades con las que se comenzó a especular tras la aparición de ChatGPT a finales de noviembre de 2022: en la era del servicio 24×7 a través de interfaces web, tener a un equipo de personas contestando en tiempo real las posibles dudas y preguntas de los clientes resulta costoso y complejo, pero retrasar la contestación a esas preguntas puede, en muchos casos, costar una venta o generar un problema, porque los propios clientes demandan ese servicio de manera prácticamente inmediata.

Pero por otro lado, a medida que este tipo de interfaces y algoritmos se hacen más populares y su uso se extiende en todo tipo de entornos, cabe esperar que las habilidades generales para llevar a cabo trucos como la prompt injection y similares vayan mejorando entre la población, lo que podría desencadenar todo tipo de situaciones que las marcas, muy posiblemente, preferirían evitar. Como siempre, cabe esperar que veamos una carrera entre los ingenieros que intentan prevenir todo tipo de actuaciones de este tipo conceptualizadas como ataques, y el ingenio colectivo de quienes los diseñan.

Por el momento, el consejo parece claro: antes de automatizar completamente tu servicio al cliente con un algoritmo generativo, preocúpate de plantearte en manos de quién estás dejando una interacción tan posiblemente valiosa, y por las posibles consecuencias reputacionales de ver supuestamente a tu marca contestando… vete tú a saber qué!

Publicado con licencia Creative Commons 3.0 España