Blogs de Festeros.es

En un vuelo con Avianca, un pasajero, Roberto Mata, recibió uno de esos dolorosos golpes en la rodilla con el carrito de la comida cuando pasaba al lado de su asiento por el pasillo, y ese golpe resultó en una lesión. El pasajero decidió pedir una indemnización por daños a través de un abogado, Steven A. Schwartz, del bufete Levidow, Levidow & Oberman, y cuando Avianca pidió al juez que desestimase el caso, ese abogado se presentó con una alegación de diez páginas en la que citaba media docena de casos relevantes en los que demandas similares habían sido estimadas, y con una sesuda discusión sobre los efectos negativos que potencialmente tendría dar la razón a la aerolínea.

¿Qué ocurrió? Simplemente, que cuando los abogados de Avianca se pusieron a trabajar con la demanda, se sorprendieron al no ser capaz de encontrar ninguno de los casos que el abogado de Mata citaba en su escrito, y pidieron aclaraciones al juez, que a su vez tampoco pudo localizarlas. ¿Qué había pasado? Muy sencillo: Steven A. Schwartz, el abogado con más de treinta años de experiencia, había tenido la ocurrencia de pedir a ChatGPT que sustentase el caso, y ChatGPT le contestó con una demanda aparentemente muy bien argumentada… que recurría a media docena de casos que el algoritmo se había inventado.

De hecho, no solo se los inventó, sino que les dio una apariencia de total verosimilitud, y respondió a preguntas de comprobación sobre ellos, asegurando en todo momento que eran casos reales. El abogado, sin más comprobaciones, envió su escrito al juez. El juez, tras encontrarse con el problema, afirmó que estaba ante una circunstancia sin precedentes: una presentación legal repleta de decisiones judiciales falsas, con argumentos falsos y citas falsas, y ordenó una audiencia para el 8 de junio para discutir posibles sanciones.

En el cruce posterior de escritos, el abogado ha reconocido completamente los hechos, se ha disculpado y ha suministrado capturas de pantalla de ChatGPT en las que aseguraba la verosimilitud de las citas y ha explicado que desconocía la posibilidad de que el algoritmo se comportase de esa manera, lo que muy probablemente no sirva para librarle de las correspondientes sanciones.

Lo hemos comentado en ocasiones anteriores: lo que un algoritmo generativo hace es una versión avanzada de un autocomplete, pero en función de los datos con los que contó en su entrenamiento y de las pautas y patrones que ha deducido a partir de ellos. ChatGPT no es, en ningún caso, una base de datos de jurisprudencia, y su funcionalidad no es rebuscar en ella: eso lo desarrolló IBM hace años, lo llamó Ross, y nunca lo vendió como un abogado, sino como un paralegal, es decir, precisamente eso: un asistente dedicado a revisar la jurisprudencia. Ross llegó a ser «contratado» por un buen número de bufetes porque llevaba a cabo las complejas búsquedas de casos relevantes en la jurisprudencia de manera muy adecuada… pero no era un algoritmo generativo: era, simplemente, un buen buscador bibliográfico.

Si crees que un algoritmo generativo va a comportarse como un buscador bibliográfico, tienes un problema: has olvidado el significado del término «generativo». ChatGPT y otros algoritmos generativos similares están diseñados no para contestarte la verdad, sino para decirte lo que quieres oír, o en este caso, leer. El hecho de que lo que te conteste sea real o se lo invente es algo que está perfectamente especificado en las advertencias de uso.

Y los textos legales, y particularmente los que recoge la jurisprudencia, no se «generan» jamás: se citan y punto. Es, claramente, una de las primeras cosas que llama la atención de ChatGPT: puedes preguntarle por ti, por tu compañía o por quien quieras: la respuesta parece hecha sistemáticamente para agradar. ¿Por qué es eso? Sencillamente, porque es lo que se busca: combíname lo que puedas deducir a partir de un montón de información que se te suministró en tu entrenamiento, para responder a esta pregunta de manera que quien la hizo quede satisfecho con la respuesta.

El caso Mata vs. Avianca debería convertirse en una advertencia contra todos aquellos que otorgan a los algoritmos generativos propiedades que no tienen, o contra los que afirman que son «inteligentes»: no hay inteligencia en recombinar datos para producir una respuesta bien redactada y aparentemente correcta. Hay estadística, correlaciones, cálculos probabilísticos y, en general, deducciones más o menos inspiradas en función de patrones encontrados en los datos. Ni es un abogado, ni mucho menos un psicólogo o un escritor, aunque sus respuestas te puedan, en muchos casos, ahorrar trabajo o aportar ideas y reflexiones. Es lo que es, punto. Y si quieres que un algoritmo generativo sea otra cosa distinta de lo que es, muy probablemente lo que te genere sean… problemas.

This article is also available in English on my Medium page, «This is what happens when you trust a machine designed to say what you want to hear?»

Publicado con licencia Creative Commons 3.0 España