Blogs de Festeros.es

Desde el lanzamiento de GitHub Copilot en julio de 2021, han sido muchos los experimentos que múltiples desarrolladores han llevado a cabo con su uso: la idea de tener un asistente que puede desde aliviar de las tareas más rutinarias del desarrollo hasta aportar ideas interesantes basadas en una base de datos enorme puede resultar, en principio, muy atractiva, y plantear implicaciones de todo tipo, desde relacionadas con el uso de código con distintos tipos de licencia, hasta, por supuesto, de la calidad de lo programado.

Ahora, un estudio de Stanford muestra que los desarrolladores que programan utilizando el asistente robótico generan, en promedio, código menos seguro y con más vulnerabilidades que aquellos que escriben código por su cuenta sin asistente alguno. Sin embargo, la impresión subjetiva de esos desarrolladores era la contraria, que su código era que habían generado código más seguro.

¿A qué se debe esta impresión? Simplemente, a una aparente confianza mayor en el producto que genera un asistente robótico. Una sensación subjetiva de confianza en la máquina muy similar a la que observo en muchas personas desde que apareció ChatGPT: la idea de que, como viene de una máquina, lo que diga va a ser correcto. Sensación, por supuesto, completamente errónea, porque el resultado depende únicamente de los datos con los que se alimenta el algoritmo, lo que implica, en muchos casos, conclusiones erróneas. ¿Qué podemos esperar de una aplicación que se alimenta con miles de fuentes en la red? Simplemente, que unas veces nos diga cosas acertadas, y otras no tanto. ¿Qué debemos esperar de un algoritmo que aprende a generar código partiendo de miles de proyectos de código abierto? Que unas veces se base en los buenos, y otras en los no tan buenos.

Estudios anteriores sobre el mismo tema habían apuntado conclusiones similares con muestras, hasta el momento, más reducidas. La calidad del resultado depende de la calidad de los datos de los que se alimenta. Por muy automatizado que esté, sigue estando creado por seres humanos y alimentado con datos generados por seres humanos, con todo lo que ello conlleva. Antes de santificar lo que dice el algoritmo, sea el que sea, tengamos mucho cuidado con lo que hemos creado. Y sobre todo, con los que pretendan directamente darlo por bueno.

Publicado con licencia Creative Commons 3.0 España