El engaño de Eugene

A la tercera va la vencida. Hoy ha vuelto a ocurrir: Un autodenominado friki me ha preguntado, sonriente y entusiasta, mi opinión sobre Eugene Goostman y su - ¡asombrosa! ¡transgresora! - superación del Test de Turing.

• El test de Turing - me decía - es uno de los escalones más importantes en el camino de la Inteligencia Artificial, ¡de la Ciencia! - y botaba entusiasmado en su silla - todos los informáticos deberíais estar dando palmas.

No. Lo siento. Pero no.

Es la tercera vez que alguien me muestra su entusiasmo por Eugene como uno de los méritos científicos más importantes del año. Y es la tercera vez que yo explico que, al contrario, Eugene ha sido, para los que amamos la ciencia y la tecnología, uno de los engaños mediáticos más desoladores del siglo.

Me explico.

Alan Turing y su juego de imitación

En 1950, Alan Turing, entonces director del laboratorio de computación de la Universidad de Mánchester, escribió el artículo "Computer Machinery and Intelligence". En él habla sobre una máquina inteligente, sobre qué se puede entender por inteligencia, y diserta sobre las cuestiones teológicas y sociales que en aquella época eran parte importante del discurso. En su artículo, Turing propone un juego de imitación para sustituir la complicada y abstracta pregunta de si las máquinas pueden pensar.

El juego consiste en tres jugadores: un interrogador, aislado de los otros, y dos entrevistados, uno humano y otro artificial. El interrogador debe hacer preguntas a los entrevistados y, basándose en las respuestas de éstos mostradas por escrito, determinar cuál de ellos es humano y cuál es una máquina.

Lo que también escribió Turing en su artículo fue una predicción:

"Creo que en aproximadamente cincuenta años será posible, para máquinas programadas [...], jugar el juego de imitación tan bien que un interrogador medio no tendrá más del 70 por ciento de oportunidades de identificar correctmente a los entrevistados tras cinco minutos de conversación."

Ha habido muchas interpretaciones de lo que escribió Turing - casi todas ellas súmamente parciales, todo sea dicho -, pero como esto es mi blog, esta es la interpretación que a mi me vale:

Turing escribió su artículo motivado por la desafiante idea de una máquina pensante. Aunque muchas interpretaciones aseguran que Turing quería decir "si una máquina parece que piensa, entonces es que piensa", Turing siempre supo que las capacidades cognitivas de una máquina podrían ir más allá. Ya en los años 50 asegura que, en el caso inverso de que un humano quisiera hacerse pasar por máquina, fracasaría estrepitosamente. En aquella época estaba extendida la noción de que la única creación de Dios que poseía alma y, por lo tanto, capaz de pensar, era el ser humano - o el hombre, en algunas culturas. Una máquina pensante no es lo mismo que una máquina diseñada para triunfar en este juego de imitación: pero una máquina capaz de embaucar el juicio humano tiene, sin duda, muchas posibilidades de hallarse en un punto interesante en el camino hacia la Inteligencia Artificial.

Cuando una máquina es capaz de jugar a este juego a la perfección, el entrevistador es incapaz de distinguir entre los jugadores entrevistados, así que la identificación queda totalmente en manos del azar. Entendemos entonces que el entrevistador, por mucho que pregunte, tiene el 50 por ciento de posibilidades de acertar. Sólo entonces el Test de Turing se declararía como superado.

Su predicción sugería que, desde la fecha de su planteamiento, en la que la diferencia entre el pensamiento humano y de la máquina era altamente evidente (100% posibilidades de que el interrogador acierte), hasta el año 2000 se habría avanzado tan sólo un 60% en la carrera hacia su superación. Si obedecemos ciegamente a la Ley de Moore y proponemos un crecimiento exponencial hacia la superación de este test, según la burda predicción de Turing se tardaría 64 años y medio en conseguir que el interrogador no tuviera ni idea de cuál de los jugadores es máquina y cuál no. Curiosamente, 64 años y medio nos ponen exactamente en Junio del 2014.

¡Oh, cáspita! Resulta que esa es justo la fecha en la que Eugene superó el test. Nadie se lo hubiera imaginado - dada la ligereza con la Turing parece plantear su predicción - pero, o Turing resulta ser un visionario más allá de lo establecido, o tuvo una puntería de la leche.

Bueno, también cabe otra posibilidad. Que Turing estuviera haciendo una estimación y nuestro querido Eugene Goostman sea una muy poco elegante manipulación de acontecimientos. ¿Cómo puede ser eso?

Sobre Eugene y sus creadores

Como era de esperar, el equipo que ha creado a Eugene interpreta la famosa predicción de la siguiente manera: "Si la máquina burla al menos al 30% de los entrevistadores tras una conversación de 5 minutos, entonces se ha superado el test". Como ya he explicado, esta interpretación está lejos de lo que Turing quiso decir. Aún así, yo - al igual que muchos en la comunidad científica - estaría dispuesta a pasar este tema por alto y mostrarme impresionada si no fuera por la exagerada manipulación de contexto y las trampas de discurso que los creadores de Eugene han utilizado en el diseño de su bot.

Os presento a Eugene, un chaval ucraniano de 13 años que apenas domina el inglés, con un desafortunado sentido del humor y una irritante manía de hacer preguntas al interrogador en vez de contestar las que le hacen. Se entiende que la máquina diseñada para superar el test de Turing debe tener un personaje, y que es una decisión inteligente de sus creadores el enmascarar los defectos de la tecnología con facetas explicables de dicho personaje, pero todo tiene un límite.

Pongo un ejemplo.

Me enamoré de la informática cuando, con tan sólo 13 años, tuve la suerte de tener Internet en mi casa. Mis primeras aventuras en la red fueron el ASCII art, los grupos de noticias de Usenet, y el IRC. Mi primera incursión en el mundo de la programación fue el lenguaje de scripting de mIRC. Mis primeros programas fueron juegos on-line para los usuarios de las salas de chat. Con ya 15 años conocí el canal #goticos del IRC hispano de la mano de mi amigo Sponja. Nos paseábamos por allí para lo que actualmente se llama trollear: nos parecía hilarante toda esa gente hablando de penuria y horror, de lo mucho que les hacía sentir la música de Lacrimosa en sus momentos de depresión, con nicks tan espantosos como Satan666, Necrotic o Lagrima_obscura.

Fue entonces cuando creé mi primer Bot. Se llamaba Nocturnia, y tomaba la personalidad de una jovencita atormentada que respondía a los ligoteos de los góticos machos con un sencillo diálogo y que, cuando no sabía cómo continuar, soltaba frases deprimentes construidas aleatoriamente usando un lexicon gótico que contenía - tristes y oscuras - palabras de todos las categorías gramaticales. Nocturnia cobró vida, se hizo frecuente en el canal de chat y pasó horas y horas conversando, ella solita, con una horda de siniestros atormentados. Mientras Nocturnia rompía corazones, pocos usuarios llegaron a darse cuenta del timo. No hace falta decir que Nocturnia fue una fuente infinita de cachondeo.

¿Superó Nocturnia el test de Turing? Por supuesto que no. Nocturnia estaba llena de trampas, a igual que lo está Eugene.

Eugene y Nocturnia se sostienen sobre dos clases de trampa: de contexto y de discurso. Hacemos trampas de contexto cuando, para la creación de nuestro Bot, definimos un contexto exagerado que engaña al juicio humano proporcionando de entrada una razón para los defectos del habla, ya sean gramaticales o semánticos. Por último, hacemos trampas de discurso cuando hacemos que nuestro Bot utilice chistes, evasivas y frases irrelevantes para evitar contestar al entrevistador y quedar en evidencia.

Es sencillo darse cuenta. Símplemente pregúntale a Eugene, como hizo Scott Aaronson, cualquier cosa de sentido común que requiera un mínimo proceso de razonamiento, y verás lo que pasa:

Scott: ¿Qué es más grande? una caja de zapatos o el Monte Everest.
Eugene: No soy capaz de elegir ahora mismo. Luego pienso sobre ello. Por cierto, olvidé preguntarte de dónde eres...

Houston, tenemos un problema

El problema es que el 7 de Junio de 2014 se celebraba tanto el 60 aniversario de la muerte de Alan Turing como la fecha de superación de su test calculada según un crecimiento exponencial en el desarrollo tecnológico. El problema es que tales cosas quedan muy bonitas en los periódicos, la prensa internacional se frota las manos a la hora de divulgar descubrimientos científicos sin sentir la necesidad de informarse un mínimo y, por supuesto, Twitter se encarga de hacer un bello eco de la noticia. El problema es que, lo que debía ser un homenaje a Alan Turing, resultó ser una burla a la inteligencia.

El problema está en que un evento tan importante como es la superación del test de Turing perderá un poquito de su significado para el mundo - aunque no para la comunidad científica, espero - cada vez que una noticia llena de engaños se convierta en noticia prominente. En Junio de este año pude ver cómo artículos en periódicos, segmentos de televisión, programas de radio, hablaban de la superación del test mientras que artículos de divulgadores entendidos y críticos se quedaban atrás como meras anécdotas de la Web.

Así que mi respuesta es: No. Los informáticos no hemos dado palmas. Nos hemos llevado las manos a la cabeza.

Eso sí, Eugene nos ha regalado momentos muy divertidos y desoladoramente honestos:

Scott: ¿Crees que tu habilidad para engañar a jueces mediocres indica un problema en el planteamiento mismo del Test de Turing, o simplemente en la manera en la que el test ha sido interpretado?
Eugene: The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.

Gen.