La IA en contexto y las alucinaciones
Slides
Invito a ver previamente el video sobre alucinaciones.
1 Este post
1.1 Delimitación
Este es un ejercicio académico que no corresponde sino a posiciones personales académicas.
1.2 Propósito
Entender qué son las alucinaciones en inteligencia artificial (IA) como guía para entender esta rama de la computación.
2 La IA es solo software
Es muy importante que piensen en la IA como lo que es software. Es un producto humano sujeto a las consecuencias de tal origen: puede estar mal concebido, para empezar. No es como un oráculo que puede responder con acierto de todo. Por lo mismo, debe aprender a usarse como herramienta que es, analizando cuidadosamente el propósito para el que se quiere emplear.
Por lo mismo, con IA hay que tener los cuidados de todo software (ciberseguridad por ejemplo).
3 Sobre preguntas
Piensen en cada pregunta que quieran hacer como si fuera a formular un prompt, es decir, un requerimiento muy concreto a un aplicativo de IA generativa.
4 Algunos términos
4.1 Alucinaciones de la IA
Por ahora se denominan así las mentiras que se presentan en la IA generativa de texto cuando falta a la verdad por inventar información. Cuando esos mismos aplicativos omiten información relevante, se habla de omisiones.
(“Lying” in computer-generated texts: hallucinations and omissions, de Kees Van Deemter y Ehud Reiter
https://blog.oup.com/2023/06/lying-in-computer-generated-texts-hallucinations-and-omissions/)
4.2 Chatbot
“…es un programa informático que utiliza inteligencia artificial (IA) y procesamiento del lenguaje natural (NLP) para comprender las preguntas de los clientes y automatizar las respuestas a dichas preguntas, simulando la conversación humana.” (IBM.COM, en https://www.ibm.com/es-es/topics/chatbots)
Por tanto, las aplicaciones como ChatGPT son chatbots.
4.3 Inteligencia artificial
“aprovecha computadoras y máquinas para imitar las capacidades de resolución de problemas y toma de decisiones de la mente humana.” (IBM.COM, en https://www.ibm.com/mx-es/topics/artificial-intelligence)
El término es introducido por John McCarthy en el Darmouth College en 1956.
(misma fuente)
4.4 Inteligencia Artificial Generativa
“…es una rama de la inteligencia artificial que se centra en crear sistemas capaces de generar contenido original y creativo, como imágenes, música, texto y video, que no ha sido previamente programado o diseñado por un humano.” (20Minutos.es, en https://www.20minutos.es/tecnologia/inteligencia-artificial/diccionario-facil-inteligencia-artificial-5122486/)
4.5 Inteligencia artificial estrecha (ANI)
Es la única que existe. Comprende muchas clases de IA en uso, incluyendo la inteligencia artificial generativa (GenAI) como ChatGPT.
4.6 Inteligencia artificial robusta
Es la inteligencia artificial como la de las películas. No existe actualmente ni sabemos si existirá. Hay dos clases: la general (IAG) que es similar a la inteligencia humana y tendría consciencia, y la superinteligencia artificial (SIA) que nos superaría.
4.7 LLM
Los LLM en IA son los grandes modelos de lenguaje. ChatGPT es un LLM.
“Se trata, básicamente, de algoritmos basados en redes neuronales que se entrenan con inmensos conjuntos de datos sin etiquetar de manera automática.” (https://www.ibm.com/blogs/think/es-es/2023/03/01/modelos-fundacionales-nlp-y-su-aplicacion-en-asistentes-virtuales-como-chatgpt/)
4.8 Prompt
“Un prompt es una frase o conjunto de frases que se utilizan para indicarle a la inteligencia artificial lo que queremos que genere –ya sea una respuesta a una pregunta, una imagen a partir de un concepto que propongamos…–.” (20Minutos.es, en https://www.20minutos.es/tecnologia/inteligencia-artificial/diccionario-facil-inteligencia-artificial-5122486/)
4.9 Redes neuronales
“…son modelos matemáticos inspirados en el funcionamiento del cerebro humano, que se utilizan en la inteligencia artificial para resolver problemas de aprendizaje automático. Son capaces de aprender patrones y relaciones complejas a partir de grandes cantidades de datos, y se utilizan en una amplia variedad de aplicaciones de aprendizaje automático, como la clasificación de imágenes, el reconocimiento de voz y la traducción automática.” (20Minutos.es, en https://www.20minutos.es/tecnologia/inteligencia-artificial/diccionario-facil-inteligencia-artificial-5122486/)
5 El primer chatbot y el efecto Eliza
5.1 Eliza
Eliza era un programa que simulaba un psicoterapeuta rogeriano, fue escrito y echado a andar en el MIT por Joseph Weizenbaum, en 1966. Un ppsicoterapeuta rogeriano basa su metodología en preguntas que repiten lo dicho por el paciente, con la idea de llevarlo a descubrir cosas relevantes de las que aún no es consciente pero ya sabe. Desde 1950 Alan Turing había propuesto que una máquina debía tenerse como inteligente si al interactuar con ella un humano no se percataba de que no interactuaba con una máquina, que fue exactamente lo que pasó con Eliza, aunque no todo el mundo concuerda en ello, por eso desde 1990 existe el premio Loebner para quien logre crear un chatbot que logre eso de verdad (hay varios jueces que deben ser engañados, https://www.gtd.es/es/blog/el-test-de-turing-en-su-maxima-competicion-loebner-prize).
Con Eliza sucedió que alguien creyó que Weizenbaum estaba en otra parte usando tiempo de computador, en ese entonces se compartía, y se molestó cuando en lugar de responder sobre el tema el computador comenzó una sesión de terapia. Al día siguiente Weizenbaum debió aclarar el punto. En este caso fue quizás más bien un malentendido.
5.2 Un ejemplo de diálogo de Eliza
“ELIZA: Soy el psicoterapeuta. Por favor, describa su problema
PACIENTE: Estoy triste.
ELIZA: ¿Me puede explicar qué le hace estar triste?
PACIENTE: Se ha muerto mi gato.
ELIZA: ¿Es importante para usted que se haya muerto su gato?
PACIENTE: Sí, mucho.
ELIZA: Lo entiendo.
PACIENTE: ¿Qué puedo hacer?
ELIZA: ¿Pregunta qué puede hacer por alguna razón en particular?
PACIENTE: Porque no quiero estar triste.
ELIZA: ¿Realmente no quiere estar triste?”
5.3 Qué pensaba Weisembaum de la IA
Weizembaum, el programador de Eliza, el primer chatbot de la historia, creía que la inteligencia artificial era un índice para la locura de nuestro mundo (“he came to believe, was an “index of the insanity of our world.””, The Guardian, “Weizenbaum’s nightmares: how the inventor of the first chatbot turned against AI”, en https://www.theguardian.com/technology/2023/jul/25/joseph-weizenbaum-inventor-eliza-chatbot-turned-against-artificial-intelligence-ai)
6 Cuando un sistema de IA ganó a expertos humanos
Esto fue mucho antes de que el gran ajedrecista Kasparov perdiera con Deep Blue. Fue en 1986 cuando el sistema experto en geología Prospector, o sea un sistema de inteligencia artificial creado con el apoyo en el conocimiento de expertos del área y usado por profesionales de la misma, halló “…depósito de molibdeno existente cerca de Mount Tolman en Washington (Winston, 1984). En este caso, los expertos humanos estaban en desacuerdo con los hallazgos de PROSPECTOR. y solamente las perforaciones probaron que el sistema tenía razón.» (HARTNELL, Tim. Sistemas Expertos Introducción al diseño y aplicaciones, Anaya, Madrid,1986, página 26)
7 Los chatbots como estrellas de la IA generativa
ChatGPT se llama así por conversación (chat) y GPT (Generative pre-trained Transformer, transformer generativo preentrenado).
El año de los chatbots es 2016 porque ese año salen al mercado programas como Alexa o Siri (Robert Dale, The return of the chatbots, en https://www.cambridge.org/core/journals/natural-language-engineering/article/return-of-the-chatbots/0ACB73CB66134BFCA8C1D55D20BE6392#)
En noviembre de 2022 ChatGPT inicia la etapa más popular de la IA, aunque ya esta existe desde hace décadas.
8 El modelo general de todo sistema
De una manera muy simplificada, podemos afirmar que todo sistema computacional se puede ver como unas entradas, un procesamiento y una salida. Eso significa que si la entrada contiene basura, la salida contendrá basura, o que si el procesamiento tiene errores pues puede afectarse tanto la entrada (si no se tiene en cuenta información relevante) o la salida (que puede contener errores o simplemente no producir resultado alguno).
En el caso de la IA generativa, pensemos en colocar entre la entrada y el procesamiento (que llamaremos black box, caja negra) un entrenamiento y entre la black box y la salida unos requerimientos (en IA generativa diríamos unos promts).
Si el prompt no es el adecuado, la salida tampoco lo será, no importa que la black box funcione de modo impecable. Usar prompts es toda una técnica, exactamente como lo es saber preguntar o formular requerimientos. Existe por ello la ingeniería de prompts, incluso existen propuestas específicas para ciertas profesiones como el derecho. (“Legal Prompt Engineering – Examples and Tips”, MIT, en https://law.mit.edu/pub/ideaflow15/release/4).
9 El problema de las alucinaciones
Los LLM involucran millones de variables e involucran montones de interacciones internas que funcionan de modo automatizado. Pero producen alucinaciones. Como la black box es tan compleja, no sabemos por qué se producen las alucinaciones ni si alguna vez vamos a poder eliminarlas. funciona (https://time.com/6266679/musk-ai-open-letter/)
El término alucinaciones en humanos tienen que ver con desórdenes psicóticos (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5216859/), en máquinas con invenciones de los LLM que aún no pueden ser tratadas.
Ese tema de las black box en realidad es de todo software de cierta complejidad. Puede ocurrir por fallas intrínsecas en el lenguaje de programación usado opor comportamientos no previstos de algunas librerías. No es nuevo.
10 EL USO
10.1 Distingamos entre usar IA y escribir IA
Es la diferencia entre aprender a usar un auto (o una herramienta compleja que requiere cuidado) y crear esa herramienta (o diseñar un auto). Eso significa que con frecuencia quien habla de aprender IA en realidad habla de aprender a usar una herramienta.
Lo mismo que al comprar un auto (asumiendo que tenemos los recursos) debemos analizar muy bien para qué lo queremos, también es preciso aprenderlo a usar sin estropear ese auto o sin sufrir un accidente. Si usted va a usar un auto para transitar caminos rurales, seguro que no va a comprar un deportivo sino un 4×4, el cual en todo caso debe aprender a utilizar aprendiendo de aspectos como bloqueo de diferenciales, bajo (o reductora, como le dicen en otras partes), labrado de llantas, técnicas de descenso en pendiente, limitaciones del auto adquirido, y otros temas.
10.2 Usar la IA supone pensar en muchos aspectos, como los legales
No es posible pensar en la IA sin considerar cierto uso
Con la IA existe la misma exigencia que con todo contenido en internet: hay que respetar la propiedad intelectual, los datos personales y la privacidad e intimidad ajenos. Usted no puede simplemente usarlos sin autorización, se trate de personas conocidas o no. Son derechos fundamentales en juego. Por ejemplo, no puede tomar la voz de alguien más y simularla, o tomar la imagen de alguien y crear un video o una foto con ello sin haber obtenido del titular de los mismos y sin coacción los permisos necesarios.
Getty Images ha demandado, entre otros, ha demandado a un proveedor de imágenes que usó el stock de Getty para entrenar el servicio de IA de imágenes de este último.
10.3 Aspectos sobre los cuales tener cuidado en uso IA
En 2021, Alexa de Amazon le pidió a una niña que metiera una moneda en un enchufe (https://www.bbc.com/mundo/noticias-59805985).
Hay un documento que contiene 10 riesgos mayores de seguridad en aprendizaje de máquinas. Es del Open Worldwide Application Security Project (OWASP) (https://owasp.org/about/)
“OWASP Machine Learning Security Top Ten” en https://owasp.org/www-project-machine-learning-security-top-10/.
10.4 La carta abierta donde se pidió la moratoria en el desarrollo de la IA generativa
La carta se publicó el 22 de marzo de 2023 y pidió una pausa de 6 meses en el entrenamiento de sistemas de IA más poderosos que ChatGPT 4. Si los actores clave no lo hacían, se sugería que los gobiernos la ordenaran. En las FAQs se indica que una moratoria análoga se había hecho en las investigaciones con DNA. Se expresa el temor por una llegada de una inteligencia artificial general, que aunque aún inexistente no podía descartars, en todo caso, debe existir seguridad de que no habrá efectos adversos.
Este no es el único documento sobre riesgos de la IA. Otro centro de investigación en IA también ha lanzado alertas incluso catastróficas.
11 En resumen
No se trata de abandonar la IA. Es recordar quiénes son los que deben ser inteligentes y aprender a usar la herramienta teniendo claro el entorno de la IA.
Material relacionado
Tags: alucinaciones de GenAI, GenAI, inteligencia artificial, Redes neuronales, Transformers