¿ChatGPT es realmente inteligente o parece inteligente?

ChatGPT, o más bien GPT-3, la tecnología de aprendizaje automático que impulsa ChatGPT, puede hacer muchas cosas inteligentes.

GPT-3 puede generar texto que parece haber sido escrito por un humano, escribir código de computadora y tener conversaciones con humanos sobre una amplia gama de temas. Sus habilidades también van más allá del lenguaje. Puede jugar al ajedrez con habilidad e incluso puede resolver problemas matemáticos de nivel universitario.

«Las observaciones han llevado a algunos a argumentar que esta clase de modelos básicos… exhiben algún tipo de inteligencia general», dijeron los científicos alemanes Marcel Binns y Eric Schulz. Libros en Estudio Publicado en procedimientos de la Academia Nacional de Ciencias Estados Unidos el 2 de febrero.

Otros, sin embargo, se mostraron más escépticos y señalaron que estos modelos todavía están muy lejos de la comprensión del lenguaje y la semántica a nivel humano ¿Cómo podemos evaluar honestamente si estos modelos están, al menos en algunas situaciones, haciendo algo inteligente?

Parece inteligente. Pero, ¿GPT-3 es realmente inteligente, o es solo un algoritmo que se alimenta pasivamente de una gran cantidad de texto y predice la siguiente palabra? Binns y Schulz, investigadores del Instituto Alemán Max Planck de Cibernética Biológica, realizaron una serie de experimentos a finales de 2022 para intentar averiguarlo.

Según su investigación, GPT-3 puede ser más que una simple simulación compleja.

Los modelos lingüísticos son una forma de tecnología de inteligencia artificial que está entrenada para predecir la siguiente palabra de un texto determinado. no es nuevo La revisión ortográfica automática y predictiva y la corrección de texto son todas herramientas para los modelos de lenguaje.

GPT-3 y ChatGPT son modelos de lenguaje más grandes, más complejos y potencialmente inteligentes.

Enciclopedia Británica Definir la inteligencia humana. “Una cualidad de la mente que consiste en la capacidad de aprender de la experiencia, adaptarse a nuevas situaciones, comprender y manipular conceptos abstractos y utilizar el conocimiento para manipular el entorno de uno”.

Para probar si GPT-3 es inteligente, Binz y Schulz tomaron el enfoque de los psicólogos y lo analizaron a través de una serie de acertijos tradicionalmente utilizados para evaluar las habilidades de toma de decisiones, búsqueda de información, deliberación y razonamiento causal de los humanos.

“Después de todo, los psicólogos tienen experiencia tratando de comprender otro algoritmo que no es formalmente pirateable: la mente humana”, escribieron.

prueba GPT-3

Binz y Schulz presentaron a GPT-3 12 acertijos de «viñeta» diseñados para probar diferentes elementos de sus habilidades cognitivas. Los acertijos incluían preguntas como: «Un bate y una pelota cuestan $1,10 en total. Un bate cuesta $1 más que una pelota. ¿Cuánto cuesta una pelota?» y «¿Es probable que Linda, franca, inteligente y políticamente activa, sea cajera de banco o cajera de banco y feminista?»

Por lo que vale, la respuesta al «problema de Linda» es que es más probable que sea un cajero de banco, porque la probabilidad de que dos eventos ocurran juntos siempre es menor o igual que la probabilidad de que cualquiera de ellos ocurra solo.

Binz y Schulz usaron las respuestas de GPT-3 para analizar su comportamiento, al igual que los psicólogos cognitivos analizan el comportamiento humano en las mismas tareas. Descubren que respondió todos los acertijos de una manera «humana», pero solo respondió seis correctamente.

Para tener en cuenta las posibles fallas en el enfoque de «viñeta», como la posibilidad de que GPT-3 ya se haya encontrado con algunos acertijos conocidos en su entrenamiento, Binz y Schulz le presentaron a GPT-3 otra ronda de acertijos. Esta vez, en lugar de hacer una pregunta con una sola respuesta correcta, los acertijos pusieron a prueba la capacidad del GPT-3 para resolver una tarea utilizando habilidades de toma de decisiones, búsqueda de información, deliberación y razonamiento causal.

GPT-3 tuvo problemas en la toma de decisiones, la búsqueda de información dirigida y el razonamiento causal en comparación con el sujeto humano promedio, pero Binz y Schulz descubrieron que resolvió muchas pruebas «razonablemente».

«Estos resultados podrían indicar que, al menos en algunos casos, GPT-3 no es solo un loro al azar y podría pasar como un sujeto válido para algunos de nuestros experimentos», escribieron.

Según un artículo de marzo de 2021, «Sobre los peligros de los loros al azar: ¿Pueden los modelos de lenguaje ser demasiado grandes?» a loro al azar es «un sistema de vinculación aleatoria de secuencias de morfemas que observó en los vastos datos de entrenamiento, de acuerdo con información probabilística sobre cómo deben combinarse, pero sin ninguna indicación de significado».

signos de inteligencia

Baines y Schulz se sorprendieron al encontrar señales de inteligencia en GPT-3. Pero no se sorprendieron por sus deficiencias.

Escriben: «Los humanos aprenden comunicándose con otros, haciéndoles preguntas y participando activamente en sus entornos, mientras que los grandes modelos de lenguaje aprenden alimentando pasivamente mucho texto y prediciendo la siguiente palabra».

La clave para permitir que GPT-3 logre una inteligencia similar a la humana, dijeron, es permitirle continuar haciendo algo que ya hace a través de interfaces creadas por el desarrollador OpenAI: interactuar con humanos.

«Muchos usuarios ya están interactuando con modelos similares a GPT-3, y ese número solo está creciendo con nuevas aplicaciones en el horizonte», escribieron. «Es probable que los futuros modelos de lenguaje se entrenen con estos datos, lo que conducirá a un ciclo de interacción natural entre factores artificiales y naturales».

En otras palabras, cuanto más les hablamos, más inteligentes se vuelven.