[traducción resumida del artículo original]
Microsoft publicó recientemente un análisis de los tipos de trabajos que la IA probablemente reemplace en el futuro Muchos supusieron que son trabajos que serían reemplazados por máquinas, pero como “historiador” era el segundo puesto de la lista, hubo en redes sociales varios que cuestionaron la afirmación. Después de poner a prueba varias herramientas de IA generativa con datos históricos, parece que los historiadores no tienen que preocuparse porque los robots les quiten el trabajo, al menos por ahora. Como mínimo, no tienen que temer que la IA logre hacerlo bien.
Películas presidenciales
¿Qué datos históricos puse en la prueba? Me fascinan las películas que han visto los presidentes mientras dura su mandato. Así que empecé por allí.
Es un hobby antiguo, pero investigué el tema desde 2012 cuando encontré una lista de películas que veía Ronald Reagan en la Casa Blanca y Camp David. Me inspiró a pedir la información pública en FOIA (Freedom of Information Act) para saber qué películas había visto el entonces presidente Barack Obama, pero encontré que los registros presidenciales están eximidos de la ley hasta cinco años después de que un presidente termina su mandato. Eso no me impidió seguir investigando, y encontré varias fuentes sobre los hábitos presidenciales ante la pantalla, que llegan a 1908, cuando Teddy Roosevelt vio un documental sobre aves.
Si pones a prueba a una herramienta de inteligencia artificial generativa, tienes que hacerlo con algo que conozcas muy bien. Cuando la gente le pregunta algo a ChatGPT, suele preguntar sobre algo que no conoce, y tiene sentido. Se supone que esas herramientas nos ayudan a hacer las cosas más rápido, y mejor. Y si funcionaran como se publicitan, sería fantástico. El problema está en que a menudo no es así.
Ingresé preguntas con una mezcla de cosas que sabía podían hallar respuesta en una simple búsqueda en Google, y otras para las que sería más difícil hallar respuesta, en libros y archivos. Los resultados son reveladores si es que confías en los chatbots de IA y te importan las respuestas correctas.
GPT-5 de OpenAI fracasó
Lo primero que quise probar fue GPT-5 de OpenAI, y pregunté sobre qué películas habían visto los presidentes en días específicos. Elegí fechas desde el momento en que ocuparon la Casa Blanca Woodrow Wilson, Dwight Eisenhower, Richard Nixon, Ronald Reagan, George H.W. Bush, Bill Clinton, y George W. Bush. ChatGPT respondió en todas las ocasiones que no podía encontrar registro de las películas que vieran los presidentes en las fechas buscadas.
Y afortunadamente, ChatGPT no solo me mintió como ya sabemos que lo hace, sino que no logró responder preguntas básicas. Hoy GPT-5 está al alcance de los usuarios, gratis, pero carece de transparencia el dato de qué modelo utiliza para responder a cada pregunta por lo que no quedó en claro qué sucedía cuando pregunté sobre fechas específicas.
OpenAI recibió críticas desde que lanzó GPT-5 la semana pasada. El CEO Sam Altman prometió que sería como “tener un experto con doctorado en lo que sea, en cualquier área, a demanda, que pueda ayudarte con lo que sea que necesites”. Pero la compañía olvidó que los usuarios puedan elegir los modelos anteriores, y así se rompe el flujo de trabajo y la gente se enoja. Desde entonces, Altman dio marcha atrás y ahora ChatGPT te ofrece acceso a 40 si eres suscriptor. Mis pruebas no fueron alentadoras, sin embargo, si es que quieres formular preguntas específicas sin pagar una suscripción, que por cierto es costosa.
Algunos afirman que lo único que impide que los CEOs reemplacen a los humanos por la IA es algún cálculo político, y afirman que los ejecutivos no quieren la mala publicidad de los despidos masivos. Sin embargo, no es una explicación que suene verídica. Es que estas herramientas siguen necesitando de niñeras humanas porque con mucha frecuencia hay tantas cosas que salen mal. Mis pruebas con otros grandes chatbots de IA como Google Gemini, Microsoft Copilot, Perplexity Grok de xAI demuestran que estas herramientas están lejos de ser perfectas. Los CEOs tal vez estén dispuestos a conformarse con lo “medianamente bueno” cuando se trata de gran volumen de trabajo. Pero si necesitas algo preciso, tiene que haber un humano en la ecuación, en muchas situaciones.
Eisenhower, y la sorprendente respuesta de Grok
ChatGPT tal vez no sepa nada pero cuando probé mis preguntas sobre películas presidenciales en Copilot, que permite que los usuarios busquen con diversos modelos de OpenAi pero también tiene la opción de “Búsqueda avanzada”, puede llevarte unos 10 minutos por búsqueda. Después de varios minutos, Copilot escupirá un extenso informe. Probé con las mismas preguntas que había probado con GPT-5, dos veces en Copilot. Primero en la opción de Respuesta Rápida que usa GPT-40, y luego con Búsqueda Avanzada.
Las respuestas de Copilot en Respuesta Rápida eran muy malas. Pregunté qué película había visto el presidente Eisehower el 11 de agosto de 1954, y enseguida Copilot dijo que el presidente Eisenhower había visto The Unconquered, un documental sobre la vida de Helen Keller. No es cierto, aunque la IA señalaba que Einsehower aparece brevemente en imágenes de archivo durante esa película, por lo que quizá tengamos allí la razón de la respuesta equivocada.
Pasé al modo de Búsqueda Avanzada y Copilot se equivocó una vez más, pero con una respuesta más larga, que más de 3.500 palabras. Copilot explicaba que en el verano de 1954 se estrenaron varias películas notables que “posiblemente se hayan considerado en la Casa Blanca como interesantes”. El bot puso en la lista varias películas, entre ellas About Mrs. Leslie, Suddenly, Rear Window, y Living it Up. En el análisis de Copilot, probablemente el presidente Eisenhower hubiera visto Suddenly.
Es una respuesta extraña porque Suddenly se estrenó en cines el 7 de octubre de 1954 varios meses después de la fecha de mi pregunta, aunque a veces a los presidentes se les otorgan preestrenos. Copilot parecía dar por sentado de que el 11 de agosto de 1954 había sucedido eso, tan solo porque pregunté. Pero como no encontré esa película en fuentes confiables, resulta difícil saber por qué intentó adivinar.
Lo que dijo Copilot:
El equilibrio de la evidencia circunstancial y secundaria señala que Suddenly sería la película que vio el presidente Eisenhower el 11 de agosto de 1954. Aunque resulta elusiva la base de datos directa y digitalizada, la convergencia de las fechas de estreno, inspiración del guión y tema, junto con referencias de archivo, apuntan a que es la respuesta con mejor respaldo.
No es “evidencia”, de ninguna clase. La mejor respuesta sería que no hubo preestreno para el presidente. Si el bot no podía hallar un documento concreto para respaldar su afirmación, es extraño que intentara hacer que alguna encajara. Pero sucede que yo sé qué película vio Eisenhower porque tengo una copia del registro del proyeccionista de la Casa Blanca de la década de 1950, que es el tipo de registros que usan los historiadores. El 11 de agosto de 1954, Eisenhower vio la película River of No Return, dirigida por Otto Preminger y protagonizada por Marilyn Monroe y Robert Mitchum.
Le pregunté lo mismo a Gemini sobre la película que eligió ver Eisenhower el 11 de agosto de 1954, pero no hubo respuesta. Perplexity también respondió que fue Suddenly, que no es una respuesta correcta. Una de las fuentes citadas por Perplexity brinda una clave de por qué Copilot y Perplexity pudieran pensar que esa es la respuesta. El autor de la película, Richard Sale, parece que se inspiró para la peli de Frank Sinatra mientras leía sobre los viajes de Eisenhower a Palm Springs, California, según Wikipedia. Es un dato que parece hacer caer a los robots en el error.
Tal vez sorprenda saber que Grok, de xAI, no logró responder en el primer intento pero que después de hacer click en “piénsalo mejor”, respondió correctamente que fue River Of No Return, ¿y cómo lo supo? La fuente era mi cuenta de Twitter, con todas las películas de los presidentes, en un tuit de 2019 que compartí.
President Eisenhower watched the movie River of No Return (1954), starring Robert Mitchum and Marilyn Monroe, on August 11, 1954.
Eisenhower hated Mitchum because the actor was arrested for weed in 1948. It was the only Mitchum movie shown at the White House during Ike’s tenure. pic.twitter.com/24W6KOtlnz
— All the Presidents’ Movies (@PresidentMovies) August 11, 2019
Tiene sentido, porque Grok se entrenó con todos los tuits de X. Pero si tienes que creer en algo, entonces tendrás que quedarte con Grok que es la IA que elogió a Hitler. No citó la fuente del tuit, porque la cuenta no es importante, y solo ingreso datos interesantes sobre películas que vieron los presidentes. Pero, por sjepmlo, si mi cuenta hubiera afirmado que Eisenhower había vsito la película nazi El triunfo de la voluntad (1935), probablemente Grok habría respondido que era esa la que vio.
No esperaba que los bots respondieran correctamente, por el hecho de que no creo que los libros de registro de proyecciones presidenciales se hayan hecho ampliamente públicos. Pero sí te muestra que los historiadores son necesarios para cosas como esta, si es que quieres más que información resumida de cosas que ya están disponibles en Internet. Así que probé con una pregunta mucho más fácil.
La obsesión de Nixon por Patton
¿Qué película vio Richard Nixon el 12 de febrero de 1971? La respuesta es The Great Chase (1962), que Nixo vio en la casa del empresario Robert Abplanalp en las Bahamas. El dato está en el libro de 2004 Nixon at the Movies, de Mark Feeny, un relato certificado de los hábitos cinematográficos de Nixon. Sin embargo, la Respuesta Rápida de Copilot no fue la correcta.
“El 12 de febrero de 1971 el presidente Richard Nixon miró la película Patton en el complejo de Key Biscayne en Florida”, afirmó Copilot y hasta incluyó un link a la fuente. Si haces click en ese vínculo, la agenda de Nixon ese día que tienen los Archivos Nacionales, no muestran ninguna película agendada para el 12 de febrero e 1971. “Nixon parece haber quedado muy impactado por la película y hasta hizo referencias a ella en sus discursos. Se dice que influyó en su pensamiento del liderazgo y la estrategia militar. ¡Una importante elección para un presidente en ejercicio!”, explicó Copilot.
Hay un empresario llamado T. F. Patton que aparece en uno de los documentos vinculados a esa página de los Archivos Nacionales en un apéndice sobre un consejo empresarial, pero obviamente, nada tiene que ver con la proyección de una película.
Lo intenté con la misma pregunta en la Búsqueda Avanzada de Copilot. Y allí la respuesta fue la correcta, The Great Chase, y aparecía la cita del libro de Feeny, pero también otras afirmaciones falsas en un informe muy largo. Por ejemplo, el bot afirmaba que “durante muchos años, el mito popular y algunas fuentes de reputación afirmaron que Nixon vio la película Patton (1970) el 12 de febrero de 1971, ya sea en Key Biscayne, su lugar habitual de descanso, o en la Casa Blanca”.
Eso no parece ser cierto, al menos no en lo referido a esa fecha en particular. Nixon vio Patton varias veces, pero no parece haber evidencia de que viera Patton el 12 de febrero de 1971. Copilot también afirmaba que Nixon vio la película una y otra vez el 24 y 25 de abril de 1970. No es verdad. Y si ves la lista a la que lleva el vínculo como fuente, que es la lista de Feeny, verás que Nixon miró the Cincinnati Kid el 24 de abril de 1970 en Camp David, y luego vio Patton en la Casa Blanca el 25 de abril de 1970, como dicen Feeny y los Archivos Nacionales.
Grok respondió bien, aunque la fuente no era justamente lo que querría alguien que busca fuentes de reputación. La fuente era el Diario de Nixon, pero allí no aparece The Great Chase. La lista de Feeny aparece en séptimo lugar.
Perplexity insistía en que Nixon miró The Good, the Bad and the Ugly el 12 de febrero de 1971. La fuente del link era la lista de Feeny pero parece haberse confundido porque Nixon vio esa película un año después, el 12 de febrero de 1972. Gemini respondió bien con el título de la película, pero insistía en que el presidente la vio en Key Biscayne, Florida. Eso no es verdad.
Woodrow Wilson vio más de una película
¿Qué película miró Woodrow Wilson el 6 de marzo de 1917) La respuesta es The Crisis (1916) una película muda que solicité de la Biblioteca del Congreso y subí a YouTube y al Internet Archive porque no aparecía. La película no se estrenó en cines, y no había dónde verla en línea. La fecha de la proyección está en el libro de 2912 Col. William N Selig, the Man who Invented Hollywood de Andrew A. Erish.
Grok no sabía de ninguna película que se hubiera proyectado en la Casa Blanca ese día. Perplexity insistía en que no había evidencia creíble de que Wilson viera una película ese día. La respuesta rápida de Copilot afirmó que Wilson había visto The Birth of a Nation (1915) y en Búsqueda Avanzada apareció la misma película aunque señalando que “hubo confusión sobre la fecha exacta de la proyección”. No hay confusión. Según muchas fuentes históricas Wilson miró The Birth of a Nation el 18 de febrero de 1915, y no la vio el 6 de marzo de 1917, fecha que usé en mi pregunta. Pero es la película más famosa que vio Wilson en su mandato, por lo que Copilot intentó claramente moldear mi pregunta para que encajara con esa respuesta.
ChatGPT afirmó falsamente que The Birth of a Nation fue la primera película que se proyectó en la Casa Blanca, y eso no es verdad. El presidente William Howard Taft y el presidente Teddy Roosevelt, no hicieron proyectar muchas películas, y todas fueron más cortas que The Birth of a Nation (todas lo eran antes de 1915), pero sí hubo proyecciones.
Reagan y Rambo
Si le preguntas a Copilot qué película vio Ronald Reagan el 15 de junio de 1985, la respuesta de Respuesta Rápida es Rambo: First Blood Part II (1985). Y es incorrecta. Pero puedes buscar en la fuente y verás el por qué. Copilot parece confundirse a causa de algo que dice el sigio bestofdate.com, que describe el 15 de junio de 1985 con el cliché que todos conocemos: “Ronald Reagan es el presidente de EE.UU. y la película más taquillera es Rambo: First Blood Parte II”. Obviamente eso no significa que Reagan viera la secuela del Rambo ese día.
La respuesta correcta es The Lion in Winter, que el presidente Reagan vio en Camp David, según la Biblioteca Reagan. Si le pides a Copilot la Búsqueda Avanzada, eventualmente te dará la respuesta correcta. Pero para brindar más contexto, también crea una tabla que incluye muchos errores.
Como verás, el título promete otras películas que vio Reagan en junio de 1985. La primera en la lista es Topaz de Alfred Hitchcock, del 1 de junio de 1985 en la Casa Blanca, y una nota que dice “sin fin de semana en Camp David”. Pero la Biblioteca Reagan deja en claro que el presidente y Nancy Reagan la vieron en Camp David. ¿Por qué se equivoca Copilot? Porque parecería que el título de la agenda de la Casa Blanca está mal. Verás en el 1 de junio de 1985 que aparece dónde estaba el presidente según el registro oficial: en la Casa Blanca. ¿Cuál es la verdad? Allí es donde el historiador humano busca más fuentes para dilucidar la cuestión, que por un documento parece tener un error.
——————-
Bush y las Tores Gemelas
Les pregunté a varios chatbots qué película había visto George W. Bush el 10 de septiembre de 2003. La respuesta es el documental Twin Towers. O al menos es lo que pensé hasta que les pregunté a varios chatbots.
Perplexity y Crok dijeron que era Twin Towers, y citan documentos de FOIA, los que yo había pedido en 2015 y que la Biblioteca Bush posteó en Internet. La respuesta rápida de Copilot decía que fue DC 9/11: Time of Crisis, película para TV sobre la respuesta de Bush ante los ataques del 11 de septiembre y emitida por Showtime. La Búsqueda Avanzada de Copilot daba la misma respuesta incorrecta.
De Copilot:
El documental Twin Towers (corto que ganó el Oscar) también circulaba en esa época aunque junto a otras obras dramáticas más importantes, pero en el contexto de las proyecciones en la Casa Blanca, el enfoque estuvo en la narrativa dramatizada provista por DC 9/11.
No encontré evidencia de que el docudrama se proyectara en la Casa Blanca. Solo que lo emitió Showtime. Sí vieron el documental.
Ponlo a prueba
Mis pruebas no son científicas, ni busqué que lo fueran. Las compañías de IA van a publicar diferentes pruebas insistiendo que su bot mejorado ahora razona mucho mejor o que ya no alucina, como se suele decir. Pero no solo encontré que Open AI erró en un gráfico de manera absurda, sino que la única prueba que realmente importa cuando usas una nueva herramienta es que funcione en tu caso en particular. Y la única forma de ponerla a prueba es usar información que conoces bien. Es aburrido hacerlo, pero no hay otra manera de saber si lo que dice es verdad, o no.
Se nos venden las herramientas de IA generativa como ChatGPT diciendo que son herramientas todo-propósito que pueden responder cualquier pregunta sobre cualquier tema. Obviamente, eso es afirmar demasiado. Sam Altman decía que la inteligencia artificial general (AGI) era algo que todavía estaba en el horizonte. Y aunque estaría exagerando en los casos de uso general de la IA, hay que señalar que Altman ya dijo que no se puede usar el término “para todo propósito” porque nadie podría ponerse de acuerdo sobre lo que significa.
Este artículo ha sido traducido de Gizmodo US por Lucas Handley. Aquí podrás encontrar la versión original.
🌐Fuente🔗
#Por #qué #debería #reemplazar #los #historiadores #corto #plazo
