Yuval Noah Harari: 10 Warnings on Artificial Intelligence

Yuval Noah Harari (Israel, 1976) está considerado por amplio consenso uno de los intelectuales más influyentes de la actualidad; lo recomiendan figuras de la talla de Barack Obama, Bill Gates o el actor y autor Stephen Fry, y lo avalan las más de 45 millones de copias vendidas de sus tres libros publicados hasta ahora, entre ellos Sapiens: De animales a dioses, un repaso ameno y relativamente breve a nada menos que toda la historia de la humanidad.

sapiens

Pero la influencia de Harari no solo se mide por las cifras de ventas o por sus célebres patrocinadores, sino sobre todo por su capacidad para hacer accesible a todos los públicos una amplia visión de la historia de la civilización. Sus ensayos destacan por revelar la estructura subyacente y conectar ideas aparentemente complejas de distintas disciplinas académicas —la historia, pero también la economía, la sociología o la ecología— con la vida diaria y las inquietudes del conjunto de la sociedad.

nexus

El nuevo libro de Harari recupera el latín para el título y vuelve también a ser una (no muy) breve (496 páginas) historia, en este caso de “las redes de información desde la Edad de Piedra hasta la IA”. En Nexus (editorial Debate), este profesor de Historia en la Universidad Hebrea de Jerusalén se centra en el papel de algo tan difícil de definir como la información; las redes en las que se organiza y a través de las que propaga, las tecnologías mediante las que lo ha hecho a lo largo del tiempo y, sobre todo, cómo influye en la manera en la que nos organizamos como civilización. 

INTELIGENCIA ARTIFICIAL

En un encuentro online desde Washington D. C., Harari puso en cuestión axiomas como que la información es libertad o de que la tecnología es una herramienta de impacto neutro. El autor conversó con la prensa sin compartir imagen de vídeo, lo que llevó a un periodista a preguntar cómo podía estar seguro de que quien hablaba era realmente Harari y no un avatar generado por inteligencia artificial. Aunque no ofreció evidencias en uno u otro sentido, la voz de Harari sí dejó diez interesantes reflexiones/advertencias (alguna en forma de pregunta) sobre la IA.

1. “AI is not a tool, is an agent.”

“AI is different from every previous technology we ever invented, because it's not a tool, it is an agent, an independent agent. Every previous technology, nuclear weapons, the atom bomb, of course… they have immense destructive power. But still the power is in human hands. Now in some of the most important media platforms in the world, like Twitter, like Facebook, the role of the editor has been taken over by AI. It’s algorithms deciding what will be the recommended story, what will be at the top of the news feed. An AI can produce new things by itself. It starts small with producing images and texts and writing computer code, but ultimately AI could create more powerful AI. So this could lead to this kind of explosion of AI, which is out of our control.” 

“La IA es diferente de cualquier tecnología anterior que hayamos inventado porque no es una herramienta, es un agente, un agente independiente. Todas las tecnologías anteriores, las armas nucleares, la bomba atómica, por supuesto... tienen un inmenso poder destructivo. Pero aún así el poder reside en manos humanas. Ahora, en algunas de las plataformas mediáticas más importantes del mundo, como Twitter, como Facebook, el papel del editor ha sido asumido por la IA. Son los algoritmos los que deciden qué noticias recomendar, deciden qué historias aparecen en el feed. Una IA puede producir cosas nuevas por sí misma. Comienza produciendo imágenes y textos y escribiendo código, pero en última instancia la IA podría crear una IA aún más poderosa. Y esto podría conducir a una  explosión de la IA que quedará fuera de nuestro control”. 

2. “If you flood the world with information, the truth will not float to the surface, it will sink to the bottom.”

“The most important thing to know about information is that information isn't truth, that information isn't knowledge. The naive view which dominates in places like Silicon Valley mistakingly argues that information is truth. The truth is a rare subset, a rare category of information. The truth is costly. The truth is often complicated. Because reality is complicated, whereas fiction can be made as simple as you would like it to be, and people usually prefer simple stories to complicated ones. And the truth is often painful. The expectation is that if you flood the world with information, the truth will will kind of float to the surface. No, it sinks to the bottom.”

“Lo más importante que hay que saber sobre la información es que la información no es la verdad, que la información no es conocimiento. Existe una visión ingenua dominante en sitios como Silicon Valley que sostiene erróneamente que la información es la verdad. La verdad es un subconjunto excepcional, una categoría rara, de la información. La verdad es cara. La verdad suele ser complicada. Porque la realidad es complicada, mientras que la ficción puede simplificarse tanto como se desee, y la gente suele preferir las historias sencillas a historias complicadas. Y la verdad suele ser dolorosa. La expectativa es que si se inunda el mundo de información, la verdad flotará en la superficie. No, la verdad se hunde hasta el fondo”. 

3. “The conversation is breaking down.”

“Maybe the most important question is why is it that we have the most sophisticated information technology in history and people are unable to talk with each other? This is the one thing that everybody in Washington, everybody in New York, everybody in the States agree on. Republicans and Democrats don't agree on anything except that the conversation is breaking down, that people can't agree on the most basic facts that people can no longer hold a rational conversation. And this is happening after these tech giants created this incredibly sophisticated information technology and promised us that this technology will connect everybody and will spread the truth.”

“Quizá la pregunta más importante sea: ¿por qué si tenemos la tecnología de la información más sofisticada de la historia la gente es incapaz de hablar entre sí? Esta es la única cosa en la que todo el mundo en Washington, todo el mundo en Nueva York, todo el mundo en Estados Unidos está de acuerdo. Los republicanos y los demócratas no están de acuerdo en nada, excepto en que la conversación se está rompiendo, que la gente no puede ponerse de acuerdo en los hechos más básicos, que la gente ya no puede mantener una conversación racional. Y esto sucede después de que estos gigantes de la tecnología crearan esta tecnología de la información increíblemente sofisticada y nos prometieran que esta tecnología conectaría al mundo y difundiría la verdad”.

4. “The media has immense power to either destroy democracy or protect it.”

“When democracy is a conversation without the truth, without facts, the conversation means nothing. If we just exchange lies and fantasies, this is not really a conversation. The media has immense power to either destroy democracy or protect it. Some of the biggest dictators of the modern era started as journalists and as editors. Before he was the dictator of the Soviet Union, the only job that Lenin had was editor of the newspaper Iskra. And Mussolini? He started as a socialist journalist. Then he changed his mind and founded a newspaper, a Fascist newspaper, I think it was called Avanti. Today, this power is in the hands of the new media giants Facebook and Twitter and Instagram. I agree that Social media companies should be very, very careful about censoring or banning human beings. But the main problem is not the content produced by the human users. The main problem is the editorial decisions of the algorithms.” 

“Cuando la democracia es una conversación exenta de la verdad, sin hechos, la conversación no significa nada. Si solo intercambiamos mentiras y fantasías, no se trata realmente de una conversación. Los medios de comunicación tienen un inmenso poder para destruir la democracia o protegerla. Algunos de los mayores dictadores de la era moderna empezaron como periodistas y como editores. Antes de ser dictador de la Unión Soviética, el único trabajo que tuvo Lenin fue el de editor del periódico Iskra. ¿Y Mussolini? Empezó como periodista socialista. Luego cambió de opinión y fundó un periódico, un periódico fascista, creo que se llamaba Avanti. Hoy en día, este poder está en manos de los nuevos gigantes de los medios de comunicación: Facebook, Twitter e Instagram. Estoy de acuerdo en que las empresas de redes sociales deberían tener mucho, mucho cuidado a la hora de censurar o prohibir a las personas. Pero el principal problema no es el contenido producido por los humanos. El principal problema son las decisiones editoriales de los algoritmos”. 

5. “Social media companies deliberately spread fake news and conspiracy theories.”

“People have a right to stupidity. People have a right even to tell lies. In extreme cases, which the law defines, it can be a crime to tell a lie, but in many situations people lie and it's not good, but it's still protected by the law and it's part of freedom of speech. However, the algorithms of the companies discovered that the easiest way to capture human attention, the easiest way to keep more people longer on the platform, is to press the hate button or the fear button or the anger button in in the mind. And they deliberately spread fake news and conspiracy theories, which increase hate and fear and anger because this makes people engaged and stay longer on the platform. This is not freedom of speech.”

“La gente tiene derecho a la estupidez. La gente tiene derecho incluso a decir mentiras. En casos extremos, según establece la ley, decir una mentira puede ser un delito, pero en muchas situaciones la gente miente y, aunque no está bien, sigue estando protegida por la ley y forma parte de la libertad de expresión. Sin embargo, los algoritmos de las empresas descubrieron que la forma más fácil de captar la atención humana, la forma más fácil de mantener a más gente más tiempo en la plataforma, es pulsar el botón del odio o el botón del miedo o el botón de la ira en su cabeza. Y difunden deliberadamente noticias falsas y teorías de la conspiración, que aumentan el odio, el miedo y la ira, porque esto hace que la gente se comprometa y permanezca más tiempo en la plataforma. Eso no es libertad de expresión”.

 

6. “We haven't seen anything yet.”

“If you think about the evolution of AI as analogous to biological evolution, the AI's of today are just amoebas. It took billions of years for amoebas to evolve into dinosaurs and mammals and humans, because organic evolution is slow. It takes millions and billions of years. The AI digital evolution is millions of times faster. It will not take a billion years for GPT, the AI amoeba, to evolve into the AI dinosaur. It could take maybe just ten years or twenty years. Now if ChatGPT is the amoeba, how would the AI T-Rex look like? What could it do? We haven't seen anything yet.”

“Si pensamos en la evolución de la IA como algo análogo a la evolución biológica, las IA actuales no son más que amebas. Las amebas tardaron miles de millones de años en evolucionar hasta convertirse en dinosaurios, mamíferos y humanos, porque la evolución orgánica es lenta. Tarda millones y miles de millones de años. La evolución digital de la IA es millones de veces más rápida. GPT, la ameba de IA, no tardará mil millones de años en evolucionar hasta convertirse en un dinosaurio de IA. Podría hacerlo en solo diez o veinte años. Ahora bien, si ChatGPT es la ameba, ¿cómo será el T-Rex de la IA? ¿Qué podrá hacer? Aún no hemos visto nada”.

7. “Nobody knows the psychological effects of AI.”

“For all of history, humans lived cocooned inside human culture. All the stories, music, poems, theatre plays, images… were product of the human mind. Now more and more of these cultural artifacts, stories, TV series, images, music will be the product of an alien intelligence. What will this do to human society, to human psychology? Nobody knows that. That's the very big question.” 

“Durante toda la historia, los seres humanos vivimos envueltos en la cultura humana. Todas las historias, la música, los poemas, las obras de teatro, las imágenes... eran producto de la mente humana. Ahora, cada vez un mayor número de estos artefactos culturales, de las historias, las series de televisión, las imágenes, la música serán producto de una inteligencia ajena. ¿Qué efectos tendrá esto en nuestra sociedad, en la psicología humana? Nadie lo sabe. Esa es la gran pregunta”.

8. “There is a totalitarian potential in AI unlike anything we’ve seen before.”

“Even Hitler and Stalin had limits to how much control their subjects because they couldn't follow everybody all the time. So even in the Soviet Union there was some measure of privacy. Now, AI might make it possible to create total surveillance regimes that will annihilate privacy. Because in an AI country you don't need human agents to follow all the humans around, you have smartphones and computers and cameras and face recognition software and voice recognition software. So it is technically possible to follow everybody all the time and to annihilate privacy. And you also don't need human analysts to go over all the information, because you have AI. There is a totalitarian potential in AI unlike anything we've seen before in history. My own home country of Israel is building exactly such a total surveillance regime in the occupied Palestinian territories.”

“Incluso Hitler y Stalin tenían límites para controlar a sus ciudadanos porque no podían seguir a todo el mundo todo el tiempo. Así que incluso en la Unión Soviética había cierta medida de privacidad. Ahora, la IA podría hacer posible regímenes de vigilancia total que aniquilarán la privacidad. Porque en un país donde gobierne la IA no se necesitan agentes humanos para seguir a todos los ciudadanos, existen teléfonos inteligentes y ordenadores y cámaras y software de reconocimiento facial y software de reconocimiento de voz. Así que es técnicamente posible seguir a todo el mundo todo el tiempo y acabar con la privacidad. Y tampoco se necesitan analistas humanos para revisar toda la información, porque se cuenta con la IA. Hay un potencial totalitario en la IA que no se parece a nada que hayamos visto antes en la historia. Mi propio país, Israel, está construyendo exactamente un régimen de vigilancia total en los territorios palestinos ocupados”.

9. “If you destroy trust in all institutions, you pave the way for dictatorship.”

“Historically this is a place where the far right and the far left meet, and this is something that Donald Trump agrees with Karl Marx. And what they share is a very deep distrust of the institutions that are the guarantors of the truth. What you hear on both the far right and the far left is suspicion of all the institutions that traditionally were established by human society to identify and promote the truth. Which is traditional media and universities and science and the courts and so forth. If you cannot trust any institution to tell you the truth, then all the institutions collapse and the only regime that can survive under these conditions is dictatorship. If you destroy trust in all institutions, we you paved the way for dictatorship.”

“Históricamente este es un punto de encuentro entre la extrema derecha y la extrema izquierda, y en esto Donald Trump coincide con Karl Marx. Y lo que comparten es una desconfianza muy profunda hacia las instituciones que son garantes de la verdad. Lo que se escucha tanto en la extrema derecha como en la extrema izquierda es una profunda sospecha sobre todas las instituciones que tradicionalmente que la sociedad humana creó para identificar y promover la verdad. Es decir, los medios de comunicación tradicionales, las universidades, la ciencia, los tribunales, etcétera. Si no puedes confiar en ninguna institución que proporcione certezas, entonces todas las instituciones se derrumban y el único régimen que puede sobrevivir en estas condiciones es la dictadura. Si destruimos la confianza en todas las instituciones, allanamos el camino a la dictadura”.

10. “People like Putin, people like Maduro, people like Netanyahu in Israel, they don't seem particularly happy individuals.”

“Both the far right and the far left, they share a very cynical view of the world which says that the only reality is power. That human beings are only interested in gaining power, that all human interactions are power struggles. This obsession with power, that everything is just a power struggle, that all the only thing that humans want is power, is destructive to society and especially to democracy. If you look at these power hungry individuals, you look at people who are obsessed only with power and don't care about at all about the truth, people like Putin, people like Maduro, people like Netanyahu in Israel, they don't seem particularly happy individuals. Humans have a deep yearning for the truth. We want to know the truth about ourselves, about the world, about life. Because ultimately, without the truth, we can never be happy. If you don't know the true sources of your misery in life, you will always be miserable.”

“Tanto la extrema derecha como la extrema izquierda comparten una visión muy cínica del mundo según la cual la única realidad es el poder. Sostiene que a los seres humanos solo les interesa adquirir poder, que todas las interacciones humanas son luchas de poder. Esta obsesión por el poder, reducirlo todo a una lucha por el poder, pensar que lo único que quieren los seres humanos es poder, es destructiva para la sociedad y especialmente para la democracia. Si observas a estos individuos hambrientos de poder, cuando observas a personas que están obsesionadas con el poder y a las que no les importa en absoluto la verdad, personas como Putin, como Maduro, como Netanyahu en Israel, no parecen individuos particularmente felices. Los humanos tenemos un profundo anhelo por la verdad. Queremos saber la verdad sobre nosotros mismos, sobre el mundo, sobre la vida. Porque en última instancia, sin la verdad, nunca podremos ser felices. Si no conoces las verdaderas fuentes de tu miseria en la vida, siempre serás desgraciado”.