Superinteligencia_Nick_Bostrom.pdf

Superinteligencia caminos, peligros, estrategias Superinteligencia Caminos, peligros, estrategias NICK BOSTROM Director, Future of Humanity Institute Profesor, Facultad de Filosofía y Oxford Martin School,...

Superinteligencia caminos, peligros, estrategias Superinteligencia Caminos, peligros, estrategias NICK BOSTROM Director, Future of Humanity Institute Profesor, Facultad de Filosofía y Oxford Martin School, Universidad de Oxford 1" odo Está En Los L ibros EDITORIAL Publicación en inglés por OXFORD University Press Título Original: SUPERINTELLIGENCE, Paths, Dangers, Strategies Derechos de autor ©2014 by Nick Bostrom All rights reserved Superintelligence was originally published in English in 2014. This translation is published by arrangement with Oxford University Press. Teell Editorial is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon. Superinteligencia fue publicada originalmente en inglés en 2014. Esta traducción se publica con acuerdo con Oxford University Press. Teell Editorial solamente es responsable de la traducción del trabajo original y Oxford University Press no tendrá ninguna responsabilidad de cualquier error, omisión, ambigüedad o descuido en dicha traducción o por cualquier pérdida causada por la dependencia de la misma. EDITADO POR TEELL EDITORIAL, S.L. Primera edición en español: Teell Editorial, S.L. 2016 www.teelleditorial.com Traductor e Introducción: Marcos Alonso Diseño cubierta: www.uypdesign.com Reservados todos los derechos. Queda rigurosamente prohibida, sin la autorización escrita de los titulares del “Copyright" bajo las sanciones establecidas en las leyes, la reproducción parcial o total de esta obra por cualquier medio o procedimiento, incluida la reprografía y el tratamiento informático, así como la distribución de ejemplares mediante alquiler o préstamo público. e ISBN: 978-84-16511-56-3 Depósito Legal: Z 70-2016 Impreso en España por Talleres Editoriales Cometa, S.A.  TEELL EDITORIAL: Todo Está En Los Libros INTRODUCCIÓN A nte la publicación en castellano de la trascendental obra de Nick Bostrom, Superinteligencia, se hace necesario recordar las palabras del gran filósofo español José Ortega y Gasset: “Uno de los temas que en los próximos años se va a debatir con mayor brío es el del sentido, ventajas, daños y límites de la técnica" Estas proféticas palabras de principios del siglo XX no han hecho más que cumplirse, siendo el presente libro un verdadero hito en la reflexión sobre la técnica o tecnología. Justo después de las citadas palabras de Meditación de la técnica, Ortega expresaba que “la misión del escritor es prever con holgada anticipación lo que va a ser problema, años más tarde, para sus lectores y proporcionarles a tiempo, es decir, antes de que el debate surja, ideas claras sobre la cuestión" Eso es precisamente lo que Bostrom ha buscado con Superinteligencia: presentar de manera clara y accesible un tema complejo y decisivo como es el problema de la inteligencia artificial de nivel sobrehumano. La preocupación por las máquinas inteligentes no es algo completamente nuevo. Desde la segunda mitad del siglo pasado se ha convertido en una parte central de nuestro imaginario colectivo, con numerosas novelas y películas dedicadas al tema. En Superinteligencia veremos cómo se discuten, desde una base científica sólida, temas como la posibilidad de un gobierno mundial automatizado (recordando a clásicos como Un mundo feliz, de Aldous Huxley o 1984, de George Orwell); la plausible catástrofe para la humanidad derivada del mal funcionamiento de las máquinas (un tema recurrente en el cine, como atestiguan 2001 Odisea en el espacio, de Stanley Ku- brick, Terminator, de James Cameron o Matrix, de los hermanos Wachowski); o las posibilidades y limitaciones de IAs con valores humanos (reflejadas en obras como Yo, robot, de Isaac Asimov o en la reciente Her, de Spike Jonze). Las creaciones artísticas anticipan el mundo que está por venir, aunque en el caso de la IA los avances científico-técnicos suceden de una manera tan vertiginosa que la imaginación humana tiene dificultades para mantener el ritmo. El gran mérito de Superinteligencia es precisamente abordar de manera seria y rigurosa problemas que hasta hace no mucho parecían meras ocurrencias de ciencia-ficción. El libro de Bos- trom es el mayor intento habido hasta la fecha de afrontar estos problemas desde una perspectiva estrictamente filosófica y científica, poniendo en juego un conocimiento realmente enciclopédico sobre la materia; un esfuerzo que sólo un pensador de la talla de Bostrom podía llevar a cabo. En este sentido, es importante hacer notar que Bostrom tampoco juega a ser adivino, como sí hacen algunos gurús de la tecnología actuales. Bostrom no categoriza sobre la llegada de la IA ni sobre sus consecuencias. Sin embargo, la fuerza de sus argumentos nos sobresalta y nos despierta de nuestro letargo, haciéndonos ver el inmenso peligro que traería consigo la llegada de una superinteligencia artificial. Esta toma de conciencia ni siquiera requiere por nuestra parte una gran fe en el progreso tecnológico; de hecho, el propio Bostrom se muestra escéptico respecto de las predicciones más optimistas sobre IA. Basta con atisbar el más que probable desastre al que abocaría un mal desarrollo de la IA para que nos preocupemos muy seriamente por estas tecnologías, confiemos plenamente en su desarrollo exitoso o no. A pesar de lo que muchas veces se ha pensado —principalmente por su inclusión en la corriente del transhumanismo—, Nick Bostrom no es un tecnólatra. Tampoco un tecnófobo, aunque alguna lectura apresurada de Superinteligencia podría sacar esta conclusión. Bostrom es simplemente un pensador. Y como tal, su misión es reflexionar de manera radical sobre los problemas prominentes de su época. Su acierto consiste en haber identificado a la tecnología moderna como problema fundamental, y más concretamente a la fe ciega y el optimismo exacerbado que muchas personas profesan en la actualidad por la tecnología. La obra lleva por subtítulo Caminos, peligros, estrategias, pero de estos términos acaba emergiendo uno por encima de los demás: el peligro. Necesitamos comprender los caminos que llevan a la superinteligencia para plantear las mejores estrategias frente a ella; pero la cuestión central en torno a la que giran todas las demás es el peligro que la superinteligencia trae consigo, la amenaza que proyecta sobre la humanidad y que deberíamos tener muy en cuenta. Este tono de advertencia no desemboca, en el caso de Bostrom, en un miedo paralizante que demonice todo avance en IA; únicamente nos hace comprender la enorme responsabilidad que tenemos y la imprudencia que sería desentenderse de estos problemas o confiar ingenuamente en su desarrollo benéfico. A continuación sobrevolaremos brevemente el libro para dar una pequeña guía de lectura así como para aprovechar para comentar algunos puntos y términos especialmente problemáticos. Superinteligencia se divide básicamente en dos bloques: un primer grupo de capítulos dedicado a presentar el problema de la inteligencia artificial, atendiendo a su historia, sus posibilidades presentes y su previsible desarrollo en los próximos años; y un segundo bloque algo más extenso dedicado a pensar qué podremos hacer con la superinteligencia, los peligros y problemas que probablemente acarree, y las estrategias y soluciones a nuestro alcance. El primer bloque se extiende aproximadamente hasta el capítulo 6. Tras un breve recorrido en el primer capítulo a la historia de la IA y una somera exposición del estado de la cuestión, Bostrom pasa, ya en el segundo capítulo, a exponer los posibles caminos que podrían llevar hasta la superinteligencia. Este capítulo es crucial en tanto que introduce algunos términos omnipresentes a lo largo del libro, principalmente los de IA (inteligencia artificial) y ECC (emulación de cerebro completo). Sobre este punto conviene advertir del uso que Bostrom hace de inteligencia artificial en un sentido amplio para referirse a cualquier forma no humana de inteligencia, y un uso más restringido de inteligencia artificial para referirse a los tipos de IA cuyo origen no está directamente relacionado con el cerebro humano, frente a los que sí tienen dicho órgano como base (como la emulación de cerebro completo). En el capítulo 3, Bostrom considera brevemente los distintos tipos de superinte- ligencia que podrían surgir, algo que retomará en más profundidad en el capítulo 6, cuando hable de los diferentes superpoderes cognitivos que una superinteligencia presumiblemente tendría a su disposición. Bostrom introduce aquí por primera el decisivo concepto de Unidad, un ente único que concentraría todo el poder (político, tecnológico, económico, etc.) en sí mismo. Esta idea estará presente a lo largo de toda la obra y aparecerá repetidamente en numerosos párrafos. Los capítulos 4 y 5 intentan atisbar la manera concreta en que la superinteligencia surgirá. Bostrom insiste en la relevancia del momento en que tenga lugar la explosión de inteligencia y en la importancia de su velocidad de despegue: cuanto antes suceda menos preparados estaremos. Bostrom propondrá una fórmula para calcular esta velocidad basada en la potencia de optimización y su contrapartida la resistencia al progreso (una construcción que traduce recalcitrance, término inexistente en castellano y cuyos sinónimos directos son inadecuados). La clave de estas discusiones y lo que más interesa al autor es la posibilidad de que la superinteligencia adquiera una ventaja estratégica decisiva, otro concepto que sobrevolará toda la obra. Si bien, como ya hemos dicho, Superinteligencia es un libro unitario y muy bien trabado, el capítulo 7 marca la entrada en lo que podríamos considerar la segunda parte del libro. Este capítulo aborda por primera vez el problema de las relaciones entre inteligencia y motivación, un marco conceptual que servirá de base al resto de la obra. Un primer gran peligro en este sentido es el de antropomorfizar la IA, asumiendo que cuanto más inteligente sea la IA, más humana será y sus motivaciones y objetivos más se parecerán a los humanos. Esto podría no ser así, y, de hecho, si no nos esforzamos específicamente por conseguirlo, lo más probable es que la superinte- ligencia que surja sea profundamente inhumana. El octavo capítulo se pregunta, de manera directa y sin rodeos, si estamos abocados al desastre. Este tono de preocupación gobernará la segunda parte del libro, en la que Bostrom tratará de hacerse cargo de las posibles amenazas de la superinteligencia, proponiendo, a su vez, las que considera mejores estrategias para afrontarlas, principalmente la prevención. Como hemos dicho, esta prudencia no debe confundirse con una tendencia al catastrofismo por parte del autor; la lectura de Superinteligencia no permite sacar esa conclusión. Lo que encontramos es una fría y objetiva mirada a la realidad, en la que se descubren unos riesgos que deben ser tenidos en cuenta. En este capítulo 8, Bostrom presenta diversos modos concretos en que la IA podría fallar, como la suplantación perversa (una IA que interpretara defectuosamente nuestras órdenes, suplantándolas por otras con efectos perjudiciales) o el crimen mental (la posibilidad de que las IAs o las emulaciones tengan un estatus moral que podría ser violado). Los capítulos 9 y 10 están dedicados a examinar una primera salida a los problemas de la superinteligencia: los métodos de control. Éstos se dividen, por un lado, en métodos de control de la capacidad, que buscan impedir que la superinteligencia tenga un poder efectivo total sobre el mundo; y, por otro lado, en métodos de selección de la motivación, que buscan elegir los objetivos que la superinteligencia llegaría a tener. Bostrom demuestra que ambos métodos tiene carencias. En el caso del control de capacidad el problema está en la tensión existente entre minar las capacidades de la IA lo suficiente para que no tenga un poder absoluto, sin restarle tanta capacidad que ya no pueda ser considerada superinteligente. En el capítulo 10, Bostrom comparará diversos tipos de IA en función de su idoneidad para el control. La selección de la motivación es un problema más complejo, que por ello se trata más detalladamente en los últimos capítulos, donde encontramos la verdadera clave de la propuesta de Bostrom. De este modo, la reflexión sobre los métodos de selección de la motivación conducen a Bostrom, en los capítulos 12 y 13, a reflexionar a fondo sobre la posibilidad de crear una IA con valores. Para Bostrom, ésta es la única salida que, en caso de ser posible, supondría una verdadera solución al problema de la IA superinteligente. Por eso el filósofo sueco concentra sus mejores esfuerzos en esta parte de la obra, que entiende como decisiva. El lector juzgará éxito de este intento, pero no cabe duda de que Bostrom es un gran conocedor tanto de las nuevas tecnologías como de filosofía moral. Sería imposible dar cuenta aquí del contenido de estos capítulos, pero sí merece especial atención la propuesta de la VCE (voluntad coherente extrapolada), una forma de normatividad indirecta que busca aprovechar la propia capacidad de la superinteligencia para llevar a cumplimiento de manera más perfecta los valores humanos comúnmente aceptados. El último tema que aborda Bostrom es el del escenario estratégico que probablemente tenga lugar una vez que la superinteligencia se haga efectiva. Esto es estudiado en el capítulo 11, donde se empieza exponiendo las presumibles consecuencias sociales, políticas y económicas de la aparición de la superinteligencia, para luego comparar la plausibilidad de un escenario multipolar (con varias superinteligencias coexistiendo en igualdad) frente a un escenario de Unidad (en el que todos los poderes se fusionen en uno solo). Esta temática reaparece en el capítulo 14, donde el autor valora factores concretos que posiblemente configuren el surgimiento o establecimiento de la superinteligencia (como el desarrollo tecnológico diferencial y los acoplamientos tecnológicos) al tiempo que brinda soluciones concretas a esas situaciones, soluciones que retoman muchas de las discusiones en torno al problema de introducción de valores en la IA. Por último, el capítulo 15 sirve para recapitular las cuestiones fundamentales antes expuestas y hacer un último llamamiento a la concienciación sobre los problemas de la superinteligencia y un ruego a que le dediquemos nuestros mejores esfuerzos intelectuales en el futuro próximo. Como expresa el autor en el prefacio, la pretensión de escribir un libro accesible sólo se ha conseguido parcialmente. Lo mismo puede decirse de la traducción. La concisión y claridad de lenguaje que Bostrom exhibe y que hemos intentado transmitir no impide que haya abundantes pasajes técnicos e intrincados, así como algunos términos de difícil traducción. En algunos casos, los menos, se ha mantenido el inglés original, principalmente cuando nos encontrábamos con términos habituales en la bibliografía de este tipo (un ejemplo sería wetware, un término utilizado en referencia a estructuras “húmedas”, de origen orgánico, en oposición a estructuras inorgánicas como el software o el hardware). En otros casos, como el mencionado de Unidad (traducción del original Singleton), se ha preferido crear un término que diera a entender la idea original del autor. Las notas e índice situados al final de la obra sirven también de gran ayuda, y el lector no debería dudar en consultarlos. En cualquier caso y como decíamos al principio, Superinteligencia es una gran obra no sólo por la importancia crucial de su tema y por la excelencia de su ejecución, sino también por su vocación de llegar al gran público con un lenguaje cercano y una estructura fácilmente inteligible. Superinteligencia es una obra destinada a ser leída, discutida y tenida en cuenta. No es una exageración decir que, hasta cierto punto, el futuro de la humanidad depende de ello. MARCOS ALONSO FERNÁNDEZ La inacabada fábula de los gorriones E ra la temporada de construcción de nidos, pero después de días de largo y duro trabajo, los gorriones se sentaron a la luz del atardecer, relajándose y trinando. “Somos todos tan pequeños y débiles. ¡Imaginad lo fácil que sería la vida si tuviéramos una lechuza que nos ayudara a construir nuestros nidos!” “¡Sí!”, dijo otro. “Y podría ayudarnos a cuidar de nuestros ancianos e hijos”. “Podría darnos consejo y vigilar a los gatos que merodean cerca de aquí”, añadió un tercero. Entonces Pastus, el pájaro anciano y sabio, habló: “Enviemos exploradores en todas las direcciones e intentemos encontrar una lechuza joven abandonada en alguna parte, o quizás un huevo. Una cría de cuervo también serviría, o una comadreja muy joven. Podría ser lo mejor que jamás nos hubiera sucedido, al menos desde la apertura del «pabellón de grano ilimitado» del patio trasero”. La multitud estaba entusiasmada, y por todas partes los gorriones comenzaron a trinar con toda la fuerza de sus pulmones. Sólo Scronkfinkle, un gorrión con un solo ojo y de temperamento inquisitivo, no estaba convencido de la sensatez de la empresa. Y dijo: “Eso seguramente sea nuestra perdición. ¿No deberíamos pensar antes en la labor de domesticar y controlar a la lechuza, antes de meter una criatura así entre nosotros?” Pastus contestó: “Domesticar una lechuza parece una cosa muy difícil. Ya será bastante complicado encontrar un huevo de lechuza. Así que empecemos con eso. Cuando logremos criar a una lechuza, nos pondremos a pensar en emprender esa otra tarea”. “¡El plan tiene un defecto!”, pio Scronkfinkle; pero sus protestas fueron en vano, pues la multitud ya había alzado el vuelo para empezar a llevar a cabo el plan ideado por Pastus.  Sólo dos o tres gorriones se quedaron rezagados. Juntos empezaron a intentar adivinar cómo se podría domesticar y controlar a una lechuza. Pronto se dieron cuenta de que Pastus tenía razón: era un reto extremadamente difícil, sobre todo por carecer de una lechuza real con la que practicar. No obstante, continuaron haciéndolo lo mejor que pudieron, con el temor constante a que la multitud regresara con un huevo de lechuza antes de encontrar una solución al problema de cómo controlar esa criatura. No se sabe cómo termina la historia, pero el autor del presente libro lo dedica a Scronfinkle y sus seguidores. PREFACIO D entro de tu cráneo está la cosa que lee. Esa cosa, el cerebro humano, tiene algunas capacidades de las que carecen los cerebros de otros animales. Es debido a estas capacidades distintivas que nuestra especie ocupa una posición dominante sobre el planeta. Otros animales tienen músculos más fuertes o garras más afiladas, pero nosotros tenemos cerebros más inteligentes. Nuestra modesta ventaja en inteligencia general nos ha llevado a desarrollar lenguaje, tecnología y una compleja organización social. La ventaja ha ido aumentando con el paso del tiempo, ya que cada generación se ha basado en los logros de sus predecesores. Si algún día llegáramos a construir cerebros artificiales que superaran en inteligencia general a los cerebros humanos, entonces esa nueva superinteligencia podría llegar a ser muy poderosa. Y, de igual manera que el destino de los gorilas depende ahora más de los humanos que de ellos mismos, también el destino de nuestra especie pasaría a depender de las acciones de la superinteligencia artificial. No obstante, contamos con una ventaja: somos nosotros los que construiremos todo. En principio, podríamos construir un tipo de superinteligencia que protegiera los valores humanos. Sin duda, tendríamos poderosas razones para ello. En la práctica, el problema del control —el problema de cómo controlar qué haría esa superinteligencia— parece bastante complicado. También parece evidente que sólo tendremos una única oportunidad. Si alguna vez llegara a existir una superinteligencia poco amistosa, nos impediría sustituirla o cambiar sus preferencias. Nuestro destino estaría sellado. En este libro, mi objetivo es entender el reto ofrecido por la perspectiva de la superinteligencia, y cuál sería nuestra mejor respuesta. Se trata, muy probablemente, del reto más importante y sobrecogedor al que la humanidad se haya enfrentado nunca. Y —tanto si tenemos éxito como si fracasamos—, probablemente sea el último reto que tengamos que afrontar. No se discute en este libro que nos encontramos en los umbrales de un gran avance en el campo de la inteligencia artificial, ni que podamos predecir con ningún grado de exactitud cuándo podría tener lugar tal desarrollo. Hay cierta probabilidad de que ocurra en algún momento de este siglo, pero no lo sabemos con seguridad. Los dos primeros capítulos tratan sobre posibles caminos y dicen algo sobre su desarrollo temporal. No obstante, la mayor parte del libro trata sobre lo que ocurrirá después. Estudiamos la cinética de una explosión de inteligencia, las formas y poderes de la superinteligencia, y las decisiones estratégicas disponibles para un ser superinteligen- te que obtuviera una ventaja decisiva. Después centraremos nuestra atención en el problema del control y nos preguntaremos qué podríamos hacer para configurar las condiciones iniciales, con el objetivo de lograr un resultado beneficioso con el que pudiéramos sobrevivir. Hacia el final del libro, nos acercaremos y contemplaremos el panorama general que emerge de nuestras investigaciones. Se ofrecerán algunas recomendaciones sobre lo que debemos hacer en la actualidad a fin de aumentar nuestras posibilidades de evitar una catástrofe existencial posterior. Éste no ha sido un libro fácil de escribir: espero que el camino que se ha abierto permita a otros investigadores alcanzar la nueva frontera más suave y fácilmente, para que puedan llegar allí frescos y preparados para sumarse al trabajo de extender nuestra comprensión. (Y si el camino que se ha abierto es un poco accidentado y sinuoso, ¡espero que los críticos no subestimen lo hostil que el terreno era ex ante!). Éste no ha sido un libro fácil de escribir: he tratado que fuera un libro sencillo de leer, pero no creo haber tenido excesivo éxito. Al escribir, imaginaba al posible lector como una antigua parte de mí mismo, e intenté redactar el tipo de libro que habría disfrutado leyendo. Este tipo de persona podría ser una parte muy reducida de la población. Sin embargo, creo que el contenido debe ser asequible a muchas personas, si reflexionan un poco sobre ello y resisten la tentación de malinterpretar automáticamente cada nueva idea reduciéndola al estereotipo más más similar disponible en su despensa cultural. A los lectores a los que cueste entender las secciones más técnicas no debería desanimarles algún que otro fragmento con matemáticas o vocabulario especializado, ya que siempre es posible deducir el tema principal de las explicaciones que lo acompañan. (A la inversa, aquellos lectores que deseen tener algo más allá de lo básico, podrán encontrar bastante material entre las notas finales1). Muchos de los puntos señalados en este libro probablemente sean erróneos.2 También es probable que haya consideraciones de importancia crítica que yo no haya tenido en cuenta, lo cual invalidaría todas o algunas de mis conclusiones. He indicado en cierta medida los matices y grados de incertidumbre a lo largo de todo el texto, señalándolos con las feas marcas de “posiblemente”, “podría”, “puede”, “bien podría”, “parece”, “probablemente”, “muy probablemente” y “casi con total seguridad”. Cada uno de estos modificadores se ha colocado en su lugar correspondiente de manera cuidadosa y deliberada. Sin embargo, estas aplicaciones tópicas de modestia epistemológica no son suficientes; deben ir acompañadas por la admisión sistemática de incertidumbre y falibilidad. Esto no es falsa modestia, porque aunque creo que mi libro es probablemente erróneo y engañoso, pienso que los puntos de vista alternativos que se han presentado en la literatura científica son sustancialmente peores —incluyendo el enfoque por defecto, o “hipótesis nula”, según la cual podemos de momento ignorar de forma segura o razonable la perspectiva de la superinteligencia. AGRADECIMIENTOS L a membrana que ha recubierto el proceso de redacción de este libro ha sido bastante permeable. Muchos conceptos e ideas generados mientras trabajaba en él han ido filtrándose y se han convertido en parte de una conversación más amplia; y, por supuesto, se han incluido numerosas ideas procedentes del exterior que aparecieron mientras escribía el libro. He intentado ser bastante diligente con las citas, pero hay demasiadas influencias como para poder documentarlas de manera exhaustiva. Por los prolongados debates que han ayudado a aclarar mi pensamiento estoy agradecido a una larga serie de personas; entre ellas, a Ross Andersen, Stuart Ar- mstrong, Owen Cotton-Barratt, Nick Beckstead, David Chalmers, Paul Christiano, Milan Cirkovic, Daniel Dennett, David Deutsch, Daniel Dewey, Eric Drexler, Peter Eckersley, Amnon Eden, Owain Evans, Benja Fallenstein, Alex Flint, Carl Frey, Ian Goldin, Katja Grace, J. Storrs Hall, Robin Hanson, Demis Hassabis, James Hughes, Marcus Hutter, Garry Kasparov, Marcin Kulczycki, Shane Legg, Moshe Looks, Wi- llam MacAskill, Eric Mandelbaum, James Martin, Lillian Martin, Roko Mijic, Vincent Mueller, Elon Musk, Seán Ó hÉigeartaigh, Toby Ord, Dennis Pamlin, Derek Parfit, David Pearce, Huw Price, Martin Rees, Bill Roscoe, Stuart Russell, Anna Salamon, Lou Salkind, Anders Sandberg, Julian Savulescu, Jurgen Schmidhuber, Nicholas Shac- kel, Murray Shanahan, Noel Sharkey, Carl Shulman, Peter Singer, Dan Stoicescu, Jaan Tallinn, Alexander Tamas, Max Tegmark, Roman Yampolskiy y Eliezer Yudkowsky. Por sus comentarios especialmente detallados, estoy agradecido a Milan Cirkovic, Daniel Dewey, Owain Evans, Nick Hay, Keith Mansfield, Luke Muehlhauser, Toby Ord, Jess Riedel, Anders Sandberg, Murray Shanahan y Carl Shulman. Por sus consejos o su ayuda en la investigación de distintas partes quiero dar las gracias a Stuart Armstrong, Daniel Dewey, Eric Drexler, Alexandre Erler, Rebecca Roache y Anders Sandberg. Por su ayuda en la preparación del manuscrito, estoy agradecido a Caleb Bell, Malo Bourgon, Robin Brandt, Lance Bush, Cathy Douglass, Alexandre Erler, Kristian Ronn, Susan Rogers, Andrew Snyder-Beattie, Cecilia Tilli y Alex Vermeer. Deseo dar las gracias especialmente a mi editor, Keith Mansfield, por todos los ánimos que me ha dado a lo largo del proyecto. Mis disculpas a todo aquel que debería haber sido recordado aquí. Finalmente, mi agradecimiento más afectuoso a los financiadores, amigos y familia: sin vuestro apoyo, este trabajo no habría tenido lugar. AGRADECIMIENTOS | xiii INDICE DE CONTENIDOS Listas de figuras, tablas y cuadros xix 1. Desarrollos del pasado y capacidades del presente 1 Modos de crecimiento y la historia a gran escala 1 Grandes expectativas 3 Épocas de esperanza y desesperación 5 Estado de la técnica 11 Opiniones sobre el futuro de la inteligencia artificial 18 2. Caminos hacia la superinteligencia 22 Inteligencia artificial 23 Emulación de cerebro completo 30 Cognición biológica 36 Interfaces cerebro-ordenador 44 Redes y organizaciones 48 Resumen 50 3. Formas de superinteligencia 52 Superinteligencia de velocidad 52 Superinteligencia colectiva 53 Superinteligencia de calidad 56 Alcance directo e indirecto 57 Fuentes de ventaja para la inteligencia digital 59 4. La cinética de una explosión de inteligencia 62 Sincronización y velocidad del despegue 62 Resistencia al progreso 66 Caminos que no implican la inteligencia artificial 66 Caminos a través de la emulación y la IA 68 Potencia de optimización y explosividad 74 5. Ventaja estratégica decisiva 78 ¿Conseguirá el proyecto adelantado una ventaja estratégica decisiva? 79 ¿Qué magnitud tendrá el proyecto exitoso? 83 Monitorización 84 Colaboración internacional 86 De una ventaja estratégica decisiva a la Unidad 87 6. Superpoderes cognitivos 91 Funcionalidades y superpoderes 91 Un escenario de toma de poder por parte de la IA 95 Poder sobre la naturaleza y sobre los agentes 99 7. La voluntad superinteligente 105 La relación entre inteligencia y motivación 105 Convergencia instrumental 109 Auto-conservación 109 Integridad del contenido de los objetivos 109 Mejora cognitiva 111 Perfección tecnológica 112 Adquisición de recursos 113 8. ¿Es el apocalipsis el resultado inevitable? 115 ¿La catástrofe existencial como resultado predeterminado de una explosión de inteligencia? 115 El giro traicionero 116 Modos de fallo malignos 119 Suplantación perversa 120 Profusión infraestructural 122 Crimen mental 125 9. El problema del control 127 Problemas de agencia doble 127 Métodos de control de la capacidad 129 Métodos de encajamiento 129 Métodos de incentivos 131 Atrofia 135 Cables trampa 136 Métodos de selección de la motivación 138 Especificación directa 139 Domesticidad 140 Normatividad indirecta 141 Aumentación 142 Sinopsis 143 10. Oráculos, genios, soberanos, herramientas 145 Oráculos 145 Genios y soberanos 148 IAs-herramienta 150 Comparación 155 11. Escenarios multipolares 159 De caballos y hombres 160 Los salarios y el desempleo 160 El capital y el bienestar 161 El principio malthusiano desde una perspectiva histórica 163 Crecimiento demográfico e inversión 164 La vida en una economía algorítmica 166 Esclavitud voluntaria, muerte ocasional 167 ¿El trabajo máximamente eficiente sería divertido? 170 ¿Subcontratados inconscientes? 172 La evolución no es necesariamente hacia adelante 174 ¿Formación post-transición de una Unidad? 177 Una segunda transición 177 Superorganismos y economías de escala 178 Unificación por tratado 180 12. Adquiriendo valores 185 El problema de la introducción de valores 185 Selección evolutiva 187 Aprendizaje por refuerzo 188 Acumulación de valores por asociación 189 Andamiaje motivacional 191 Aprendizaje de valores 192 Modulación de emulaciones 201 Diseño institucional 202 Sinopsis 207 13. Eligiendo los criterios para elegir 209 La necesidad de normatividad indirecta 209 Voluntad coherente extrapolada 211 Algunas explicaciones 212 Razones para la VCE 213 Otras observaciones 216 Modelos de moralidad 217 Haz lo que quiero que hagas 220 Lista de componentes 221 Contenido de los objetivos 222 Teoría de la decisión 223 Epistemología 224  Ratificación 225 Acercándonos lo suficiente 227 14. El panorama estratégico 229 Estrategia científica y tecnológica 229 Desarrollo tecnológico diferencial 230 Preferencia en el orden de llegada 231 El ritmo de cambio y la mejora cognitiva 234 Acoplamientos tecnológicos 237 Anticipándose a las consecuencias 239 Caminos y posibilitadores 241 Efectos de los avances de hardware 241 ¿Debería promoverse la investigación sobre la emulación de cerebro completo? 242 La perspectiva de la persona afectada favorece la aceleración 246 Colaboración 247 La dinámica de carrera y sus peligros 247 Sobre los beneficios de la colaboración 250 Trabajando juntos 254 15. La hora de la verdad 256 Filosofía con fecha límite 256 ¿Qué debemos hacer? 257 Buscar la luz estratégica 258 Desarrollar una buena capacidad 258 Medidas particulares 259 Que los mejores en naturaleza humana por favor se pongan en pie 260 Notas 263 Bibliografía 307 Índice 327 LISTAS DE FIGURAS, TABLAS Y CUADROS Lista de Figuras 1. Historia a largo plazo del producto interior bruto mundial (GDP). 3 2. Impacto global a largo plazo de la inteligencia artificial de nivel humano. 21 3. Rendimiento de las supercomputadoras. 27 4. Reconstrucción 3D neuroanatómica a partir de imágenes de un microscopio electrónico. 31 5. Hoja de ruta de la emulación de cerebro completo. 34 6. Las caras compuestas como una metáfora de corrección ortográfica para genomas. 41 7. Configuración del despegue. 63 8. ¿Una escala menos antropomórfica? 70 9. Un sencillo modelo de una explosión de inteligencia. 77 10. Fases de un escenario de toma de control por parte de una IA. 96 11. Esquema de posibles trayectorias encaminadas a una hipotética Unidad-sabia. 101 12. Resultados de antropomorfizar la motivación ajena. 106 13. ¿Inteligencia artificial, o antes simulación integral del cerebro? 244 14. Niveles de riesgo en las carreras tecnológicas de la IA. 248 Lista de tablas 1. IAs dedicadas a juegos. 12 2. ¿Cuándo conseguiremos una inteligencia artificial de nivel humano? 20 3. ¿Cuánto se tardará desde el nivel humano hasta la superinteligencia? 21 4. Capacidades necesarias para la emulación de cerebro completo. 32 5. Aumentos máximos del CI al seleccionar de entre un conjunto de embriones. 37 6. Posibles impactos de la selección genética en diferentes escenarios. 40 7. Algunas competiciones tecnológicas estratégicamente significativas. 81 8. Superpoderes: algunas tareas estratégicamente relevantes y su conjunto de habilidades correspondientes. 94 9. Diversos tipos de cables de trampa. 137 10. Métodos de control. 143 11. Características de las diferentes castas del sistema. 156 12. Resumen de las técnicas de introducción de valores. 207 13. Lista de componentes. 222 Lista de cuadros 1. Un agente bayesiano óptimo. 10 2. El Flash Crash de 2010. 17 3. ¿Qué se necesitaría para recapitular la evolución? 25 4. Sobre la cinética de una explosión de inteligencia. 75 5. Carreras tecnológicas: algunos ejemplos históricos. 80 6. El escenario del ADN encargado por correo. 98 7. ¿Qué magnitud tienen los recursos cósmicos? 101 8. Captura antrópica. 134 9. Soluciones extrañas de búsquedas a ciegas. 154 10. Formalización de aprendizaje de valores. 194 11. Una IA que quiere ser amigable. 197 12. Dos ideas recientes (sin perfilar). 198 13. Una carrera arriesgada en picado. 248 xx | LISTAS DE FIGURAS, TABLAS Y CUADROS CA P ÍT ULO 1 Desarrollos del pasado y capacidades actuales E mpezaremos mirando atrás. La historia, a gran escala, parece exhibir una secuencia de modos de crecimiento distintos, cada uno mucho más rápido que el anterior. Este patrón ha llevado a sugerir que otro modo de crecimiento (aún más rápido) podría ser posible. Sin embargo, no daremos mucho peso a esta observación —éste no es un libro sobre la “aceleración tecnológica” o el “crecimiento exponencial” o las diversas nociones a veces reunidas bajo el título de “la singularidad”. A continuación, se revisará la historia de la inteligencia artificial. Después examinaremos las capacidades actuales de dicho campo. Por último, echaremos un vistazo a algunas recientes encuestas de opinión de expertos y reconoceremos nuestra ignorancia acerca de la línea temporal de los futuros avances. Modos de crecimiento y la historia a gran escala Hace apenas unos pocos millones de años nuestros antepasados todavía estaban colgando de las ramas de la selva africana. En una escala temporal geológica o incluso evolutiva, el surgimiento del Homo sapiens a partir de nuestro último ancestro común con los grandes simios tuvo lugar rápidamente. Desarrollamos la postura erguida, los pulgares oponibles y —de manera crucial— algunos cambios relativamente menores en el tamaño del cerebro y en la organización neurológica que conllevaron un gran salto en la capacidad cognitiva. Como consecuencia, los seres humanos pueden pensar de manera abstracta, comunicar pensamientos complejos y acumular culturalmente información a lo largo de generaciones mucho mejor que cualquier otra especie sobre el planeta. Estas capacidades permitieron a los seres humanos desarrollar tecnologías productivas cada vez más eficientes, haciendo posible que nuestros antepasados emigraran lejos de la selva y la sabana. Especialmente después de la adopción de la agricultura, la densidad de población aumentó junto con el tamaño total de la población humana. Que hubiera más personas conllevó que hubiera más ideas; las mayores densidades de población permitieron que las ideas se propagaran con mayor facilidad y que algunos individuos pudieran dedicarse al desarrollo de habilidades especializadas. Estos acontecimientos aumentaron el ritmo de crecimiento de la productividad económica y de la capacidad tecnológica. Desarrollos posteriores, relacionados con MODOS DE CRECIMIENTO Y LA HISTORIA A GRAN ESCALA | 1 la Revolución Industrial, provocaron un segundo cambio comparable en ritmo de crecimiento. Estos cambios en el ritmo de crecimiento tienen importantes consecuencias. Hace unos cien mil años, a principios de la prehistoria humana (u homínida), el crecimiento era tan lento que se necesitaron casi un millón de años para aumentar la capacidad humana productiva lo suficiente como para sostener a un millón de personas adicional a nivel de subsistencia. Alrededor del 5000 a.C., tras la Revolución Agrícola, el ritmo de crecimiento había aumentado hasta el punto de que la misma cantidad de crecimiento sólo requirió dos siglos. Hoy en día, después de la Revolución Industrial, la economía mundial crece de media esa cantidad cada noventa minutos.1 Incluso el actual ritmo de crecimiento producirá resultados impresionantes si se mantiene durante un período de tiempo moderadamente prolongado. Si la economía mundial sigue creciendo al mismo ritmo que viene haciéndolo durante los últimos cincuenta años, el mundo será 4,8 veces más rico en el 2050, y unas 34 veces más rico en el 2100 de lo que es actualmente.2 Sin embargo, la perspectiva de continuar por el camino del crecimiento exponencial constante palidece en comparación con lo que pasaría si el mundo experimentase otro cambio en su ritmo de crecimiento, de magnitud comparable a los relacionados con la Revolución Agrícola y la Revolución Industrial. El economista Robin Hanson estima, basándose en datos económicos y demográficos históricos, que una economía mundial característica que se multiplica por dos en la sociedad de cazadores-recolectores del Pleistoceno cada 224.000 años; en la sociedad agrícola, cada 909 años; y en la sociedad industrial, cada 6,3 años.3 (En el modelo de Hanson, la época actual es una combinación de los modos de crecimiento agrícola e industrial; la economía mundial, en su conjunto, aún no está creciendo al ritmo de duplicación de 6,3 años). Si tuviera lugar otra transición similar hacia un patrón de crecimiento distinto, y si fuese de una magnitud similar a los dos anteriores, daría como resultado un nuevo régimen de crecimiento en el que la economía mundial se duplicaría de tamaño aproximadamente cada dos semanas. Dicho ritmo de crecimiento parece fantasioso por lo que actualmente sabemos. Es posible que los observadores de épocas anteriores hayan considerado igualmente absurdo suponer que la economía mundial llegaría a duplicarse varias veces a lo largo de una sola vida. No obstante, ésa es la extraordinaria condición que ahora consideramos ordinaria. La idea de una singularidad tecnológica inminente ya se ha popularizado bastante, comenzando con el ensayo fundacional de Vernor Vinge y continuando con los escritos de Ray Kurzweil y otros.4 Sin embargo, el término “singularidad” se ha utilizado de forma confusa en muchos y diversos sentidos y ha adquirido un aura impura (casi mi- lenarista) de connotaciones técnico-utópicas.5 Dado que la mayoría de estos significados y connotaciones son irrelevantes para nuestras explicaciones, podemos ganar en claridad obviando la palabra “singularidad” en favor de una terminología más precisa. La idea relacionada con la singularidad que aquí nos interesa es la posibilidad de una explosión de inteligencia, especialmente la perspectiva de una superinteligencia artificial. Tal vez haya personas convencidas, debido a diagramas de crecimiento como los de la Figura 1, de que otro cambio drástico en el modo de crecimiento, comparable al de la Revolución Agrícola o la Revolución Industrial, está a la vuelta de la esquina. Estas personas puede entonces darse cuenta de que es difícil concebir un escenario en  (a) 45 40 35 30 I 25 % 20 15 | 10 5 I0 -8000 -6000 -4000 -2000 Año el que el tiempo de duplicación de la economía mundial se reduzca a meras semanas que no conlleve la creación de mentes que sean mucho más rápidas y eficientes que las de tipo biológico familiar. Sin embargo, el hecho de tomarse en serio la perspectiva de una revolución en inteligencia artificial no tiene por qué depender de ejercicios de ajustes de curvas, ni de extrapolaciones a partir de antiguos crecimientos económicos. Como veremos, hay razones más convincentes para tomársela en serio. Grandes expectativas Que las máquinas se equiparen a los seres humanos en inteligencia general —es decir, en tener sentido común y una capacidad eficiente para aprender, razonar y planificar para afrontar complejos retos de procesamiento de información a lo largo de un amplio rango de ámbitos naturales y abstractos— ha sido algo esperado desde la invención de los ordenadores, en la década de los 40 del siglo XX. En aquella época, la llegada de este tipo de máquinas a menudo solía preverse para dentro de veinte años.7 Desde entonces, la fecha prevista de llegada ha ido retrocediendo a un ritmo de un año por cada año; por lo que hoy, los futuristas que se preocupan por la posibilidad de la inteligencia artificial general aún suelen creer que las máquinas inteligentes están a un par de décadas de distancia.8 Dos décadas es un punto óptimo para los pronosticadores de cambios radicales: lo suficientemente cerca como para que llame la atención y sea relevante, pero lo bastante lejos como para suponer que una serie de innovaciones, actualmente sólo vagamente imaginables, pudieran tener lugar. Contrastemos esto con plazos temporales más breves: la mayor parte de las tecnologías que tendrán un gran impacto en el mundo en cinco o diez años a partir de ahora ya están disponibles para su uso limitado, mientras que las tecnologías que darán forma al mundo en menos de quince años probablemente existen como prototipos de laboratorio. Veinte años puede también ser un período de tiempo cercano a la duración de la carrera de adivino, limitando el riesgo que su reputación podría sufrir por una predicción arriesgada. Sin embargo, del hecho de que algunos individuos hayan predicho erróneamente la inteligencia artificial en el pasado, no se sigue que la IA sea imposible o que nunca vaya a desarrollarse.9 La principal razón por la que el progreso ha sido más lento de lo esperado es que las dificultades técnicas en la construcción de máquinas inteligentes han sido superiores de lo que los pioneros previeron. Pero esto tan sólo pone de manifiesto la magnitud de las dificultades y lo lejos que estamos de superarlas. En ocasiones, un problema que en un principio parece muy complicado resulta tener una solución sorprendentemente simple (aunque seguramente sea más común lo contrario). En el próximo capítulo, examinaremos diferentes caminos que pueden conducir a la inteligencia artificial de nivel humano. Pero permítasenos señalar desde el principio que, a pesar de las numerosas paradas que pueda haber entre el momento actual y la inteligencia artificial de nivel humano, ésta no es el destino final. La siguiente parada, a escasa distancia a lo largo de la misma senda, es la inteligencia artificial de nivel sobrehumano. El tren podría no detenerse ni decelerar en la estación Villahumana. Es probable que la atraviese como una flecha. El matemático I. J. Good, que trabajó como jefe de estadística en el equipo de decodificadores de Alan Turing durante la Segunda Guerra Mundial, ha sido tal vez el primero en enunciar los aspectos esenciales de este escenario. En un pasaje muy citado de 1965, escribió: Definamos una máquina ultrainteligente como aquella que puede superar con creces todas las actividades intelectuales de cualquier hombre por muy listo que sea. Puesto que el diseño de máquinas es una de esas actividades intelectuales, una máquina ultrainteligente podría diseñar máquinas incluso mejores; entonces habría, sin duda, una "explosión de inteligencia”, y la inteligencia humana quedaría muy atrás. Por ello, la primera máquina ultrainteligente es el último invento que el hombre necesita crear, contando con que la máquina sea lo suficientemente dócil como para decirnos cómo mantenerla bajo control. 10 Ahora puede ya parecer obvio que hay grandes riesgos existenciales relacionados con una explosión de inteligencia, y que esta perspectiva, por tanto, debería ser examinada con la mayor seriedad, aunque se supiera (lo cual no es así) que sólo hay una probabilidad moderadamente pequeña de que ocurra. Sin embargo, los pioneros de la inteligencia artificial, a pesar de su creencia en la inminente llegada de la IA de nivel humano, en su mayoría no contemplaron la posibilidad de una IA superior a la humana. Es como si su capacidad especulativa hubiera quedado tan agotada concibiendo la posibilidad radical de máquinas que pudieran alcanzar la inteligencia humana, que no llegaron a su corolario —que las máquinas subsecuentemente llegarían a ser su- perinteligentes. Los pioneros de la IA, en su mayoría, no contemplaron la posibilidad de que su empresa pudiera implicar ningún riesgo.11 No hablaron —ni pensaron seriamente— sobre ningún problema de seguridad o cuestión ética relacionada con la creación de mentes artificiales y posibles soberanos informáticos: una laguna que asombra incluso en el contexto del poco impresionante estándar de la época para asuntos de valoración crítica de la tecnología.12 Debemos tener la esperanza de que, en el momento en que esa empresa sea realizable, tendremos no sólo la competencia tecnológica para desencadenar una explosión de inteligencia sino también el nivel superior de maestría necesario para hacer que la detonación no sea mortal. Pero, antes de afrontar lo que se nos presenta delante, será útil echar un rápido vistazo a la historia de la inteligencia artificial hasta la fecha. Epocas de esperanza y desesperación En el verano de 1956, en el Dartmouth College, diez científicos que compartían su interés por las redes neuronales, la teoría de autómatas y el estudio de la inteligencia, se reunieron para celebrar un taller de seis semanas de duración. Este Dartmouth Summer Project suele considerarse el punto de partida de la inteligencia artificial como campo de investigación. Muchos de los participantes serían reconocidos posteriormente como pioneros. La visión optimista entre los delegados se refleja en la propuesta presentada a la Fundación Rockefeller, que aportó los fondos para el evento: Proponemos que diez hombres, durante dos meses, lleven a cabo un estudio sobre la inteligencia artificial... El estudio partirá de la conjetura de que cualquier aspecto del aprendizaje, o cualquier otra característica de la inteligencia puede, en principio, ser descrita con tanta precisión como para que pueda fabricarse una máquina que la simule. Se intentará descubrir cómo fabricar máquinas que usen lenguaje, que formen abstracciones y conceptos, que resuelvan problemas hasta ahora reservados a los seres humanos y que se mejoren a sí mismas. Creemos que puede conseguirse un avance significativo en uno o más de estos problemas si un grupo de científicos cuidadosamente seleccionados trabajan en ello juntos durante un verano. En las seis décadas transcurridas desde este audaz comienzo, el campo de la inteligencia artificial ha pasado por períodos de entusiasmo generalizado y altas expectativas alternando con períodos de retroceso y decepción. El primer período de entusiasmo, que comenzó con la reunión de Dartmouth, fue descrito más tarde por John McCarthy (el principal organizador del evento) como la era del “¡mira mamá, sin manos!” Durante esta primera época, los investigadores construyeron sistemas diseñados para refutar afirmaciones del tipo “¡ninguna máquina podría jamás hacer X!”. Tales afirmaciones escépticas eran comunes por aquella época. Para contrarrestarlas, los investigadores de la IA crearon pequeños sistemas que lograban X en un “micromundo” (un ámbito limitado y bien definido que permitía una versión reducida del desempeño que se deseaba demostrar), con lo que aportaron una prueba conceptual y mostraron que X podría, en principio, ser realizada por una máquina. Uno de estos primeros sistemas, el Teórico Lógico, fue capaz de demostrar la mayor parte de los teoremas del segundo capítulo de los Principia Mathematica de Whitehead y Russell, e incluso proporcionó una prueba que era mucho más elegante que la original, con lo que desacreditó la idea de que las máquinas “sólo podían pensar numéricamente” y demostró que las máquinas también eran capaces de hacer deducciones e idear pruebas lógicas.13 Un programa posterior, el Solucionador General de Problemas, podía resolver, en principio, una amplia gama de problemas especificados formalmente.14 También se elaboraron programas que podían resolver problemas de cálculo típicos de los cursos de primer año de universidad, problemas de analogía visual como los que aparecen en algunos tests de CI, y sencillos problemas de álgebra verbal escrita.15 El Robot Shakey (llamado así debido a su tendencia a temblar durante su funcionamiento) demostró cómo el razonamiento lógico podía integrarse con la percepción y utilizarse para planificar y controlar la actividad física.16 El programa ELIZA demostró que un ordenador podía hacerse pasar por un psicoterapeuta Roge- riano.17 A mediados de los años setenta, el programa SHRDLU mostró cómo la simulación de un brazo robótico, en un mundo simulado de bloques geométricos, podía seguir instrucciones y responder a las preguntas tecleadas en inglés por un usuario.18 En las décadas posteriores, se crearon sistemas que demostraron que las máquinas podían componer música al estilo de diversos compositores clásicos, superar a los médicos novatos en determinadas tareas de diagnóstico clínico, conducir coches de forma autónoma y hacer inventos patentables.19 Ha habido incluso una IA que hizo chistes originales.20 (Su nivel de humor no era muy alto —”¿Qué se obtiene cuando se cruza un óptico con un objeto mental? Una /-dea”— pero los niños expresaron repetidamente que sus bromas les resultaban consistentemente entretenidas). Los métodos que produjeron éxitos en los primeros sistemas de demostración solían también ser difíciles de extender a una variedad más amplia de problemas o a ejemplos de problemas más complicados. Una razón para ello es la “explosión combinatoria” de posibilidades que deben ser exploradas para los métodos basados en algo parecido a la búsqueda exhaustiva. Estos métodos funcionan bien para los casos sencillos de un problema, pero fracasan cuando las cosas se ponen un poco más complicadas. Por ejemplo, para demostrar un teorema de unas cinco líneas de extensión en un sistema deductivo con una regla de inferencia y 5 axiomas, podríamos limitarnos a enumerar las 3.125 posibles combinaciones y comprobar cada una de ellas para ver si alguna proporciona la conclusión deseada. La búsqueda exhaustiva también funcionaría para demostraciones de seis o siete líneas. Pero a medida que la tarea se vuelve más difícil, el método de búsqueda exhaustiva pronto genera problemas. Demostrar un teorema de 50 líneas no requiere un tiempo diez veces mayor que otro de cinco líneas: en lugar de eso, si utilizamos la búsqueda exhaustiva, requiere rastrear 550 « 8,9 x 1034 posibles secuencias, lo cual es computacionalmente inviable, incluso para los superordenadores más rápidos.  Para superar la explosión combinatoria, se necesita algoritmos que aprovechen la estructura del ámbito objetivo y que se aprovechen de los conocimientos previos mediante el uso de búsquedas heurísticas, planificación y representaciones abstractas flexibles; unas capacidades que estaban pobremente desarrolladas en los primeros sistemas de IA. El rendimiento de estos primeros sistemas también sufrió por los deficientes métodos para manejar incertidumbre, por la dependencia de representaciones frágiles y de poca base, por la escasez de datos, y por las graves limitaciones de hardware en cuanto a capacidad de memoria y velocidad de procesamiento. A mediados de la década de los 70 del siglo XX, hubo una creciente toma de conciencia de estos problemas. La comprensión de que muchos proyectos de IA nunca podrían cumplir sus promesas iniciales condujo a la aparición del primer “invierno de la IA”: un período de retraimiento, durante el cual disminuyeron los fondos y aumentó el escepticismo, y la IA se pasó de moda. Una nueva primavera llegó a principios de la década de los 80, cuando Japón lanzó su Proyecto de Sistemas Computacionales de Quinta Generación, una organización público-privada bien financiada que pretendía superar los logros anteriores desarrollando una masiva arquitectura de computación paralelizada que serviría de plataforma para la inteligencia artificial. Esto coincidió con el punto álgido de fascinación por el “milagro económico de posguerra” japonés, un período en el que los líderes gubernamentales y empresariales occidentales buscaban ansiosamente descubrir la fórmula del éxito económico de Japón, con la esperanza de replicar las mismas recetas mágicas en casa. Cuando Japón decidió invertir grandes cantidades en IA, otros países siguieron su ejemplo. Los años siguientes fueron testigos de una gran proliferación de sistemas expertos. Diseñados como herramientas de apoyo a la toma de decisiones, los sistemas expertos son programas basados en reglas que efectuaban sencillas inferencias a partir del conocimiento de hechos básicos, que habían sido obtenidos de expertos humanos en ese ámbito y cuidadosamente codificados a mano en lenguaje formal. Se construyeron cientos de estos sistemas expertos. Sin embargo, los sistemas más pequeños conllevaban escasos beneficios, y los más grandes resultaron caros de desarrollar, validar y actualizar, y generalmente eran difíciles de manejar. Era poco práctico adquirir un ordenador independiente para la tarea de ejecutar un solo programa. A finales de la década de los 80 del siglo XX, esta temporada de crecimiento también se había extinguido. El Proyecto de Quinta Generación no cumplió con sus objetivos, lo mismo que le sucedió a sus imitadores de Estados Unidos y Europa. Un segundo invierno de la IA sobrevino. En este punto, un crítico podría haber lamentado, con toda justicia, que “la historia de la investigación en inteligencia artificial, hasta la fecha, había consistido en éxitos muy limitados en áreas concretas, seguidos inmediatamente de fracasos al intentar alcanzar los objetivos más amplios a los que esos éxitos iniciales parecían apuntar en un primer momento”.21 Los inversores privados comenzaron a huir de cualquier empresa que llevara la marca de “inteligencia artificial”. Incluso entre los académicos y sus financiadores, la “IA” se convirtió en un epíteto poco deseado.22 No obstante, el trabajo técnico continuó a buen ritmo, y en la década de los 90 del siglo XX, el segundo invierno de la IA fue gradualmente llegando a su deshielo. El optimismo se reavivó gracias a la introducción de nuevas técnicas, que parecían ofrecer alternativas al paradigma logicista tradicional (a menudo denominado “inteligencia artificial a la antigua usanza”, GOFAI —Good Old-Fashioned Artificial Inte- lligence— como abreviatura), que se había centrado en la manipulación de símbolos de alto nivel y que había llegado a su apogeo en los sistemas expertos de la década de los 80. Las nuevas y populares técnicas, que incluían redes neuronales y algoritmos genéticos, prometían superar algunas de las carencias del paradigma GOFAI, en particular la “fragilidad” que caracterizaba a los programas clásicos de IA (que solían producir completos sinsentidos si los programadores hacían aunque sólo fuera una suposición errónea). Las nuevas técnicas presentaban un rendimiento más orgánico. Por ejemplo, las redes neuronales exhibían la propiedad de “degradación elegante”: una pequeña cantidad de daño a una red neuronal solía resultar en una pequeña degradación de su funcionamiento, y no en su derrumbe completo. Y lo que era más importante, las redes neuronales podían aprender de la experiencia, encontrar formas naturales de generalizar a partir de ejemplos y buscar patrones estadísticos ocultos en la información recibida.23 Esto hizo que las redes fueran buenas en problemas de reconocimiento y clasificación de patrones. Por ejemplo, al entrenar una red neuronal en un conjunto de datos de señales de sónar, se le podía enseñar a distinguir los perfiles acústicos de submarinos, minas y vida marina con mayor precisión que a los expertos humanos —y esto se podía hacer sin que nadie tuviera que averiguar exactamente de antemano cómo debían definirse las categorías o cómo tenían que ponderarse las diferentes características. Aunque se conocían modelos sencillos de redes neuronales desde finales de la década de los 50 del siglo XX, este campo tuvo un renacimiento después de la introducción del algoritmo de retropropagación, que posibilitó entrenar redes neuronales de capas múltiples.24 Este tipo de redes de capas múltiples, que tienen una o más capas de neuronas (“ocultas”) intermedias entre las capas de entrada y de salida, pueden aprender una gama mucho más amplia de funciones que sus predecesoras más simples.25 En combinación con los ordenadores cada vez más potentes que había disponibles, estas mejoras algorítmicas permitieron a los ingenieros construir redes neuronales lo suficientemente buenas como para ser útiles en sentido práctico en muchas aplicaciones. Las cualidades de las redes neuronales similares a las del cerebro contrastaban favorablemente con el rendimiento rigurosamente lógico pero frágil de los tradicionales sistemas GOFAI basados en reglas —lo suficiente como para inspirar la creación de un nuevo “ismo”, el conexionismo, que hacía hincapié en la importancia del procesamiento sub-simbólico masivo en paralelo. Desde entonces se han publicado más de 150.000 artículos académicos sobre las redes neuronales artificiales, y continúan siendo una perspectiva importante en aprendizaje artificial. Los métodos basados en la evolución, como por ejemplo los algoritmos genéticos y la programación genética, constituyen otro enfoque cuya emergencia ha ayudado a poner fin al segundo invierno de la IA. Tal vez tuvo un impacto académico menor que las redes neuronales, pero fue muy popular. En los modelos evolutivos, se mantiene una población de soluciones candidatas (que pueden ser estructuras de datos o programas), y las nuevas soluciones candidatas se generan aleatoriamente mediante mutaciones o variantes que recombinan la población existente. Periódicamente, se reduce la población mediante la aplicación de un criterio de selección (una función de aptitud), que propicia que en la próxima generación sobrevivan sólo los mejores candidatos. Repetida durante miles de generaciones, la calidad media de las soluciones del grupo de candidatos aumenta gradualmente. Cuando funciona, este tipo de algoritmo puede producir soluciones eficientes para una amplia gama de problemas —soluciones que pueden ser sorprendentemente novedosas y poco intuitivas, normalmente más parecidas a las estructuras naturales que cualquier cosa diseñada por un ingeniero humano. Y, en principio, esto puede ocurrir sin más necesidad de intervención humana que la especificación inicial de la función de aptitud, que habitualmente es muy simple. En la práctica, sin embargo, conseguir métodos evolutivos que funcionen bien requiere habilidad e ingenio, sobre todo a la hora de elaborar un buen formato de representación. Sin un procedimiento eficiente para codificar soluciones candidatas (un lenguaje genético que coincida con la estructura latente del ámbito objetivo), la propia búsqueda de la evolución tiende a deambular eternamente en un vasto espacio de búsqueda o queda atrapada en un punto local óptimo. Aunque se encuentre un buen formato de representación, la evolución es computacionalmente exigente, y suele ser derrotada por la explosión combinatoria. Las redes neuronales y los algoritmos genéticos son ejemplos de métodos que despertaron el entusiasmo en la década de los 90 del siglo XX, al surgir para ofrecer alternativas al paradigma GOFAI, que se había estancado. Pero no es nuestra intención cantar las alabanzas de estos dos métodos, ni elevarlos por encima de las muchas otras técnicas de aprendizaje artificial. De hecho, uno de los principales desarrollos teóricos de los últimos veinte años ha sido una comprensión más clara de cómo técnicas superficialmente diferentes pueden entenderse como casos especiales dentro de un marco matemático común. Por ejemplo, muchos tipos de redes neu- ronales artificiales pueden considerarse clasificadores que realizan un tipo particular de cálculo estadístico (estimación de máxima probabilidad).26 Esta perspectiva permite a las redes neuronales compararse con una clase más amplia de algoritmos para aprender a clasificar a partir de ejemplos: “árboles de decisiones”, “modelos de regresión logística”, “vectores de máquinas de apoyo”, “clasificadores bayesianos ingenuos”, “regresión a los ^-vecinos más cercanos”, entre otros.27 De manera similar, los algoritmos genéticos se pueden considerar la realización de una escalada esto- cástica, que es de nuevo un subconjunto de una clase más amplia de algoritmos de optimización. Cada uno de estos algoritmos para la construcción de clasificadores, o para la búsqueda de un espacio de soluciones, tiene su propio perfil de puntos fuertes y débiles que se pueden estudiar matemáticamente. Los algoritmos difieren en los requerimientos relativos a su tiempo de proceso y espacio de memoria, en los sesgos inductivos que presuponen, en la facilidad con que se puede incorporar contenido producido externamente, y en cómo de transparentes son sus procesos internos para un analista humano.  Por tanto, detrás del alboroto alrededor del aprendizaje artificial y de la resolución creativa de problemas, encontramos un conjunto de compensaciones matemáticamente bien especificadas. El ideal es el de un agente bayesiano perfecto, uno que haga un uso probabilísticamente óptimo de la información disponible. Este ideal es inalcanzable, porque, computacionalmente, es demasiado exigente para que sea im- plementado en cualquier ordenador físico (véase el cuadro 1). En consecuencia, se puede considerar la inteligencia artificial como una búsqueda por encontrar atajos: procedimientos para aproximarse flexiblemente al ideal bayesiano sacrificando algunas optimizaciones o generalidades, a la vez que se preserva lo suficiente como para conseguir un alto rendimiento en los ámbitos de auténtico interés. Un reflejo de esta imagen se puede ver en el trabajo realizado durante el último par de décadas en los modelos gráficos probabilísticos, como las redes bayesianas. Las redes bayesianas proporcionan una forma concisa de representar las relaciones de independencia probabilísticas y condicionales que comparten algún ámbito particular. (Explotar esas relaciones de independencia es esencial para superar la explosión combinatoria, que es un gran problema tanto para la inferencia probabilística como para la deducción lógica). También nos ayudan de manera importante a entender el concepto de causalidad.28  Cuadro 1. Continúa La regla de aprendizaje y la regla de decisión en conjunto definen una “noción de optimización” para un agente. (Esencialmente, la misma noción de optimización se ha utilizado ampliamente en la inteligencia artificial, la epistemología, la filosofía de la ciencia, la economía y la estadística34). En realidad, es imposible construir un agente así, porque es computacionalmente inviable realizar los cálculos necesarios. Cualquier intento de hacerlo sucumbe a una explosión combinatoria como la descrita en nuestra explicación de la GOFAI. Para comprobar por qué esto es así, consideremos un pequeño subconjunto de todos los mundos posibles: aquellos que constan de un único monitor de ordenador flotando en un vacío sin fin. El monitor tiene 1.000 x 1.000 píxeles, cada uno de los cuales está constantemente encendido o apagado. Incluso este subconjunto de mundos posibles es enormemente grande: los 2(1000 x1000) posibles estados del monitor superan en número a todos los cálculos que se puede esperar que tengan lugar en el universo observable. Por tanto, ni siquiera podríamos enumerar todos los mundos posibles en este diminuto subconjunto de todos los mundos posibles, y mucho menos realizar cálculos individuales más elaborados de cada uno de ellos. Las nociones de optimización pueden tener interés teórico, aunque sean físicamente irrealizables. Nos ofrecen un estándar desde el que juzgar las aproximaciones heurísticas, y a veces podemos razonar acerca de lo que un agente óptimo haría en algún caso especial. Nos encontraremos con algunas nociones alternativas de optimización para agentes artificiales en el Capítulo 12. J Una de las ventajas de relacionar los problemas de aprendizaje de ámbito específico con el problema general de la inferencia bayesiana es que los nuevos algoritmos que hacen más eficiente la inferencia bayesiana producirán mejoras inmediatas en muchas áreas diferentes. Los avances en las técnicas de aproximación Monte Carlo, por ejemplo, se aplican directamente a la visión artificial, la robótica y la genética computacional. Otra ventaja es que permite a investigadores de diferentes disciplinas agrupar más fácilmente sus hallazgos. Los modelos gráficos y las estadísticas baye- sianas se han convertido en un objeto común a la investigación de muchos campos, incluyendo el aprendizaje artificial, la física estadística, la bioinformática, la optimización combinatoria y la teoría de la comunicación.35 Una buena cantidad de los progresos recientes en aprendizaje artificial procede de la incorporación de resultados formales obtenidos originalmente en otros campos académicos. (Las aplicaciones de aprendizaje artificial también se han beneficiado enormemente de ordenadores más rápidos y de una mayor disponibilidad de grandes cantidades de datos). Estado de la técnica La inteligencia artificial ya supera a la inteligencia humana en muchos ámbitos. La tabla 1 refleja el estado de los ordenadores dedicados a juegos, y demuestra que las IAs ya ganan a los campeones humanos en una amplia serie de juegos.36 El programa de damas de Arthur Samuel, escrito originalmente en 1952 y posteriormente mejorado (la versión de 1955 incorporó el aprendizaje artificial) se convierte en el primer programa que aprende a jugar a un juego mejor que su creador37 En 1994, el programa CHINOOK vence al vigente campeón humano, lo cual supone la primera vez que un programa gana un campeonato mundial oficial en un juego de habilidad. En 2002, Jonathan Schaeffer y su equipo "resuelven” el juego de las damas, es decir diseñan un programa que hace siempre el mejor movimiento posible (combinando una búsqueda alfa-beta con una base de datos de 39 billones de finales). El juego perfecto por parte de ambos bandos conduce a un empate.38 1979: el programa de backgammon BKG, de Hans Berliner derrota al campeón del mundo —el primer programa de ordenador que venció (en un encuentro de exhibición) a un campeón mundial en algún tipo de juego—, aunque Berliner posteriormente atribuye la victoria a la suerte en las tiradas de dados.39 1992: el programa de backgammon TD- Gammon de Gerry Tesauro alcanza un nivel de campeonato, utilizando un aprendizaje diferencial temporal (una forma de aprendizaje por refuerzo), y juega contra sí mismo repetidamente, para mejorar40 En los años posteriores, los programas de backgammon han superado con creces a los mejores jugadores humanos.41 En 1981 y 1982, el programa Eurisko de Douglas Lenat gana el campeonato estadounidense de Traveller (un futurista juego de guerra naval), lo cual lleva a cambiar las reglas para evitar sus estrategias poco ortodoxas.43 Eurisko utilizaba la heurística para diseñar su flota, y también utilizaba la heurística para modificar su heurística. Nivel 1977: el programa Logistello gana todas las partidas de un sobrehumano encuentro a seis partidas contra el campeón del mundo, Takeshi Murakami.44 Nivel 1997: Deep Blue vence al campeón del mundo de sobrehumano ajedrez, Gary Kasparov. Kasparov afirma haber detectado destellos de verdadera inteligencia y creatividad en algunos de los movimientos del ordenador45 Desde entonces, los motores de ajedrez han seguido mejorando.46 Nivel experto 1999: el programa de resolución de crucigramas Proverb, supera al solucionador de crucigramas medio.47  2012: el programa Dr. Fill, creado por Matt Ginsberg, puntúa en el 25% superior entre los concursantes humanos del torneo de crucigramas americano. (El rendimiento de Dr Fill está desequilibrado. Completa perfectamente los problemas considerados más difíciles para los humanos, pero sin embargo se queda 48 atontado ante un deletreo a la inversa o en diagonal). Nivel Scrabble 49 En 2002, los programas dedicados a jugar al Scrabble superan a los mejores jugadores humanos. sobrehumano Igual que los En 2005, los programas dedicados a jugar al bridge alcanzan el mismo nivel que los mejores jugadores Bridge 50 mejores humanos. 2010: el programa Watson, de IBM, derrota a los dos mejores campeones humanos de Jeopardy! todos los Nivel tiempos, Ken Jennings y Brad Rutter51 Jeopardy! es un juego televisivo, con preguntas misceláneas sobre Jeopardy! sobrehumano historia, literatura, deportes, geografía, cultura pop, ciencia y otros temas. Las preguntas se presentan con pistas y suelen incluir juegos de palabras. Los jugadores de póker informáticos están un poco por debajo de los mejores humanos de la modalidad Póker Nivel variado Texas hold'em, pero juegan a nivel sobrehumano a algunas variantes de póker52 Heurísticas evolucionadas usando algoritmos genéticos producen un solucionador para el juego de solitario Carta Nivel de Carta Blanca (que en su forma generalizada es NP- completo) que es capaz de vencer a jugadores blanca sobrehumano humanos de alto nivel.53 En 2012, la serie Zen de programas dedicados a jugar al go ha alcanzado un rango de sexto dan en partidas Nivel rápidas (el nivel de un jugador aficionado muy fuerte) utilizando la búsqueda de árbol de variantes de Monte Go aficionado Carlo y técnicas de aprendizaje artificial.54 Los programas que juegan al go han mejorado a un ritmo de más muy fuerte o menos 1 dan/año en los últimos años. Si este ritmo de mejora continua, podrían vencer al campeón del mundo humano en aproximadamente una década. Estos logros tal vez no parezcan impresionantes hoy en día. Pero esto se debe a que nuestros estándares de lo que es impresionante se van adaptando a los avances que se van realizando. Jugar de manera experta al ajedrez, por ejemplo, era considerado el culmen del intelecto humano. En opinión de varios expertos de finales de los cincuenta: “Si se pudiera diseñar de manera exitosa una máquina de ajedrez, parecería que habríamos penetrado en el núcleo central de los esfuerzos intelectuales humanos”.55 Esto ya no parece ser así. Uno simpatiza con John McCarthy, quien se lamentaba: “En cuanto funciona, ya nadie lo llama LA”.56  Sin embargo, hay un sentido importante en el que la IA de ajedrez fue un triunfo menor del que muchos esperaban. Antes se suponía, tal vez no sin razón, que para que un ordenador jugase al ajedrez a nivel de gran maestro, tendría que estar dotado de un alto grado de inteligencia general. 57 Se podía pensar, por ejemplo, que el gran juego del ajedrez requeriría ser capaz de aprender conceptos abstractos, pensar inteligentemente sobre estrategia, elaborar planes flexibles, realizar una amplia gama de ingeniosas deducciones lógicas y tal vez incluso de representarse el pensamiento del rival. No fue así. Resultó posible construir un programa de ajedrez perfectamente adecuado en torno a un algoritmo de objetivo específico.58 Cuando se implementa en los rápidos procesadores disponibles a finales del siglo XX, da lugar a un nivel de juego muy fuerte. Pero una IA construida de esta manera es una cosa limitada. Juega al ajedrez; pero no puede hacer otra cosa.59 En otros ámbitos, las soluciones han resultado ser más complicadas de lo previsto inicialmente, y el progreso más lento. El científico computacional Donald Knuth se sorprendió de que “la IA haya tenido ya éxito haciendo básicamente todo lo que requiere «pensar», pero haya fracasado en lo que la mayoría de la gente y los animales hacen «sin pensar» —eso, de algún modo, ¡es mucho más difícil!”.60 Analizar escenas visuales, reconocer objetos o controlar el comportamiento de un robot que interactúa con un entorno natural ha demostrado ser todo un reto. Sin embargo, se ha conseguido una buena cantidad de progreso y se sigue progresando, ayudado por constantes progresos en el hardware. El sentido común y la comprensión del lenguaje natural también han resultado ser difíciles. En la actualidad, se suele pensar que alcanzar un rendimiento completamente humano en estas tareas es un problema de “IA completo”, queriendo con esto decir que solucionar estos problemas es esencialmente equivalente a la dificultad de crear máquinas de inteligencia general de nivel humano.61 En otras palabras, si alguien fuera a tener éxito creando una IA que pudiera entender el lenguaje natural tal como lo hace un adulto humano, también habría ya tenido éxito, con toda probabilidad, en la tarea de crear una IA que pudiese hacer todo lo que una inteligencia humana puede hacer, o estaría muy cerca de una capacidad general de esa clase.62 La maestría en ajedrez resultó ser alcanzable por medio de un algoritmo sorprendentemente simple. Resulta tentador especular que otras capacidades —tales como la capacidad de razonamiento general o alguna habilidad clave implicada en programación— podrían ser igualmente alcanzables a través de algún algoritmo sorprendentemente simple. El hecho de que se alcance un mejor rendimiento mediante un mecanismo complicado no significa que no exista un mecanismo simple que pueda hacer el trabajo igual o mejor. Podría suceder tan sólo que nadie hubiese encontrado esa alternativa más simple. El sistema de Ptolomeo (con la Tierra en el centro y el Sol, la Luna, los planetas y las estrellas orbitando en torno a ella) representó el estado de la técnica en astronomía durante más de mil años, y su exactitud predictiva fue mejorando con el paso de los siglos mediante una gradual complicación del modelo: añadiendo epiciclos sobre epiciclos a los movimientos celestes postulados. Después, todo el sistema fue derrocado por la teoría heliocéntrica de Copérnico, que era más simple, y —aunque sólo después de una mayor elaboración por parte de Kepler— más precisa en lo referente a las predicciones.63 Los métodos de inteligencia artificial se utilizan ahora en más áreas de las que tendría sentido revisar aquí, pero mencionar una muestra dará una idea de la amplitud de las aplicaciones. Aparte de las IA dedicadas a juegos reflejadas en la tabla 1, hay audífonos con algoritmos que filtran el ruido ambiental; buscadores de rutas que muestran mapas y ofrecen consejos de navegación a los conductores; sistemas de recomendación que sugieren libros y álbumes de música basándose en las compras y clasificaciones anteriores de un usuario; y sistemas de asistencia para decisiones médicas que ayudan a los médicos a diagnosticar el cáncer de mama, que recomiendan planes de tratamiento, y que ayudan en la interpretación de electrocardiogramas. Hay mascotas robóticas y robots de limpieza, robots que cortan el césped, robots de rescate, robots quirúrgicos y más de un millón de robots industriales.64 La población mundial de robots supera los 10 millones.65 El moderno reconocimiento de voz, basado en técnicas estadísticas como los modelos ocultos de Markov, se ha vuelto lo suficientemente preciso para su uso práctico (algunos fragmentos de este libro se elaboraron con la ayuda de un programa de reconocimiento de voz). Asistentes digitales personales, tales como Siri de Apple, responden a órdenes verbales y pueden responder preguntas sencillas y ejecutar órdenes. El reconocimiento óptico de caracteres de texto manuscrito y mecanografiado se utiliza rutinariamente en aplicaciones como la clasificación del correo y la digitalización de documentos antiguos.66 La traducción automática sigue siendo imperfecta pero es suficientemente buena para muchas aplicaciones. Los primeros sistemas utilizaban el enfoque GOFAI, con gramáticas de codificación manual que tuvieron que ser desarrolladas desde cero por lingüistas cualificados en cada idioma. Los nuevos sistemas utilizan técnicas estadísticas de aprendizaje artificial que construyen automáticamente modelos estadísticos a partir de los patrones de uso observados. La máquina deduce los parámetros de estos modelos mediante un análisis bilingüe del texto. Este enfoque prescinde de los lingüistas: los programadores que construyen estos sistemas ni siquiera tienen por qué hablar las lenguas con las que trabajan.67 El reconocimiento facial ha mejorado tanto en los últimos años que ahora se utiliza en los pasos fronterizos automatizados de Europa y Australia. El Departamento de Estado de los Estados Unidos cuenta con un sistema de reconocimiento facial de más de 75 millones de fotografías para la tramitación de visados. Los sistemas de vigilancia utilizan una IA cada vez más sofisticada, además de tecnología de análisis de datos para analizar la voz, vídeos o textos, un buen número de los cuales se obtienen de los medios de comunicación electrónicos de todo el mundo y se almacenan en enormes bases de datos. La demostración de teoremas y la resolución de ecuaciones están actualmente tan asentadas que apenas se siguen considerando como IA. En los programas informáticos científicos se incluyen solucionadores de ecuaciones como Mathematica. Los métodos de verificación formal, incluyendo demostradores de teoremas automatizados, suelen ser utilizados por fabricantes de chips de forma rutinaria para verificar el comportamiento de los diseños de circuitos antes de su producción. Los organismos militares y de inteligencia de los Estados Unidos han liderado la senda que ha llevado al despliegue a gran escala de robots desactivadores de bombas, drones de vigilancia y ataque, y de otros vehículos no tripulados. Éstos todavía dependen principalmente del control remoto por parte de operadores humanos, pero se está trabajando para ampliar sus capacidades autónomas. La programación inteligente es un ámbito muy importante en el que se ha tenido bastante éxito. La herramienta DART para la planificación y programación de logística automatizada se utilizó en la Operación Tormenta del Desierto, en 1991, hasta el punto de que la DARPA (la Agencia de Proyectos de Investigación Avanzada en Defensa de los Estados Unidos) afirma que esta aplicación, por sí sola, ha compensado sobradamente su inversión por treinta años en IA.68 Los sistemas de reserva de las aerolíneas utilizan sofisticados sistemas de programación y de establecimiento de precios. Las empresas hacen un amplio uso de técnicas de IA en sus sistemas de control de inventario. También utilizan sistemas automáticos de reserva telefónica y líneas de ayuda asociadas a programas de reconocimiento de voz para guiar a sus desesperados clientes por laberintos de opciones de menú interconectadas. Numerosos servicios de internet se basan en tecnologías de IA. Hay software encargado de vigilar el tráfico de correo electrónico por todo el mundo, y a pesar de la continua adaptación por parte de quienes envían spam para burlar las contramedidas tomadas contra ellos, los filtros de spam bayesianos han logrado mantener a raya, hasta cierto punto, la marea de correo basura. Softwares que utilizan componentes de IA son los responsables de aprobar o rechazar automáticamente las transacciones con tarjetas de crédito y vigilar continuamente la actividad de las cuentas para detectar los indicios de uso fraudulento. Los sistemas de recuperación de información también hacen un amplio uso del aprendizaje artificial. El motor de búsqueda de Google es, probablemente, el mayor sistema de IA que se ha construido hasta la fecha. Ahora bien, hay que insistir en que la diferencia entre la inteligencia artificial y los programas de ordenador en general no está definida. Algunas de las aplicaciones mencionadas anteriormente podrían más bien considerarse aplicaciones genéricas que IA específicamente —aunque esto nos lleve de nuevo a la máxima de McCarthy de que, cuando algo funciona, ya no se le llama IA. Una distinción más relevante para nuestros propósitos es la que existe entre los sistemas que tienen un nivel reducido de capacidad cognitiva (se autodenominen “IA” o no) y los sistemas que tienen capacidad de resolución de problemas de aplicación más generalizada. Prácticamente, todos los sistemas actuales en uso son del primer tipo: de nivel reducido. No obstante, muchos de ellos contienen componentes que también podrían desempeñar un papel en la inteligencia artificial general del futuro, o estar al servicio de su desarrollo — componentes como los clasificadores, los algoritmos de búsqueda, los planificadores, los solucionadores de problemas y las infraestructuras de representación. Un entorno de alto riesgo y muy competitivo en el que operan actualmente los sistemas de IA es el del mercado financiero global. Las principales compañías inversoras hacen un uso generalizado de sistemas automatizados de intercambio de acciones. Aunque algunos de éstos son sólo formas de automatizar la ejecución de determinadas órdenes de compra o venta emitidas por un gestor de fondos humano, otros conllevan complejas estrategias comerciales que se adaptan a las condiciones cambiantes del mercado. Los sistemas analíticos utilizan diversas técnicas de análisis de datos y series temporales, con el objetivo de buscar patrones y tendencias en los mercados de valores, o para correlacionar los movimientos de precios históricos con variables externas, como palabras clave en los teletipos de los noticieros. Algunos proveedores de noticias financieras venden sistemas de transmisión de noticias que están especialmente formateados para su uso por este tipo de programas de IA. Otros sistemas se especializan en la búsqueda de oportunidades de arbitraje dentro de mercados o entre  Cuadro 2. Continúa previstas en las que sus premisas resultan no ser válidas. El algoritmo sólo hace lo que hace; y, a menos que se trate de un tipo muy especial de algoritmo, no le importa que nos llevemos las manos a la cabeza y nos sorprendamos con horror estupefaciente ante lo inapropiado y absurdo de sus acciones. Éste es un tema que nos volveremos a encontrar Una tercera observación relacionada con el Flash Crash es que, aunque la automatización contribuyó al incidente, también contribuyó a su resolución. La orden de suspensión de la lógica preprogramada, que detuvo el comercio cuando los precios se alejaron de los límites razonables, se estableció para que fuera ejecutada automáticamente porque se había previsto acertadamente que los acontecimientos desencadenantes podrían ocurrir en una escala temporal demasiado rápida como para que los seres humanos respondieran. La necesidad de una función de seguridad preinstalada que se ejecute automáticamente —frente a la confianza en la supervisión humana a tiempo real— otra vez anuncia un tema que será importante en nuestra discusión sobre la inteligencia artificial.72 ellos, o en el comercio de alta frecuencia, que busca sacar provecho de los pequeños movimientos de precios que se producen en el transcurso de milisegundos (una escala de tiempo en la que las demoras de comunicación, incluso con señales transmitidas a la velocidad de la luz mediante cables de fibra óptica, se vuelven significativas, haciendo que sea beneficioso colocar los ordenadores cerca de la central). Los comerciantes algorítmicos de alta frecuencia manejan más de la mitad de las transacciones de acciones negociadas en mercados estadounidenses.69 El comercio algorítmico estuvo implicado en el Flash Crash de 2010 (véase cuadro 2). Opiniones sobre el futuro de la inteligencia artificial El progreso en dos grandes frentes —hacia una base estadística y una teoría de la información más sólida para el aprendizaje artificial, por un lado, y hacia el éxito práctico y comercial de varias aplicaciones a problemas concretos o de ámbito específico, por el otro— ha restaurado parte del prestigio perdido a la investigación en IA. No obstante, la historia reciente puede tener un efecto cultural residual en la comunidad de la IA que haga que muchos investigadores punteros no quieran caer en un exceso de ambición. Así Nils Nilsson, uno de los veteranos en el campo, se queja de que sus colegas actuales carezcan de la audacia de espíritu que impulsó a los pioneros de su propia generación: La preocupación por la “respetabilidad” ha tenido, creo, un efecto paralizador en algunos investigadores de IA. Los oigo decir cosas como “La IA solía ser criticada por su superficialidad. Ahora que hemos realizado progresos sólidos, no nos arriesguemos a perder nuestra respetabilidad”. Un resultado de este conservadurismo es que los esfuerzos se han concentrado en la “IA débil” —la variedad dedicada a proporcionar ayudas al pensamiento humano— alejándose de la “IA fuerte” —la variedad que intenta mecanizar inteligencia humana de nivel humano.73 El sentimiento de Nilsson ha sido repetido por varios otros fundadores, entre ellos Marvin Minsky, John McCarthy y Patrick Winston.74 Los últimos años han visto un resurgimiento del interés en la IA, que aún podría extenderse a nuevos esfuerzos hacia la inteligencia artificial general (lo que Nilsson llama “IA fuerte”). Además de un hardware más rápido, un proyecto actual se beneficiaría de los grandes avances que se han hecho en numerosos sub-campos de la IA, en ingeniería informática de nivel más general, y en ámbitos vecinos, como por ejemplo la neurociencia computacional. Un indicio de la mayor demanda de información y educación de calidad queda demostrado en la respuesta a la oferta por internet de un curso de introducción a la inteligencia artificial en la Universidad de Stanford en el otoño de 2011, organizado por Sebastian Thrun y Peter Norvig. Unos 160.000 estudiantes de todo el mundo se inscribieron para realizarlo (y 23.000 lo finalizaron).75 Las opiniones de los expertos sobre el futuro de la IA varían enormemente. No hay acuerdo sobre la sucesión temporal de los acontecimientos ni sobre qué formas podría llegar a adoptar la IA. Las predicciones sobre el futuro desarrollo de la inteligencia artificial, señaló un estudio reciente, “son tan firmes como diversas”.76 Aunque la distribución actual de estas creencias no se ha medido cuidadosamente, podemos obtener una idea aproximada gracias a varias pequeñas encuestas y observaciones informales. En particular, una serie de encuestas recientes han preguntado a miembros de varias comunidades de expertos sobre cuándo esperan que surja una “inteligencia artificial de nivel humano” (HMLI), definida como “una que pueda desempeñar la mayoría de las profesiones humanas, al menos igual de bien que un ser humano típico”.77 Los resultados se reflejan en la Tabla 2. La muestra combinada dio la siguiente estimación (promedio): 10% de probabilidad de que tenga lugar para el 2022, 50% de probabilidad de que tenga lugar aproximadamente en 2040, y un 90% de probabilidad de que surja para 2075. (A los encuestados se les pidió que basaran sus estimaciones en la premisa de que “la actividad científica humana continúa sin ninguna interrupción negativa importante”). Estas cifras deben tomarse con un grano de sal: el tamaño de las muestras es muy pequeño y no tienen por qué representar necesariamente a la población general de expertos. No obstante, concuerdan con los resultados de otras encuestas.78 Los resultados de la encuesta también concuerdan con unas entrevistas recientemente publicadas donde se preguntaba a dos docenas de investigadores de campos relacionados con la IA. Por ejemplo, Nils Nilsson ha tenido una larga y productiva carrera trabajando en problemas de búsqueda, planificación, representación del conocimiento y robótica; es autor de libros de texto sobre inteligencia artificial; y recientemente finalizó la historia más completa de ese ámbito escrita hasta la fecha.79 Cuando se le preguntó sobre las fechas de llegada de la inteligencia artificial de nivel humano, ofreció la siguiente opinión:80 10% de probabilidad: 2030 50% de probabilidad: 2050 90% de probabilidad: 2100 A juzgar por las transcripciones de las entrevistas publicadas, la distribución de probabilidad del profesor Nilsson parece ser bastante representativa de muchos expertos en esta materia —si bien de nuevo hay que destacar que existe una amplia variedad de opiniones: hay profesionales que son sustancialmente más favorables a la IA y esperan con confianza que haya inteligencia artificial de nivel humano para 2020- 40, y otros que creen que nunca va a suceder o que se trata de algo que está indefiniblemente lejos.82 Además, algunos de los entrevistados consideran que la idea de un “nivel humano” de inteligencia artificial está mal definida o es engañosa, o se muestran reticentes por otros motivos a dejar constancia de una predicción cuantitativa. Tabla 2. ¿Cuándo conseguiremos una inteligencia artificial de nivel humano?81 10% 50% 90% PT-AI 2023 20482080 AGI 2022 20402065 EETN 2020 20502093 TOPI00 2024 20502070 Combinados 2022 20402075 Mi propio punto de vista es que las cifras medias de la encuesta de expertos no tienen suficiente capacidad predictiva sobre las fechas de advenimiento tardías. Una probabilidad de un 10% en relación con que no habrá aparecido una inteligencia artificial de nivel humano para el año 2075, y ni siquiera para el 2100 (después de establecer la condición de que “la actividad científica humana proseguiría sin importantes interrupciones negativas”) me parece demasiado baja. Históricamente, los investigadores de la IA no han batido récords prediciendo la velocidad de los avances de su propio campo ni la forma que tales avances tomarían. Por un lado, algunas tareas, como jugar al ajedrez, resultaron alcanzables mediante programas sorprendentemente simples; y los detractores que afirmaban que las máquinas “nunca” serían capaces de hacer esto o aquello se equivocaron en repetidas ocasiones. Por otro lado, los errores más típicos entre los expertos han sido subestimar las dificultades para conseguir que un sistema lleve a cabo tareas del mundo real de manera consistente, y sobreestimar las ventajas de su propio proyecto o técnica favorita. La encuesta también preguntó otras dos cuestiones de importancia para nuestra investigación. Una inquirió a los encuestados acerca de cuánto tiempo pensaban que tardaría en llegar la superinteligencia asumiendo que primero se alcanzaran máquinas de nivel humano. Los resultados están en la Tabla 3. Otra pregunta inquirió cuál pensaban que sería el impacto general y a largo plazo para la humanidad, de alcanzar la inteligencia artificial de nivel humano. Las respuestas están resumidas en la figura 2. De nuevo mis propias opiniones difieren un poco de las opiniones expresadas en la encuesta. Yo asigno una probabilidad más alta a que la superinteligencia surja poco después de la inteligencia artificial de nivel humano. También tengo una perspectiva más polarizada sobre las consecuencias, pues pienso que los resultados muy buenos o muy malos son algo más probables que los resultados más equilibrados. Las razones para esto se aclararán más adelante en el libro.  Tabla 3. se tardará desde el nivel humano hasta la superinteligencia? ¿Cuánto 2 años después de la inteligencia artificial de nivel 30 años después de la inteligencia artificial de nivel humano humano TOPI00 5% 50% Combinados 10% 75% 50 Figura 2. Impacto global a largo plazo de la inteligencia artificial de nivel humano.8- Las muestras pequeñas, los sesgos de selección y —sobre todo— la falta de fiabilidad inherente a las opiniones personales implican que no hay que tomarse muy en serio estas encuestas y entrevistas a expertos. No nos permiten sacar ninguna conclusión en firme. Pero sí apuntan a una conclusión débil. Sugieren que (al menos a falta de mejores datos o análisis) puede ser razonable creer que hay probabilidades bastante importantes de que la inteligencia artificial de nivel humano sea desarrollada para mediados de siglo, y que hay una probabilidad nada desdeñable de que sea desarrollada considerablemente antes o mucho más tarde; que tal vez muy poco después de ese momento podría dar como resultado superinteligencia; y que hay altas probabilidades de que una amplia gama de resultados sean posibles, incluyendo resultados muy buenos y resultados tan malos como la extinción humana.84 Por lo menos, estas muestras sugieren que el tema merece un análisis más detallado. CA P ÍT ULO 2 Caminos hacía la superinteligencia A ctualmente las máquinas son muy inferiores a los humanos en inteligencia general. No obstante, algún día (como hemos sugerido) serán superinte- ligentes. ¿Cómo pasaremos de la situación actual a la situación prevista? Este capítulo explorará varios posibles caminos que la tecnología podría tomar. Abordaremos temas como la inteligencia artificial, la estimulación cerebral, la cognición biológica, y los interfaces hombre-máquina, así como las redes y organizaciones. Evaluaremos qué grado de plausibilidad tienen como caminos hacia la superinteligencia. La existencia de múltiples caminos aumenta la probabilidad de que la meta pueda alcanzarse al menos a través de uno de ellos. Podemos definir tentativamente una superinteligencia como cualquier intelecto que exceda en gran medida el desemp