Inteligencia Artificial y Educación PDF - UNESCO 2023

? La Inteligencia AI Artificial ¿Necesitamos una nueva educación? La UNESCO: líder mundial en educación La Agenda Mundial de Educación 2030 Laeducación La UNESCO:eslíder mundial...

? La Inteligencia AI Artificial ¿Necesitamos una nueva educación? La UNESCO: líder mundial en educación La Agenda Mundial de Educación 2030 Laeducación La UNESCO:eslíder mundial la máxima en educación prioridad de la UNESCO porque Lacalidad En Agenda Mundial dedeEducación de organización las Naciones2030 Unidas especializada es La educación es la máxima prioridad para un derecho humano esencial y la base de laconsolidar UNESCOla en educación, la UNESCO ha recibido En calidad de organización de las Naciones el encargo de dirigir Unidas y paz y el desarrollo porque sostenible. es un derecho La UNESCO humano esenciales lay agencia la base de las coordinar la Agenda especializada de Educaciónla2030. en educación, Este programa UNESCO formael ha recibido Naciones Unidas especializada para consolidar en educación. la paz y el desarrollo Proporciona sostenible. La un parte de unde encargo movimiento mundial encaminado dirigir y coordinar la Agendaa de erradicar la Educación liderazgo a nivel mundial y regional UNESCO es la agencia de las Naciones Unidaspara reforzar el desarrollo, pobreza mediante la consecución, de aquí 2030. Este programa forma parte de un movimiento a 2030, de 17 Objetivos la resiliencia y laen especializada capacidad de los educación. sistemas educativos Proporciona un de Desarrollo mundial Sostenible. La encaminado a educación, erradicar la fundamental para pobreza mediante la nacionales liderazgo al servicio a nivel de todos mundial los estudiantes. y regional La UNESCO para reforzar el alcanzar todos estos consecución, de aquíobjetivos, a 2030,cuenta de con su propio objetivo 17 Objetivos de desarrollo, lidera la resiliencia los esfuerzos y la capacidad para responder de losmundiales a los desafíos Desarrolloel Sostenible. específico, ODS 4, que seLa haeducación, propuesto fundamental para sistemasmediante actuales educativos nacionalestransformador, un aprendizaje al servicio decon todos un alcanzar todos “garantizar estos objetivos, una educación cuenta con inclusiva, equitativa y desu propio calidad los estudiantes. La UNESCO lidera los esfuerzos para de enfoque especial en la igualdad de género y África a través yobjetivo promoverespecífico, oportunidades el ODS 4, que se durante de aprendizaje ha propuesto toda la responder todas a los desafíos mundiales actuales sus acciones. “garantizar vida una para todos”. educación El Marco inclusiva, de Acción equitativa de Educación y de 2030 ofrece mediante un aprendizaje transformador, con un calidad y promover orientación oportunidades para la aplicación de aprendizaje de este ambicioso objetivo y sus enfoque especial en la igualdad de género y África durante toda la vida para todos”. El Marco de Acción de compromisos. a través de todas sus acciones. Educación 2030 ofrece orientación para la aplicación de este ambicioso objetivo y sus compromisos.  La Inteligencia Artificial ¿Necesitamos una nueva educación?  Publicado en 2023 por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, (7, place de Fontenoy, 75352 París 07 SP, Francia) y la Oficina Regional Multisectorial de la UNESCO para América Latina y el Caribe, UNESCO Montevideo, (Luis Piera 1992, piso 2, 11200 Montevideo, Uruguay). UNESCO 2023 MTD/ED/2023/PI/04 Esta publicación disponible en acceso abierto bajo la licencia Attribution – ShareAlike 3.0 IGO (CC – BY – SA 3.0 IGO) (http://creativecommons.org/licenses/by-sa/3.0/igo/). Al utilizar el contenido de la presente publicación, los usuarios aceptan las condiciones de utilización del Repositorio UNESCO de acceso abierto (www.unesco.org/open-access/terms-use-ccbysa-sp). Los términos empleados en esta publicación y la presentación de los datos que en ella aparecen no implican toma alguna de posición de parte de la UNESCO en cuanto al estatuto jurídico de los países, territorios, ciudades o regiones ni respecto de sus autoridades, fronteras o límites. Las ideas y opiniones expresadas en esta obra son las de los autores y no reflejan necesariamente el punto de vista de la UNESCO ni comprometen a la Organización. Diseño y Diagramación: FABIANA RUTMAN DG DISEÑO GRÁFICO & COMUNICACIÓN VISUAL  La Inteligencia Artificial ¿Necesitamos una nueva educación? Autora: Dra. Roxana Morduchowicz  La Inteligencia Artificial - ¿Necesitamos una nueva educación? INDICE INTRODUCCION..................... 9 PRIMERA PARTE..................... 13 La Inteligencia Artificial............. 15 Significado, Alcance, Ética SEGUNDA PARTE.................... 33 La educación........................ 35 Implicancias - Desafíos - Propuestas ULTIMA PARTE....................... 55 Bibliografía utilizada y recomendada... 57 7  La Inteligencia Artificial - ¿Necesitamos una nueva educación? INTRODUCCIÓN ¿Las tecnologías son buenas o malas? Hace unos meses viajé a Vancouver para participar de un congreso internacional. En el aeropuerto de Buenos Aires, me dirigí a migraciones para presentar mi pasaporte -visa canadiense incluida. Es un trámite que realizo con frecuencia ya que, por mi trabajo, suelo viajar a menudo. La empleada de la policía aeroportuaria recibió mi documento, me sacó la foto con la pequeña cámara sobre la ventana de su escritorio y tomó mi huella digital. La gestión, usualmente, no se extiende por más de tres minutos. Por eso, me sorprendió la demora. Pasaba el tiempo y yo seguía en migraciones. Le pregunté a la empleada si había algún inconveniente y éste fue el diálogo que mantuvimos: ¿Pasa algo? -pregunté. Me está apareciendo una alarma en la pantalla de mi computadora -me dijo. ¿Una alarma? ¿Por qué motivo? -pregunté preocupada. Porque la foto que sacó la cámara no coincide con la foto de tu pasaporte. Es cierto -respondí. En la foto de mi pasaporte tengo el pelo más oscuro y lacio y ahora estoy con rulos y más claro -dije aliviada porque pensé que con la explicación todo se aclaraba. Rápidamente me daría cuenta de que el problema recién comenzaba. Yo te entiendo -me respondió. Pero si el sistema muestra una alarma, no hay nada que yo pueda hacer. Pero soy yo -dije asustada. Solo me dejé los rulos y me aclaré el pelo. Tengo la invitación del congreso canadiense en el que voy a participar. ¿Te la muestro? No. Si el programa de reconocimiento facial no identifica tu foto, la invitación del congreso no es suficiente para dejarte pasar -dijo. 9 La Inteligencia Artificial - ¿Necesitamos una nueva educación? Me asusté aún más. Pensaba en cómo podría discutirle y Con cada nueva tecnología que surge en el mundo, reaparecen convencer a un sistema de inteligencia artificial que yo era siempre los viejos interrogantes. Y se hace necesario repasar y yo. En ese momento llegó un supervisor de migraciones, revisar antiguas respuestas. preocupado por la demora, para averiguar qué pasaba. Miró la pantalla que aun reflejaba la alarma y me dijo: Antes de la llegada de Internet, la sociedad buscaba explicar con los programas televisivos una conducta violenta de los niños y ¿Tienes tu documento nacional de identidad? adolescentes. ¿Qué habrán visto en la televisión la noche anterior, para que actuaran con violencia en la mañana siguiente? -se No. Cuando viajo con pasaporte -respondí- dejo el preguntaban los adultos en aquel momento. Décadas más tarde, documento en mi casa. Nunca llevo los dos juntos. con la conexión a Internet en las casas, la misma sociedad culparía Los vi conversar, pero yo no podía escucharlos. Y mientras de la violencia adolescente a los juegos en red. pensaba qué más podía hacer para probar mi identidad, Desde la educación, la relación con los medios de comunicación recordé que semanas atrás le había sacado una foto a mi -y en especial con la televisión- nunca fue sencilla. La escuela la documento. Afortunadamente, llevaba esa foto en el celular. miraba con desconfianza, y oscilaba entre la fuerte condena y la Así que pregunté: resignada aceptación. La televisión, asociada a la distracción y al Tengo la foto de mi DNI en el teléfono. ¿Puede servir? ocio, parecía oponerse a la disciplina, al esfuerzo y a la austeridad con las que se vinculaba a la escuela. Los funcionarios se cruzaron miradas y aunque no parecía muy convencido, el supervisor aceptó. Busqué en la galería Con la llegada de Internet, la relación de la educación con las de fotos de mi móvil y exhibí la imagen. Finalmente me tecnologías atravesó otras etapas. A diferencia de la producción autorizaron a pasar y a viajar. audiovisual, Internet proponía revalorizar la lectura, permitía descubrir fuentes de información infinitas y facilitaba el acceso a Los quince minutos que demoró toda la situación me dejaron un caudal de contenidos sin fronteras. Su uso -se decía- permitiría preocupada y con muchas preguntas. ¿Por qué debía “competir” democratizar el conocimiento. Los estudiantes podrían aprender con un sistema de inteligencia artificial para demostrar que yo de recursos ilimitados, totalmente inaccesibles hasta ese soy yo? ¿Cómo probar mi identidad a una aplicación informática? momento. ¿Por qué ese programa tenía tanto poder de decisión sobre mi vida? ¿Quién había diseñado un sistema, que tenía la autoridad de La vieja condena a la televisión se desplazaba, con Internet, impedir que yo viajara, solo porque mi cabello lucía distinto? hacia el extremo opuesto: una idealización exacerbada. Las tecnologías -se afirmaba entonces- eran una oportunidad para la Si bien logré pasar migraciones, sentí que la inteligencia democratización del saber y la cultura y para la potenciación de la artificial me había ganado. En primer lugar, porque a partir de enseñanza. Así pasamos rápidamente, de los apocalípticos a los ahora -aunque no me gusta- llevo siempre conmigo el DNI integrados o idealizadores (Eco, 1977). cuando salgo del país. En segundo lugar, porque comencé a pensar en renovar mi pasaporte (con nueva foto, claro), aun Estas dos actitudes – de acusación y condena o de valoración y cuando el actual tiene validez por cinco años más. Finalmente, reconocimiento- convivieron a lo largo de la historia. Sin embargo, me quedó la eterna duda sobre lo que podía haber sucedido ¿cuál tiene razón? Los interrogantes se repetían una vez más: si yo no llevaba en mi móvil la foto de mi documento de identidad. ¿Me habrían dejado viajar? No dejaba de pensar que el sistema de IA podía haber tomado una decisión sobre mí, que era muy difícil de discutir y, mucho menos, de revertir. ¿las tecnologías son buenas o malas? Las preguntas continuaron en mi mente. La inteligencia artificial, que podía haber complicado mi viaje, ¿podría también complicar ¿Toman decisiones arbitrarias sobre nuestra identidad y mi vida en diferentes situaciones de la cotidianeidad? ¿Qué otras nuestras vidas? ¿Generan violencia a través de un juego en decisiones la IA podría tomar por mí? Y la pregunta de siempre: red? ¿Mejoran la educación? ¿Democratizan el saber? ¿la tecnología es buena o es mala? ¿Ayuda o perjudica? Pensé entonces en la educación: ¿Quién tiene razón? ¿Hacia dónde se inclina la balanza? La respuesta no es fácil. Porque la conclusión nunca es lineal. Las tecnologías no pueden ser vistas aisladamente. La ¿la tecnología potencia, condena exclusiva a Internet por la viralización de noticias falsas o discursos de odio, ignora a la sociedad en la que estos mejora, obstaculiza o daña la enseñanza? contenidos se producen, circulan y comparten. Del mismo 10  La Inteligencia Artificial - ¿Necesitamos una nueva educación? modo, la idealización exacerbada a Internet por el acceso a Al mismo tiempo, sin embargo, no podemos dejar de una información sin límites, olvida preguntarse por la manera pensar en los ciudadanos que las utilizan y en la necesidad en que las personas se relacionan con esos contenidos y cómo casi urgente de que comprendan las implicancias sociales, utilizan y comparten esa información. políticas, económicas y culturales que suponen las tecnologías e Internet para la vida de cada uno y para la comunidad. En el mundo actual, en que los fenómenos sociales están cada vez más interrelacionados, responsabilizar a una única En esta última dirección, es donde encuentra su lugar la variable, actor o dimensión es simplificar el problema e educación. ignorar la complejidad de los contextos. Durante décadas –y aun hoy- o bien se desvalorizaban las pantallas declarándolas enemigas de la cultura, o se las exaltaba Es preciso una política pública y una calificándolas como su máxima democratización. Las pantallas –según el abordaje que se utilice- pueden tan pronto provocar “la escuela que forme a los docentes y desaparición de la infancia” (Postman, 1983), como solucionar el a los alumnos para que puedan ser fracaso escolar, el aislamiento o la incomunicación familiar. ciudadanos digitales Pese a las posiciones ideológicas que los dividen, los dos enfoques tienen algo en común: ambos son “mediocéntricos” (Livingstone, 2001), en otras palabras, ambos ponen a los Necesitamos profesores y estudiantes que puedan aprender a medios de comunicación y a las tecnologías en el centro del identificar, comprender y, sobre todo, responder a los grandes debate y en el eje de la relación, dotándolos de un poder problemas que genera hoy el uso de Internet. exagerado (ya sea para destruir o para construir). Los maestros y los alumnos deben conocer cuáles son sus responsabilidades en el universo on line, pero también identificar Existe cierto peligro de caer cuáles sus derechos en el entorno digital, saber defenderlos y reclamar por ellos cuando no se cumplen. en un determinismo tecnológico Para que una foto no decida el futuro de nadie y para que una y pensar el vínculo entre búsqueda en el navegador o un perfil en una red social no condicionen oportunidades laborales. Para que un algoritmo los dispositivos y las personas como o un sistema de inteligencia artificial no tomen una decisión una relación de causa / efecto por ninguno de nosotros. De ello, precisamente, tratarán estas páginas. Ni las pantallas –en sí mismas- generan individualismo, ni nos Una primera parte enfocará qué es la inteligencia artificial, hacen más sociables. Ni son perjudiciales para el aprendizaje, analizará cómo está diseñada y de qué manera funciona. También ni mejoran la calidad de la enseñanza. Ni son responsables abordará la incidencia de estos sistemas en nuestra vida diaria. de la inequidad, ni generan democracia e igualdad. Ni las Y explorará el impacto que los algoritmos generan en nuestras tecnologías nos aíslan, ni generan participación. decisiones, acciones y conductas cotidianas. ¿Y entonces? ¿Cómo seguimos? La clave es apuntar siempre Una segunda parte, se centrará en los desafíos que estos en dos direcciones. tiempos implican para la educación. ¿Qué podrían (y deberían) hacer el Estado y la escuela en relación a la inteligencia artificial? Por un lado, no podemos des responsabilizar a las tecnologías ¿Qué formación deberían recibir los docentes y los estudiantes? por la viralización de contenidos falsos o discriminatorios ¿Qué herramientas brindarles desde la escuela, para que puedan en las redes sociales. Tampoco podemos des responsabilizar reconocer, analizar y actuar frente a los nuevos interrogantes a las tecnologías que utilizan la información privada de las que genera hoy el uso de las tecnologías? ¿Cuáles son los nuevos personas para venderla a otras empresas o gobiernos, sin desafíos que plantea la inteligencia artificial a la enseñanza? autorización de los usuarios. Finalmente, no podemos des responsabilizar a las tecnologías por el diseño de algoritmos y En suma, a lo largo de estas páginas, trataremos de responder una sistemas de inteligencia artificial que -como vimos y veremos pregunta central en este libro y, posiblemente, en esta época: más adelante- toman decisiones por los usuarios, discriminan, ejercen la censura, o reproducen inequidades. En todo ello las ¿necesitamos una nueva educación? tecnologías tienen una clara responsabilidad. 11  P R I M E R A PA R T E La Inteligencia Artificial: Significado Alcance Ética 13 LA INTELIGENCIA ARTIFICIAL ¿Necesitamos una nueva educación?  La Inteligencia Artificial - ¿Necesitamos una nueva educación? P R I M E R A PA R T E ¿Qué es la Inteligencia Artificial? En los últimos tiempos, la inteligencia artificial (IA) ha sido tapa de periódicos y revistas, objeto de análisis en videos de Internet y programas televisivos y protagonista indiscutida en portales de sitios web. Muchos especialistas comparan la llegada de la IA con el surgimiento de Internet o con la aparición de los celulares inteligentes. Para comprender por qué se habla tanto de la inteligencia artificial, empecemos por explorar qué significa. La inteligencia artificial es el diseño de máquinas o sistemas que imitan funciones cognitivas propias de las personas, tales como percibir, procesar, analizar, organizar, anticipar, interactuar, resolver problemas y, más recientemente, crear. La IA es la capacidad de un sistema para interpretar datos externos, utilizar estos datos para lograr metas específicas y llevar a cabo acciones que maximizan las posibilidades de éxito en una tarea concreta Así es como funcionan, por ejemplo, las máquinas expendedoras de bebidas. Una persona presiona el botón de café, el de leche y el de azúcar y la máquina se pone en marcha siguiendo un algoritmo – una sucesión de pasos- con el que fue programada, para resolver el problema que recibió: el café con leche y azúcar. (Harari, 2016) La IA tiene una influencia cada vez mayor en todas las dimensiones de nuestra vida: la salud, la educación, la comunicación, la cultura, el conocimiento, la información, el transporte, la economía, la seguridad y la ciencia. Y sobre muchas de nuestras decisiones cotidianas. 15 La Inteligencia Artificial - ¿Necesitamos una nueva educación? La inteligencia artificial está integrada teléfono en el local no sabe que está hablando con una máquina. Es difícil no dejarse llevar por la magia del show, naturalmente a la vida diaria que no hace más que alimentar la fantasía de todo lo que podríamos hacer con una tecnología así. (Muro, 2018) Por ejemplo, cuando la cámara en una autopista reconoce Ahora bien, ¿cómo funciona la IA para arrojar resultados tan la matrícula de un automóvil; cuando se utiliza el GPS para precisos? encontrar el mejor camino; cuando llamamos por teléfono y una máquina busca resolver un problema; cuando las plataformas de contenidos recomiendan una película o una canción, o cuando el teléfono celular reconoce la huella digital Para que la inteligencia artificial pueda o el rostro de su propietario. La IA puede estar en nuestra desempeñar tareas humanas, necesita vida desde la mañana temprano: cuando le decimos al parlante inteligente a qué hora nos queremos levantar y nos recolectar y almacenar datos para luego recomienda qué ropa usar, según cómo va a estar el día. clasificarlos y organizarlos La IA actúa también cuando utilizamos traductores automáticos de lenguajes y cuando corrigen los errores en nuestra ortografía. La inteligencia artificial es empleada por A partir de ello, procesará esos datos, resolverá consignas, instituciones bancarias para organizar y manejar grandes tomará decisiones y arrojará resultados. La IA, entonces, cantidades de datos. Los médicos evalúan a los pacientes está alimentada de información, que almacena, analiza, y sus riesgos para la salud, con la ayuda de la inteligencia clasifica y ordena. artificial. Cuando tomamos una foto, el algoritmo de La IA está basada en datos. El sistema identifica patrones inteligencia artificial identifica y detecta la cara de la persona y y probabilidades en esos datos, los codifica, procesa y etiqueta a los individuos cuando publicamos las fotografías en organiza. Y genera un modelo. Ese modelo está diseñado nuestro perfil de la red social. para tomar decisiones y ofrecer respuestas a consignas En la salud, robots de IA amplían las capacidades físicas de los específicas. cirujanos y son de gran ayuda en una intervención quirúrgica. Así es como un sistema de IA en un buscador de Internet Los sistemas de inteligencia artificial pueden realizar es capaz de completar la palabra o la oración que estamos nuevos descubrimientos científicos y generar mejoras en la escribiendo. Así es también como, la IA puede decidir si economía. La IA cuenta, además, con una memoria superior un determinado cliente estará en condiciones de pagar un que les permite desarrollar cálculos a gran escala y mejorar la préstamo bancario, antes de que le sea otorgado. productividad en un trabajo. Esto fue, precisamente, lo que sucedió en el experimento llevado a cabo por el reconocido La inteligencia artificial funciona a través de algoritmos. instituto de tecnología norteamericano, Massachusetts Un algoritmo es un conjunto metódico de pasos, una serie Institute of Technology (MIT). de instrucciones lógicas que pueden emplearse para hacer cálculos, resolver problemas y tomar decisiones. Un algoritmo El MIT realizó un estudio para determinar si el ChatGPT, es un procedimiento para obtener un determinado resultado. un sistema de IA basado en el lenguaje, mejoraba la productividad en la elaboración de documentos. Para esto, Una receta de cocina es un ejemplo de algoritmo, en la los investigadores pidieron a 444 personas seleccionadas medida que sus pasos resuelven un problema (la comida que hicieran una tarea de escritura en línea. La mitad de que se quiere preparar). Por sí misma una receta no puede ellos recurrió a la IA, mientras que la otra mitad no la usó. Los hacer una sopa. Se necesita de una persona que la lea e investigadores descubrieron que las personas que utilizaron implemente los pasos que propone. Pero sí es posible fabricar ChatGPT escribieron más rápido y mejor que las personas que una máquina de inteligencia artificial que incorpore este no lo usaron. Los resultados mostraron que la IA aumentó algoritmo y que, de forma automática, prepare la sopa. sustancialmente la productividad, disminuyendo el tiempo tomado y mejorando la calidad del trabajo. (Vilas, 2023) Los GPS, los traductores automáticos de idiomas y los teléfonos celulares que reconocen huellas digitales son Existen máquinas que llaman por teléfono y hacen una sistemas de inteligencia artificial que –como las expendedoras reserva en un restaurant. Suena como una conversación de bebidas- han sido alimentados por datos y organizados en entre dos personas —con inflexiones en el tono, dudas e algoritmos para desarrollar una acción concreta: indicarnos el incluso una pizca de informalidad. Y así, quien atiende el mejor camino, traducir un texto o desbloquear una pantalla. 16  La Inteligencia Artificial - ¿Necesitamos una nueva educación? Los algoritmos son utilizados según Los peces estaban tan acostumbrados a su medio, que nunca se interrogaron sobre él. Lo mismo parece sucedernos a diferentes objetivos. Uno de los más nosotros con la inteligencia artificial. Está tan incorporada frecuentes es predecir comportamientos en nuestra vida, que pocas veces reparamos en ella. Y mucho menos, la interrogamos. Esta naturalización, sin embargo, no nos ayuda a Así es como el algoritmo diseñado por Netflix nos sugiere ver comprenderla. Lejos de la idealización, necesitamos tomar una determinada serie o película. Así es como el algoritmo distancia y analizar su funcionamiento. diseñado por Spotify nos recomienda un artista o una canción. En estos casos, el algoritmo procesa la información de un usuario en particular sobre sus gustos fílmicos o musicales y sugiere –o predice- que cierta película o cantante serán de su interés. Necesitamos aprender a preguntarnos Más recientemente, sistemas de IA basados en el lenguaje, por la manera en que la IA y los son capaces de responder a nuestras dudas, inquietudes, preguntas y consignas. Estos sistemas, alimentados algoritmos fueron diseñados con millones de textos, son incluso capaces de generar redacciones nuevas, siempre a partir de los textos que hayan entrenado al sistema y respondiendo a consignas precisas de Necesitamos evaluar cómo actúa e impacta. Y explicitar el los usuarios. mecanismo por el cual la inteligencia artificial toma decisiones que afectan directamente nuestra vida. Nos impresiona cuando la IA nos recuerda tomar un medicamento; cuando nos organiza el itinerario de una ciudad No podemos caer en un tecno chauvinismo basado en la que no conocemos o cuando nos ayuda con el diseño de un creencia de que la tecnología siempre ofrece soluciones formulario que no sabemos cómo armar. Sentimos que la IA a lo que buscamos o necesitamos. (Broussard, 2019). Es es una interlocutora confiable, casi una amiga, que interactúa importante, sin duda, reconocer los valiosos aportes de la con nosotros amablemente, que nos aconseja, nos resuelve IA en la vida cotidiana. Como dijimos, tiene el potencial problemas, nos recomienda opciones y nos ayuda a tomar de ayudar a superar enfermedades graves, desarrollar decisiones. medicamentos que salvan vidas y explorar soluciones para la crisis ambiental. Estamos tan entusiasmados con los resultados de estas máquinas o sistemas que nos maravillamos cuando vemos sus Pero, no podemos naturalizar su presencia. Ni idealizar su resultados, hablamos sobre sus “increíbles” beneficios y con accionar. Necesitamos analizar las dimensiones éticas de su frecuencia, los idealizamos. funcionamiento y de su diseño. Es difícil no sorprenderse por la Hay límites en lo que deberíamos “magia” de la inteligencia artificial hacer con la tecnología y, ciertamente, hay límites en lo que la tecnología La IA está tan incorporada a la vida diaria que damos por debería hacer con los usuarios normal su accionar y brindamos por su existencia. Esta presencia tan cercana en nuestras vidas recuerda una historia que sirve para comprender qué sucede cuando naturalizamos Para asegurarnos de que los sistemas de inteligencia artificial un hecho o una situación tan cotidiana: estén siempre al servicio de las personas, las sociedades y el medio ambiente. (UNESCO, 2021) Dos peces jóvenes nadaban juntos cuando de repente se encontraron con un pez viejo, que los saludó y les dijo, Porque -como señala Harari (2023)- ¿qué importa el "Buenos días, muchachos ¿Cómo está el agua?" Ninguno rascacielos de beneficios de la inteligencia artificial, si los respondió. Los dos peces jóvenes siguieron nadando un cimientos se pueden derrumbar? De estos riesgosos cimientos rato, hasta que uno de ellos miró al otro y le preguntó, precisamente, hablarán los próximos capítulos. "¿Qué es el agua?” 17 La Inteligencia Artificial - ¿Necesitamos una nueva educación? ¿Por qué preocupa? El mundo no solo habla de la inteligencia artificial. También se preocupa. 1. Discriminación y Desigualdad Lejos de la visión idealizada, surgen nuevas llamadas de atención. El potencial de la IA en la vida cotidiana de las personas ha despertado, sin duda, una enorme fascinación. Pero no todo es admiración. La manera en que la inteligencia artificial está diseñada y el modo en que funciona han generado señales de alerta y preocupación en todo el mundo Para poder comprender qué es exactamente lo que preocupa de estos sistemas, analicemos primero de qué manera funcionan. La inteligencia artificial, como explicamos, se alimenta de datos. Los almacena, clasifica y organiza. Y a partir de ello, crea modelos, responde consignas, toma decisiones y arroja resultados. El siguiente ejemplo explica de manera simple, cómo funciona la IA y cuáles son los riesgos que un diseño incorrecto, puede generar. Imaginemos que queremos construir un sistema de inteligencia artificial que diferencie manzanas de naranjas. Necesitaremos alimentar el sistema con datos. Si todas las imágenes de entrenamiento que usamos son de manzanas rojas y ninguna verde, entonces es posible que el sistema de aprendizaje automático deduzca que todas las manzanas son rojas. Debido a la manera en que fue entrenado este sistema, una manzana verde no será reconocida como manzana. El conjunto de datos de entrenamiento son el núcleo a partir del cual la mayoría de los sistemas de IA hace inferencias. (Crawford, 2022) La IA responde a la consigna (diferenciar manzanas de naranjas) a partir de los 18  La Inteligencia Artificial - ¿Necesitamos una nueva educación? datos con los que se la ha entrenado. Y si solo fue alimentada con para cada puesto. Pero en el camino, Amazon se encontró imágenes de manzanas rojas, las verdes nunca serán identificadas con un problema mayor: un claro resultado discriminatorio como manzanas. hacia las mujeres. Aun cuando este ejemplo no parece generar un riesgo Es cierto que la falta de diversidad en el personal de Amazon elevado -suena más a un simple error sin consecuencias existía con anterioridad a la creación del sistema inteligente: demasiado graves- resulta útil para reflexionar sobre casi todos los trabajadores de la empresa eran hombres. los sistemas de IA que, aplicando la misma lógica que el La IA, sin embargo, reproducía esa inequidad, y no dejaba algoritmo de las manzanas verdes y rojas, pueden generar ninguna posibilidad de cambio hacia el futuro. Quienes problemas mucho más serios. diseñaron el sistema habían creado un modelo que mantenía la desigualdad para la incorporación de nuevo personal. En el año 2014, la empresa Amazon decidió automatizar el proceso de recomendación y contratación de personal. Las prácticas de contratación del pasado y del presente, Querían que una máquina a la que le dieran cien currículos, estaban dando forma a herramientas de contratación del devolviera los cinco mejores para contratar. Rápidamente futuro. El resultado es una máquina de discriminación que apareció un grave problema: el sistema de IA que habían se perpetúa amplificando las desigualdades sociales bajo el diseñado los programadores de Amazon no seleccionaba disfraz de una neutralidad técnica. (Crawford, 2022) mujeres. Relegaba aquellos currículos de candidatas que Este no es el único ejemplo de IA que arroja resultados habían asistido a universidades para mujeres e incluso discriminatorios. marginaba a currículos que incluyeran la palabra mujer. (Crawford, 2022) Un análisis del periódico norteamericano Wall Street Journal descubrió que cuando los clientes hacían sus compras por El modelo estaba claramente sesgado contra las mujeres Internet en la librería Staples.com, pagaban precios diferentes ¿Qué había pasado para que ningún currículo de mujer fuera por una simple abrochadora, según el código postal que recomendado por el sistema? Algo fallaba en los datos con los incluían cuando se registraban en el sitio web del negocio. que la IA había sido entrenada para responder a la consiga que había recibido. Investigadores de la North-eastern University en Estados Unidos, descubrieron que a los clientes de la tienda Homedepot.com (en Sucede que la gran mayoría de los ingenieros contratados su página on line) se les ofrecían precios diferentes según si los por la empresa a lo largo de diez años habían sido hombres, usuarios navegaban por el sitio web desde un celular o desde una por lo que los modelos que ellos mismos habían creado, computadora de escritorio. (Broussard, 2019) estaban entrenados con los currículos de hombres. Así, habían aprendido a recomendar solo la contratación de hombres. (Crawford, 2022) Si la información que había alimentado al sistema se basaba Algunos sistemas de inteligencia artificial en currículos de hombres, parece lógico que la IA no han generado, incluso, resultados que reconociera currículos de mujeres. reflejan graves sesgos raciales Lo mismo que pasaba antes con las En 2017, se volvió viral un video de una máquina expendedora de manzanas verdes, sucedía ahora con jabón en baños públicos, que funcionaba perfectamente cuando una persona blanca colocaba su mano debajo de la máquina. la población femenina. Lo que no se Sin embargo, cuando la mano de una persona negra, repetía el incluye en los datos que entrenan a la mismo gesto, la expendedora no le ofrecía el jabón. La situación se ensayó varias veces y la máquina respondía siempre con el inteligencia artificial, no se reconoce, mismo resultado: arrojaba jabón para la mano blanca y lo negaba se ignora o se rechaza para la mano de una persona negra. El sistema de IA, diseñado a partir de datos incompletos y erróneos, arrojaba resultados sesgados y racistas. El sistema había sido creado para ahorrarle tiempo al área En el año 2015, un ingeniero informático negro tuiteó que de Recursos Humanos, de modo que la empresa no tuviera el sistema de inteligencia artificial de Google Fotos, había que leer los cientos o miles de currículos que le llegaban etiquetado fotografías suyas y de sus amigos como “gorilas”. 19 La Inteligencia Artificial - ¿Necesitamos una nueva educación? En el año 2018, Google removió la caracterización “gorila” de arroje un modelo sobre el cual aprobar o rechazar pedidos de su base de datos de inteligencia artificial. (Monteiro, 2019) préstamos bancarios futuros. El diario británico The Guardian publicó que las inteligencias En EEUU se descubrió rápidamente el problema que generaba artificiales que se dedican a interpretar el lenguaje, suelen este sistema de inteligencia artificial creado especialmente para mostrar claros favoritismos hacia la cultura europea. Asocian los bancos. En virtud de que los datos que alimentaban la IA palabras placenteras a nombres europeos, mientras los vocablos se basaban en quienes ya habían recibido créditos en el banco africanos son asociados a palabras de connotación negativa o no -la mayoría de ellos personas blancas y de un nivel económico placenteras. Del mismo modo, las palabras “mujer” y “femenina” medio- las personas negras, los indígenas y los más pobres -afirmaba el periódico inglés- eran asociadas en Internet a seguían siendo rechazados cuando solicitaban préstamos. ocupaciones vinculadas al arte y a las humanidades, mientras que Precisamente porque en el pasado, casi ninguna de estas los vocablos “hombre” y “masculino” eran asociados a profesiones personas había accedido a un crédito. (Broussard, 2023) relacionadas con las matemáticas y la ingeniería. En esta misma línea, cuando se quiso probar un algoritmo recientemente diseñado, los resultados obtenidos La IA perpetuaba una desigualdad, en sorprendieron a sus creadores. Esto fue lo que sucedió. un círculo casi imposible de quebrar Se le planteó al sistema, diferentes ecuaciones para que las resolviera: Quizás uno de los aspectos más difíciles de comprender en este caso es que, el cliente a quien se le negó el préstamo, nunca sabrá El hombre es a un rey lo que la mujer es a X por qué se rechazó su solicitud y tampoco podrá imaginar que fue un sistema de IA el que tomó la decisión en base a un diseño y un X = reina (indicó el algoritmo) modelo sesgado. En el 2023, la organización norteamericana de derechos humanos Paris es a Francia lo que Tokio es a X Human Rights Watch reveló que un algoritmo financiado por el Banco Mundial para determinar qué familias deben recibir ayudas Japón (señaló el algoritmo) económicas en Jordania excluye a quienes realmente reúnen los requisitos. El sistema, denominado Takaful, clasifica a las familias que solicitan ayuda de menos a más pobres mediante un Hasta allí, todo iba bien. El problema apareció con la última cálculo según 57 indicadores socioeconómicos. Sin embargo, los ecuación: solicitantes afirman que el cálculo no refleja la realidad y simplifica en exceso la situación económica de las personas, a veces de forma inexacta o injusta. Human Rights Watch detectó varios problemas fundamentales en el algoritmo, que dieron lugar a El hombre es a programador informático sesgos e imprecisiones. Por ejemplo, se pregunta a los solicitantes lo que la mujer es a X cuánta agua y electricidad consumen, como dos indicadores del X = ama de casa (dijo el algoritmo) sistema de clasificación. Los autores del informe concluyen que estos no son necesariamente indicadores fiables de la pobreza. Algunas familias entrevistadas creían que el hecho de poseer un coche afectaba a su clasificación, aunque este fuera antiguo y Evidentemente, los datos que entrenaron al algoritmo no habían necesario para llegar al trabajo. incluido programadoras mujeres y esta ausencia es la que generó un resultado discriminatorio. Los sesgos en los que puede incurrir El informe asegura finalmente: "Este barniz de objetividad la inteligencia artificial afectan negativamente la vida de las estadística enmascara una realidad más complicada: las presiones personas. El siguiente ejemplo es una clara muestra de ello. económicas que soportan las personas y las formas en que luchan por salir adelante suelen ser invisibles para el algoritmo". (Ryan- Los bancos diseñan algoritmos para que sistemas de IA puedan Mosley, 2023) realizar predicciones sobre a quién se les puede otorgar préstamos y a quién se les debería negar. Como sucedía con Los sesgos y discriminación también pueden reflejarse en los Amazon y sus currículos, en este caso los bancos alimentan la IA sistemas de reconocimiento facial. Mi experiencia personal en con datos e información de personas que ya recibieron créditos el aeropuerto de Buenos Aires es insignificante (aunque fuera en el pasado y le piden al sistema que los clasifique, procese y que atemorizante en ese momento para mí) comparada con lo 20  La Inteligencia Artificial - ¿Necesitamos una nueva educación? que pueden sufrir las víctimas de este sistema de IA en otras Y está muy lejos de la neutralidad técnica con la que, con situaciones. frecuencia, se la quiere asociar. Agencias de seguridad como la Transportation Security Los sistemas de IA no son solo números matemáticos. Son Administration en Estados Unidos, desarrolló un programa también actores sociales. Y los algoritmos no son inmunes (SPOT) para monitorear expresiones faciales de los viajeros al problema de la discriminación y el prejuicio. A pesar de su en los años que siguieron al 11 de septiembre, en un intento insistencia de objetividad y neutralidad, connotan, construyen por detectar terroristas “automáticamente”. El sistema usa 94 significados y, con frecuencia, toman decisiones controversiales. criterios que supuestamente son señales de stress, miedo o (Pasquale, 2016) engaño. Sin embargo, cualquiera que estuviera estresado, que se sintiera incómodo al ser interrogado, o que hubiera Como vimos, todo depende de los datos con los que la tenido experiencias negativas con la policía o con los inteligencia artificial haya sido entrenada. Estos diseños controles fronterizos, podía estar en desventaja y obtener una dependen de las decisiones e intenciones de la empresa que los puntuación más alta. Los sistemas de reconocimiento facial haya solicitado. pueden ser riesgosos porque los datos que los entrenan son El conjunto de datos de entrenamiento son el núcleo a partir del muy limitados. Y porque son solo una “foto” del momento, que cual la mayoría de los sistemas de IA hace inferencias. Funcionan ignora completamente los contextos. (Crawford, 2022) como la fuente primaria de las predicciones. Los datos de entrenamiento son los cimientos. Crean los límites sobre cómo la inteligencia artificial puede ver el mundo. Y pueden incurrir en La IA, como se ve, incide fuertemente serias incongruencias cuando simplifican el mundo. Sobre todo, porque los sistemas de aprendizaje automático están diseñados en la cotidianeidad de las personas para hacer generalizaciones. (Crawford, 2022) El problema aparece cuando las categorías de un sistema de inteligencia artificial no se refieren a manzanas y naranjas, Muchas veces reproduciendo desigualdades y perpetuando sino a clasificaciones y etiquetas discriminatorias, que inciden la inequidad. Define la aprobación de una visa para entrar a directamente sobre la vida de las personas. En estos casos, la un determinado país, la aceptación o el rechazo de un crédito IA termina ofreciendo una visión del mundo simplificada, que bancario, la selección de un candidato para un empleo, el refuerza prejuicios y estereotipos. otorgamiento de una beca estudiantil o la asignación de un subsidio social a personas de bajos recursos. Debido a esta incidencia, precisamente, es tan grave que la IA se alimente de datos incompletos o erróneos, que puedan generar resultados discriminatorios. La inteligencia artificial, queda claro, no es neutra Estos sesgos fueron reconocidos por 193 países de todos los continentes, que firmaron en el 2021, la Recomendación elaborada por la UNESCO sobre la Ética de la Inteligencia Artificial. Los algoritmos son entrenados con una población inicial. Muchas “Las tecnologías de la IA -dice el documento acordado- veces, como vimos, la información de esa población, que sirve pueden ser de gran utilidad para la humanidad y todos los para calibrar el algoritmo, está sesgada y los resultados son países pueden beneficiarse de ellas. Sin embargo, también erróneos y discriminatorios. suscitan preocupaciones éticas fundamentales. Por ejemplo, en relación con los sesgos que pueden incorporar y exacerbar, Si la IA arroja como conclusión que las personas no aptas para lo que puede llegar a provocar discriminación, desigualdad, recibir un crédito bancario, pertenecen siempre a un determinado brechas digitales y exclusión y suponer una amenaza para género, clase social, edad o ideología, estará discriminando. la diversidad cultural, social y biológica, así como generar Un estudio norteamericano demostró que cuando buscan divisiones sociales o económicas.” (UNESCO, 2021) ofertas laborales en la web, los estudiantes de universidades de elite reciben propuestas que nunca reciben ni llegan a conocer quienes cursaron en otras universidades. Al mostrar La IA, cuando está diseñada en base a unas oportunidades y bloquear otras, el algoritmo influye en las decisiones y ocupaciones futuras de estos alumnos. datos erróneos o limitados, reproduce y confirma inequidades 21 La Inteligencia Artificial - ¿Necesitamos una nueva educación? La inteligencia artificial ofrece maneras Al día siguiente de que la red social censurase la difusión de la icónica foto, el redactor jefe del periódico noruego, Espen Egil de ver y comprender el mundo Hansen, utilizó la primera plana del diario para dirigirse a Mark Zuckerberg en una carta abierta. No es posible pensar la inteligencia artificial sin "Querido Mark Zuckerberg -decía Hansen en su carta. Estoy preguntarnos cómo fue diseñada y cómo funciona. escribiendo estas líneas para informarle que no voy a cumplir Necesitamos analizar la dimensión ética de los algoritmos, con su solicitud de retirar la fotografía documental de Vietnam el modo en que fueron construidos, su particular forma de tomada por Nick Ut en 1972. No lo haré ni hoy ni en el futuro. clasificar y etiquetar la realidad. Me preocupa que el medio más importante del mundo esté limitando la libertad en lugar de extenderla, y que esto ocurra Porque estas clasificaciones siempre encierran valores, de un modo autoritario". y, cuando discriminan, sus sesgos nos proponen mirar y evaluar el mundo bajo esa lupa. El hecho motivó que otras personas y otros medios del país siguieran el ejemplo de Egeland. Todos ellos fueron rápidamente conminados por Facebook a retirar la imagen, argumentando la prohibición que impone la compañía de 2. Decisiones arbitrarias difundir desnudos en sus páginas. En septiembre del 2016 el escritor noruego Tom Egeland compartió en su página de Facebook una famosa foto, El tema llegó incluso a movilizar a la que fue tomada durante la guerra de Vietnam en 1972. La imagen muestra a una niña desnuda de 9 años huyendo primera ministra noruega, Erna Solberg, del bombardeo con napalm realizado en su aldea por el quien escribió en su cuenta de esa ejército de Estados Unidos. La fotografía, que fue tomada por el reportero de la agencia AP, Nick Ut, ganó el Premio misma red social: Pulitzer y es una de las imágenes más memorables del siglo XX. La foto "La niña del Napalm", se convirtió en un símbolo mundial de los horrores de la guerra, al exhibir "Facebook comete un error por censurar fotos así -afirmó su dimensión más cruel: el sufrimiento que deben vivir y Solberg. Hablamos de una imagen que ha contribuido a la sufrir los niños. El escritor noruego la había posteado en la historia universal, la imagen de una niña aterrorizada que red social para hablar precisamente de ello. huye de la guerra". La primera ministra, además, acompañó sus palabras con la mítica fotografía. Y hacia el final concluyó: “Actos así contribuyen a limitar la libertad de expresión". El algoritmo de Facebook, detectó el Tras una reacción social abrumadora, la compañía finalmente rectificó su actitud, volvió atrás con su decisión, y restableció desnudo de la niña huyendo, identificó el tanto las imágenes censuradas, como las cuentas eliminadas contenido como inadecuado y suspendió de todos aquellos que habían posteado la fotografía "La niña del napalm". el perfil de Egeland por publicar la foto Esta historia es un ejemplo claro -y grave- de las decisiones arbitrarias y riesgosas que pueden tomar algoritmos y sistemas de inteligencia artificial. La actitud de la empresa tecnológica indignó a toda la sociedad nórdica, que la catalogó inmediatamente como un acto de censura. Aftenposten, uno de los periódicos más leídos de Noruega, Lejos de toda neutralidad, estos también se hizo eco de la protesta social. Siguió el ejemplo del sistemas son diseñados siguiendo escritor y decidió compartir la imagen de "La niña del Napalm" en el perfil del diario. A las pocas horas, el medio recibió un determinados patrones. Y sus decisiones correo electrónico de Facebook pidiéndole que retirara la pueden afectar -como se ve en este caso- imagen. a la misma democracia 22  La Inteligencia Artificial - ¿Necesitamos una nueva educación? Algo similar sucedió con Instagram en relación al afiche que al sitio web de “Stormfront” – un movimiento neonazi integrado promocionaba la película “Madres paralelas” del cineasta español por –como ellos mismos se definen- “blancos nacionalistas” y Pedro Almodóvar. El filme cuenta la historia de dos mujeres, Janis que exhibía un artículo titulado “Las 10 razones por las que el y Ana, que coinciden en la habitación de un hospital donde van a Holocausto nunca sucedió”. (Cadwalladr, 2016) dar a luz. En el afiche promocional podía verse un pezón del que se desprendía una gota de leche. Instagram eliminó todas las publicaciones que exhibían el La mayoría de las personas suelen utilizar afiche, incluyendo las de su propio diseñador, por calificarlo de “contenido erótico o pornográfico”. El autor del cartel, Javier Jaén, el primer link que encuentran cuando volvió a compartir la imagen en sus redes sociales y se refirió a la formulan una pregunta al buscador eliminación de la que había sido objeto. “Es la primera imagen que yo vi cuando nací -expresó el diseñador. Una empresa como Instagram me ha dicho que No exploran un segundo o tercer sitio web que les permita mi trabajo es peligroso, que la gente no debería verlo, que es comparar diferentes contenidos o puntos de vista. Los usuarios pornográfico y que hay que proteger a las personas de este cartel.” suelen creer que quien figura en el primer lugar de la lista, es quien más autoridad y trayectoria tiene para hablar de ese tema. En su defensa, Instagram alegó que la tecnología no sabe Sin embargo, con frecuencia, quien figura en primer lugar, es reconocer el contexto. Un argumento que no puede servir de quien pagó para figurar primero. excusa para legitimar la prohibición. El algoritmo de Google fue diseñado para jerarquizar y rankear los sitios web de acuerdo a intereses económicos y comerciales propios, que no siempre coinciden con los intereses de los Si el algoritmo no sabe reconocer el usuarios. contexto, deberá ser entrenado de Google suele hablar de la neutralidad de su funcionamiento. otra manera Argumenta que solo nos “muestra” lo que existe. Instagram pidió disculpas y restituyó las publicaciones Sin embargo, al jerarquizar y priorizar autorizando que el afiche se difundiera en la red social. Pero la decisión que tomó en el inicio, como en el caso de Facebook contenidos, está tomando decisiones, y el escritor noruego, no solo afectaron a una persona, a una que ya no son objetivas fotografía o a una película. Si tenemos en cuenta que la mayoría de los usuarios se Ha sido, como dijimos, un riesgo para queda con el primer link que encuentra -en este caso el de un movimiento neo nazi- es fácil pensar en los riesgos la democracia y para las libertades que ocasiona una jerarquización regida por parámetros públicas e individuales económicos. Alcanza con que una persona tome por cierto que el Holocausto nunca existió, para que la jerarquización y el “El Holocausto nunca sucedió. Al menos eso es lo que parece en el ranking de Google se conviertan en un serio motivo de universo de Google.” preocupación. De esta manera comenzaba su artículo, la periodista Carole Google contribuye a crear un mundo no solo a mostrarlo. No Cadwalladr del reconocido periódico británico The Guardian. revela los métodos para sus decisiones y rankings. Sin saber cómo Ella contaba en la nota su pequeño experimento: había tipeado funciona el algoritmo de Google cuando jerarquiza los sitios en el buscador “¿Sucedió el Hol…?” que Google completó web, no podemos evaluar si actúa para ayudar a los usuarios o automáticamente con la frase “¿Sucedió el Holocausto?”. El si arroja resultados tendenciosos que responden a sus intereses buscador la remitió rápidamente a una lista de páginas on line. El comerciales. Es fácil para la compañía ocultar contenidos que primer link que apareció–explicaba la periodista- correspondía prefiere que los usuarios no veamos.” (Pasquale, 2016). 23 La Inteligencia Artificial - ¿Necesitamos una nueva educación? Esto es muy cierto. Para ello es suficiente con incluirlo en el Los datos son información y la décimo lugar del listado, al que las personas nunca llegan. información es la huella digital. Los sistemas de inteligencia artificial en los navegadores y en las redes sociales toman decisiones diariamente por y para No solo en las búsquedas por Internet cada uno de nosotros. Sobre lo que podemos o no podemos dejamos huellas compartir y sobre lo que podemos y no podemos ver. También, en la música que escuchamos, en las películas que Inciden en nuestra manera de mirar la vemos, y, sobre todo, en las redes sociales, donde las personas cuentan sus vidas con palabras e imágenes. La gente expone realidad, ofreciéndonos selecciones allí su intimidad y no hay nada que la mantenga en secreto. y jerarquizaciones que influyen La vida privada se ha desplazado a la web y se instala en el espacio público. y moldean nuestra percepción y La sociedad de hoy valora la auto exhibición. En el siglo comprensión del mundo XXI, para muchos, la meta es ver y, sobre todo, “ser visto”, mostrarse, exhibirse. La visibilidad es la prueba de existencia en Internet. En la web, las personas sienten la exigencia La inteligencia artificial toma decisiones por nosotros. Ahora bien de estar siempre conectadas y ubicables. Las tecnologías ¿cómo decide el sistema de Netflix la película o serie que nos generaron un nuevo orden, basado en un principio de recomienda? ¿De qué manera Amazon elige qué libros priorizar visibilidad. (Sibilia, 2008) en nuestras búsquedas? ¿Por qué Facebook y Twitter destacan en nuestro perfil algunas historias y noticias, antes que otras? La nueva consigna en el siglo XXI parece ser: “si experimentas algo, regístralo. Si registras algo, súbelo. Si subes algo, compártelo.” Las De estas decisiones, precisamente, hablaremos en el próximo personas suelen pensar: ¿qué sentido tiene hacer o experimentar capítulo. algo si nadie se entera y si no aporta algo al intercambio global de información? Las pantallas multiplican las posibilidades de mostrarse. “Muestro, luego existo” –podría ser la gran motivación 3. Huellas y burbujas digitales en este milenio. (Harari, 2016) Mi casa está ubicada a pocos metros de un supermercado. Cuando una persona utiliza Internet, dibuja siempre una Con frecuencia, visito el sitio web de la tienda para ver las huella digital. La huella digital es la marca que deja cada ofertas y saber si me conviene ir un día u otro. Entro en usuario en cada actividad que desarrolla en la web: páginas Google, tipeo las primeras tres letras del supermercado y sitios que visita, videos o fotos que ve, crea y comparte, -con eso alcanza ya que el buscador completa la palabra- comentarios que hace, amigos que contacta, búsquedas que y miro las ofertas. Mi recorrido virtual dura entre diez y realiza, publicaciones que lee, música que escucha, películas o quince minutos. series que mira. Esos minutos parecen alcanzar para que el buscador Para muchos, la identidad digital es aún más reveladora que registre mi interés por la tienda y tome nota de él. Por eso, la real, en la medida en que refleja los verdaderos intereses cuando abro la página web del periódico que suelo leer, e inquietudes de la persona, lo que realmente desea, lo que no me sorprende ver al pie de mi pantalla una publicidad la motiva a realizar una búsqueda específica en Internet. con el nombre del supermercado y las promociones del (Stephens, 2019) día. Ya no es necesario que yo tipee el nombre de la tienda La huella digital es pública. Cualquiera la puede ver. Y es muy y entre a su sitio. El anuncio del supermercado aparece difícil de borrar. Puede quedar allí para siempre. “mágicamente” cuando abro el portal del diario o cuando busco cualquier otra información. ¿Es magia realmente? ¿Qué sucedió? Nuestras huellas digitales son La inteligencia artificial, como explicamos, se nutre de datos. En este caso, se alimentó con mis propios datos. registradas y grabadas. Y alguien -las Los que yo dejo diariamente en la web cuando busco las empresas tecnológicas- las observa, ofertas del supermercado. toma nota, las aprovecha y utiliza 24  La Inteligencia Artificial - ¿Necesitamos una nueva educación? Las compañías de tecnologías incentivan y promueven esta lo tanto, uno de los recursos más valiosos que la mayoría de las visibilidad, porque sus algoritmos y sistemas de inteligencia personas ofrecen cuando navegan en Internet. Casi todos los artificial se nutren de las huellas que dejamos en la web. usuarios están dispuestos a ceder sus datos, a cambio de contar El lema de YouTube es, justamente, “grábese usted mismo” con servicios digitales “gratuitos”. (Cobos, 2019). (“broadcast yourself”). La gente elige ceder información privada a cambio de alguna Redes de sensores, cámaras en las calles y cookies en los sitios web gratificación, ya sea que se trate de mejorar su estado físico o registran cuán rápido manejamos, qué libros leemos, qué páginas estar en contacto permanente con amigos y familia. Los riesgos visitamos, qué información buscamos, qué hobbies tenemos, son mucho menos visibles que los beneficios personales qué medicamentos tomamos… Las compañías de tecnología inmediatos. Las redes sociales demuestran que la gente comparte tienen conocimiento del minuto a minuto de nuestras vidas. Y, sin voluntariamente fotos, ubicaciones y detalles personales a cambio embargo, nosotros no sabemos nada sobre cómo ellas utilizan de aprobación social y “likes”. En el año 2019 las ventas globales de ese conocimiento para influir sobre las decisiones que nosotros los parlantes inteligentes alcanzó los 147 millones de unidades. y las empresas, toman cada día. Cuanto más confiamos en los Muchos de quienes los compraron no saben qué y cuánto de lo buscadores y redes sociales para encontrar lo que queremos y que hablan registra ese parlante y, sobre todo, para qué se utiliza necesitamos, más influencia sobre nuestras vidas ellos tienen. La esta información. (Darling, 2021) propiedad de incluir, excluir y jerarquizar es justamente su poder. El lema de las compañías parece ser: “cuéntenos todo. No sea tímido. Cuanto más nos cuente, mejor lo podremos ayudar. ¡Y no costará nada!” Excepto que es un mito. Por cada click que hacemos Las redes sociales y los motores de en la web, existen costos. (Pasquale, 2016) búsquedas reúnen un caudal importante Efectivamente, las huellas que dejamos en Internet son fuente y permanente de datos sobre el para una ganancia económica. Detrás de cada click hay una compañía de tecnología con un programa, un algoritmo y un comportamiento y la identidad de las sistema de inteligencia artificial calculando cómo utilizar mejor personas en Internet esa huella, cómo venderla a quiénes les interese, para ofrecer productos, servicios o ideas. Aun cuando ningún usuario los haya autorizado. Es un fluir constante de información. Alcanza con estar conectados –a través de una computadora, una tableta, un celular, un GPS, un reloj inteligente o cualquier otro dispositivo digital- La mayoría de las personas desconocen para que generen informaciones sobre los usuarios: qué les gusta, quiénes son, qué quieren ser, hacer y tener. (Cobos, 2019) cómo utilizan sus huellas, de qué manera Al conectarnos al ciber espacio, no solo accedemos a una definen su perfil e identidad digital información sin límites. Nos convertimos nosotros mismos en información. (Jasanoff, 2016) Casi nadie sabe que un “like” que clickeamos en Facebook puede Con las redes sociales y las apps gratuitas supimos que, impedir, en el futuro, el acceso a un trabajo. Las compañías cuando algo es gratis, el producto somos nosotros. A cambio de tecnología diseñan sistemas de IA que, en base a nuestros del servicio que nos brinda una empresa hacemos para ella propios datos, pueden recomendarnos una película o decidir si dos trabajos: cederle nuestra atención, para que sea vendida conseguimos un empleo. a la publicidad, y regalarle nuestros datos personales, que alimentan los algoritmos. Esto último está pasando otra vez Facebook define quiénes somos. Amazon define qué queremos. con los bots de inteligencia artificial, solo que a mayor escala y Google define qué pensamos. Y todas definen nuestras con condimentos nuevos. (Jalfin, 2023) oportunidades. (Pasquale, 2016) Si bien los usuarios no son conscientes del uso que las compañías Las actividades que una persona desarrolla en Internet suelen tecnológicas hacen de su información personal, no pueden estar ser estudiadas por algoritmos, para conocer mejor al usuario ajenos a este mecanismo. y ofrecerle servicios, productos e ideas acordes a su identidad digital. Por ello justamente, se dice que la gratuidad en Internet no Argumentar que no te importa el derecho a la privacidad porque existe El costo siempre lo asume alguien. Esa persona es el propio no tienes nada que ocultar, no es diferente a decir que no te usuario, que paga con el acceso a sus datos y a su vida privada importa la libertad de expresión porque no tienes nada que decir. los servicios digitales que recibe y utiliza. La información es, por (Stancanelli, 2020) 25 La Inteligencia Artificial - ¿Necesitamos una nueva educación? Todos los usuarios deberían conocer qué publicidades, en función de las búsquedas que ellos hayan hecho en Google o datos que hayan compartido en sus redes información de ellos tienen las empresas, sociales. Si, por ejemplo, relevaron información sobre Río de por qué la guardan, quién los autorizó y Janeiro, al leer su periódico o al hacer cualquier otra búsqueda on line, seguramente recibirán publicidades de agencias de de qué manera la utilizan turismo, vuelos, hoteles y excursiones relacionados con esta ciudad brasileña. Esto se debe a un mecanismo clave para los algoritmos y Ahora bien, ¿cuánto es posible que sepan de nosotros sistemas de inteligencia artificial que estudian los datos de los las compañías de tecnología, a partir de nuestros click en usuarios: la personalización. Internet? Mucho. Tanto, como para que puedan predecir nuestros comportamientos. La personalización en los resultados es fundamental para que las compañías puedan asegurar sus ingresos Luego de un estudio realizado entre casi 90 mil usuarios económicos. de una red social, el algoritmo desarrollado por la compañía, podía predecir las respuestas de las personas sin equivocarse. Se basaba para ello en los “me gusta” que los usuarios daban a páginas web, imágenes y videos a Cuanto más definido sea el perfil del los que estaban expuestos. La red social logró un mejor nivel de predicción de respuestas que quienes trabajaban usuario, más eficiente será el algoritmo y o convivían con estos usuarios. El algoritmo necesitó el sistema de inteligencia artificial solo 10 “me gusta” para superar las predicciones de los compañeros de trabajo. Necesitó 70 “me gusta” para superar a las de los amigos; 150 para superar las de los Y más lucrativa será la venta de su perfil a quienes le interese familiares y 300 para hacerlo mejor que los cónyuges. ese tipo de cliente. Un fabricante o comerciante de golosinas Netflix guarda información de millones de usuarios. pagará más por un listado de personas que hayan buscado Información sobre el género de filmes que prefieren, la la palabra “chocolate” en Google. Y eso es lo que la IA y el serie que ven, en qué momento del día eligen mirar, si las algoritmo tratarán de construir y vender. avanzan o retroceden en algún momento, cuánto demoran en terminarla y qué dispositivo usan para verla. Todo ello es información que la plataforma registra, guarda y utiliza. La personalización que arrojan El acceso a grandes datos se presenta hoy como la fuente de la verdad. La economía, por ejemplo, sostiene la necesidad algoritmos y sistemas de IA, finalmente, de acopiar datos sobre los deseos de las personas, para luego puede generar graves riesgos y transformar esos datos y deseos en decisiones. (Harari, 2016) problemas sociales: la creación de Las compañías acumulan montañas de nuevos conocimientos burbujas digitales extraídos de nosotros, pero no para nosotros. Zuckerberg alardeaba que Facebook llegaría a conocer todos los libros, las películas y las canciones que una persona hubiera consumido La burbuja digital es el universo formado por los en su vida, y que sus modelos predictivos nos dirían a qué bar resultados personalizados que reciben los usuarios cuando ir cuando llegáramos a una ciudad extraña. (Zuboff, 2020) navegan en Internet y que responden exclusivamente a Las huellas digitales se convierten entonces en el principal sus intereses. Las personas reciben así, solo contenidos ingreso económico de las compañías tecnológicas, que que les gustaría ver leer o escuchar, basados en suelen venderlas a quienes -privados o públicos- las soliciten. información de su historial de búsquedas y en sus click El supermercado que apareció con sus ofertas al pie de mi previos. Los usuarios dejan de recibir contenidos no pantalla cuando yo estaba leyendo el periódico, seguramente alineados con sus puntos de vista. Comienzan a vivir en pagó al buscador por mi perfil de usuaria y consumidora. burbujas y están conectados solo con quienes piensan como ellos, con similares gustos e intereses. Con el tiempo, Otros lectores que leyeran el mismo periódico digital podrían se fortalece lo que se llama sesgo de confirmación, la no ver al pie de su pantalla las ofertas de mi supermercado, tendencia de las personas a buscar y seleccionar en sobre todo si no viven cerca de él. Verán, en cambio, otras Internet solo información que confirma lo que ya piensan. 26  La Inteligencia Artificial - ¿Necesitamos una nueva educación? Las burbujas digitales impiden el Así es, precisamente, cómo funcionan los “feeds” informativos en las redes sociales. Las noticias que llegan a los perfiles intercambio de ideas entre personas de las personas por Facebook o Twitter responden a los que piensan diferente intereses que reflejan esos usuarios en su actividad on line. O a las inquietudes de sus amigos y contactos. Al informarse básicamente por las redes, las personas perciben y construyen una visión recortada de la realidad, basada solo en las Un universo poblado solo con nuestras mismas ideas, es inquietudes de sus contactos o en lo que el algoritmo de un territorio en el que no podemos aprender de quienes la red social decide que -por búsquedas previas- puede tienen visiones distintas. interesarle. Las burbujas excluyen a los que tienen puntos de vista diferentes y agrupan solo a quienes comparten las mismas ideas e inquietudes. Esto genera que los usuarios ignoren contenidos De esta manera, los algoritmos que que no se ajustan a sus posiciones. Se los aísla en burbujas que incluyen solo propuestas que coinciden con las propias. (Parisier, alimentan la IA fueron diseñados para 2017) mantener a las personas en las burbujas Las burbujas se oponen a la idea de diversidad. Ello limita digitales que cada uno forma con sus la capacidad de reflexión y de decisión, justamente porque las decisiones que se toman estarán basadas en única contactos y amigos en la red social perspectiva: la propia. En una burbuja, las personas solo reciben un limitado tipo Las burbujas digitales son un problema social grave porque de noticias, aquellas que están dentro de sus intereses. pueden dañar una democracia, que necesita de pluralismo, Esto genera que su condición como ciudadano informado, de diversidad y de ciudadanos que convivan con distintos consciente de los problemas sociales, se empobrezca. puntos de vista. Las burbujas construyen una sociedad más fragmentada que favorece la polarización social. A lo largo de estas páginas quisimos explicar de qué manera En una democracia participativa, las funcionan los algoritmos y los sistemas de inteligencia personas deben estar en contacto con artificial, y nos enfocamos en lo que sucede cuando sus usos carecen de transparencia. Nos referimos a los sesgos cuestiones sociales, aun cuando no y discriminación en sus resultados, cuando el diseño del hayan manifestado interés por ellas sistema es incompleto o equivocado. Hablamos de las decisiones -muchas de ellas arbitrarias- que toman las aplicaciones inteligentes y que afectan directamente nuestra vida. Explicitamos el mecanismo por el que las compañías de La desnutrición, la pobreza, el analfabetismo, la situación tecnología utilizan la información personal de los usuarios de los inmigrantes o de los discapacitados, pueden no para entrenar a los sistemas de IA. Y evaluamos los riesgos de ser inquietudes de la persona, pero son temas sobre la personalización y de la generación de burbujas digitales. los que necesita recibir información porque afectan a toda la sociedad. Poco importa si la persona no buscó En suma, quisimos analizar los usos no éticos de la inteligencia información sobre estos temas y si no tiene contacto artificial, que influyen negativamente sobre la vida y las con estos temas. De cualquier modo, necesita acceder decisiones de las personas. a noticias sobre estas cuestiones sociales, que son fundamentales para la democracia y la convivencia. Tal como explica la UNESCO, la falta de transparencia en las Los algoritmos no pueden decidir excluir temas tan herramientas de la IA genera que las decisiones que toma no importantes, solo porque la persona no manifestó interés siempre sean comprensibles para las personas. La inteligencia por ellos. artificial no es neutral y sus respuestas son susceptibles de resultados discriminatorios o sesgados. En un mundo complejo, todo incide en nuestras vidas. Aun cuando se trate de temas que no formen parte de nuestra esfera Por ello, la UNESCO plantea la necesidad de transparencia de interés inmediato. La democracia necesita de individuos e inteligibilidad del funcionamiento de los algoritmos y los capaces de pensar más allá de sus inquietudes personales. datos con los que han sido entrenados. Las preocupaciones (Parisier, 2017) éticas no deberían obstaculizar la innovación y el desarrollo, 27 La Inteligencia Artificial - ¿Necesitamos una nueva educación? sino ofrecer nuevas oportunidades y estimular una investigación y una innovación realizadas de manera ética que afiancen las tecnologías de la IA en los derechos humanos y las libertades fundamentales, los valores, los principios y la reflexión moral y ética. Para que el desarrollo y la utilización de esas tecnologías se guíen tanto por una