Fundamentos de la IA Generativa

Fundamentos de la IA Generativa

• El Dominio 2 cubre los fundamentos de la IA Generativa
• Se hablará sobre la inteligencia artificial y definiremos la IA generativa
• El Dominio 2 se divide en tres enunciados de tareas

Enunciado de Tarea 2.1

• Se explicarán los conceptos básicos de la IA generativa
• Se deben comprender las definiciones básicas y las diferencias entre la IA y la IA generativa
• Comprender los diferentes casos de uso de los modelos de IA generativa y el ciclo de vida del modelo fundacional.

Enunciado de Tarea 2.2

• Se cubrirán las capacidades y limitaciones de la IA generativa para resolver problemas empresariales
• Comprender cómo utilizar la IA generativa junto con las ventajas y los riesgos potenciales
• Entender las diferentes métricas y cómo seleccionar el modelo que satisfaga sus requisitos

Enunciado de Tarea 2.3

• Consiste en describir la infraestructura y las tecnologías de AWS para crear aplicaciones de IA generativa
• Asegurarse de que se entienden los servicios y características de AWS que se pueden utilizar para desarrollar aplicaciones de IA generativa
• Conocer las ventajas de utilizar la infraestructura de AWS y los servicios de IA generativa de AWS
• Conocer las compensaciones de costes para crear sus aplicaciones

Conceptos Fundamentales de la IA Generativa

• Los modelos generativos pueden transformar diversas áreas
• Sus conceptos básicos pueden aplicarse a un caso práctico
• La IA generativa es un subconjunto del Deep Learning y es el siguiente paso en la inteligencia artificial
• Al igual que el Deep Learning, la IA generativa es una tecnología polivalente que ayuda a generar nuevos contenidos originales en lugar de encontrar o clasificar los existentes
• La IA generativa se centra en la creación de nuevos contenidos, como texto, imágenes, audio, vídeo e incluso código
• La IA se centra en clasificar o hacer predicciones basadas en los datos que introduzcas para hacer predicciones
• Los modelos de IA generativa aprenden patrones y representaciones a partir de una gran cantidad de datos de entrenamiento
• Usan ese conocimiento para generar resultados que se asemejan a los datos de entrenamiento
• Utiliza modelos básicos que han sido entrenados con grandes cantidades de datos
• Buscan patrones estadísticos en modalidades, como el lenguaje natural y las imágenes
• Los modelos básicos son modelos de redes neuronales muy grandes y complejas con miles de millones de parámetros que se aprenden durante la fase de entrenamiento o preentrenamiento
• El tamaño de los modelos ha aumentado al aumentar el número de parámetros que se pueden entrenar
• Cuantos más parámetros tenga un modelo, más memoria tendrá, por lo que el modelo puede realizar tareas más avanzadas
• Se pueden utilizar estos modelos tal cual o aplicar técnicas de ajuste para adaptarlos a su caso de uso específico
• Los modelos son el núcleo de la IA generativa y se construyen con redes neuronales, recursos del sistema, datos y mensajes, todos trabajando juntos
• Cuando se crea un modelo, se entrena con el conocimiento que necesita para generar resultados únicos basados en lo que ha aprendido
• Los modelos toman los datos o el texto que se introducen y proporcionan una salida
• Este resultado es una suposición de cuál debería ser la siguiente palabra o token
• Ejemplo: El modelo puede generar un poema sobre un bosque en otoño tras ser entrenado con millones de ejemplos de texto e imágenes
• Al aprender de estos patrones, puede crear un nuevo poema que no existía antes pero que suena natural y coherente

Transformers

• Son la arquitectura principal detrás de estos modelos
• Los Transformers son un tipo de red neuronal que permite que los modelos de IA procesen grandes cantidades de datos y comprendan el contexto global del texto
• Se introdujeron en el artículo 'Attention is All You Need' en 2017, y revolucionaron el campo del procesamiento del lenguaje natural
• Cuando un modelo generativo recibe el prompt 'Escribe un poema sobre un bosque en otoño', utiliza su arquitectura de transformer para analizar cada palabra en el contexto de todas las demás
• Entendiendo cómo se conectan para crear un significado profundo y relevante
• El mecanismo de self-attention es uno de los componentes clave

Mecanismo de self-attention

• Permite que el modelo evalúe la importancia de cada palabra en relación con todas las demás palabras del texto
• En lugar de leer el texto de izquierda a derecha como un humano, el modelo puede 'prestar atención' a cualquier parte del texto mientras genera la salida
• En un poema sobre un bosque en otoño, si la primera línea del poema menciona 'hojas doradas', el mecanismo de self-attention permitirá que el modelo considere esta información al generar líneas posteriores
• Asegurando que términos relacionados como 'otoño', 'viento' y 'árboles' sean coherentes con el tema del poema
• Un transformer comprende el texto y aplica self-attention a través de los conceptos de tokens, tokenizadores y ventanas de contexto.
• Un 'token' es una unidad de texto procesada por el modelo, como una palabra o parte de una palabra
• El tokenizador es el componente que divide el texto en estos tokens para que el modelo pueda analizarlos
• La ventana de contexto es la cantidad de tokens que el modelo puede considerar a la vez cuando genera el siguiente token, manteniendo la coherencia

Embeddings y Vectores

• Los embeddings son representaciones numéricas que capturan el significado y las relaciones de las palabras en un espacio matemático de alta dimensión
• Permiten que el modelo entienda las similitudes entre palabras
• Los embeddings se representan como vectores, que son puntos en un espacio multidimensional
• Los vectores ayudan al modelo a calcular qué palabras están relacionadas entre sí
• Las palabras 'árbol' y 'bosque' tendrían embeddings que están cerca uno del otro en el espacio vectorial, porque están semánticamente relacionados en el contexto de la naturaleza
• Un embedding es como un multiverso lleno de coordenadas o vectores donde clasifica palabras, conocimientos, términos, etc
• Es la forma en que la red neuronal puede entender el lenguaje y catalogar los conceptos por proximidad entre ellos
• Los modelos de Machine Learning para generar poemas, encuentra e información con la que fue entrenada y codificándola usando el embedding
• Busca toda esta información o datos, los pasa por el embedding, los traduce en coordenadas o vectores
• Cuando se hace una pregunta al modelo la pregunta es traducida al espacio embedding y la buscará dentro de los datos con el cual fue entrenado
• Busca el significado de cada termino dentro de su embedding y las pasa a coordenadas o vectores que corresponden a cada palabra
• Una vez que el modelo tiene estos vectores, se guardan en una base de datos
• Codifica la pregunta o frase en embedding, es decir, convierte el texto en vectores o coordenadas, y luego le pregunta al sistema de base de datos si hay algo parecido dentro de sus datos
• La base de datos busca coordenadas o vectores cercanas a la frase o pregunta y devuelve el texto que coincide
• Se le conoce como búsqueda semántica porque permite buscar no solo palabras en sí, sino que palabras por significado, es decir, buscando cosas que sean algo parecido
• Un prompt es la instrucción inicial que se le da al modelo generativo para que sepa qué contenido debe generar
• La ingeniería de prompt implica diseñar cuidadosamente estos prompt para mejorar la calidad del contenido generado
• Especificidad del prompt al modelo
• El modelo entra en la fase de inferencia, donde realmente comienza a generar el contenido
• La inferencia es el proceso en el cual el modelo toma el prompt y genera el contenido, prediciendo la siguiente palabra o token basado en los tokens previos y el contexto global
• Durante este proceso, utiliza su conocimiento aprendido y el contexto proporcionado por el prompt para construir un poema coherente
• El ajuste fino implica entrenar el modelo con datos adicionales para optimizar su rendimiento en tareas particulares
• Permite personalizar un modelo generativo para casos de uso específicos

Modelos Fundacionales (FM)

• Los Modelos Fundacionales son modelos pre-entrenados en datos a escala de internet, lo que les permite ser extremadamente versátiles
• Pueden adaptarse para realizar múltiples tareas, desde la generación de texto hasta la creación de imágenes
• Sirven como punto de partida para desarrollar modelos más especializados
• La adaptabilidad los convierte en una herramienta poderosa en campos tan diversos como la interacción mediante chatbots y la respuesta a preguntas
• Ejemplos de Modelos: Google, OpenAl, Meta, Anthropic, etc
• Google fue uno de los primeros en marcar un hito con BERT, un modelo que transformó el campo del procesamiento del lenguaje natural
• BERT se entrenó utilizando una vasta cantidad de texto de la enciclopedia en línea Wikipedia, lo que le permitió aprender y entender el lenguaje humano con un nivel de profundidad y contexto sin precedentes
• Incorporó 340 millones de parámetros y fue afinado utilizando más de 3.3 mil millones de piezas de texto o tokens
• Proporcionó una comprensión excepcionalmente rica del lenguaje y sus variadas estructuras
• OpenAl lanzó GPT-3, un modelo aún más avanzado que BERT
• GPT-3 marcó un antes y un después en la capacidad de los modelos generativos por su magnitud y la profundidad de su entrenamiento
• Con más de 175 mil millones de parámetros y una base de datos de 45 terabytes, GPT-3 demostró una habilidad sin precedentes para generar texto que es casi indistinguible del creado por humanos
• Permite generar texto, automatizar respuestas en chats de servicio al cliente, facilitar la tutoría, ayudar a los desarrolladores a escribir y depurar código, y la traducción de idioma, etc
• La innovación ha trascendido más allá, extendiéndose también a la creación de imágenes y contenido visual, donde modelos como DALL-E han marcado un antes y un después
• DALL-E demuestra la capacidad de los modelos de IA para no solo procesar y entender grandes cantidades de texto, sino también para visualizar y materializar conceptos creativos en forma de imágenes
• Puede generar representaciones visuales a partir de descripciones como 'un zorro pintado en el estilo de Van Gogh'
• Modelo multimodal BERT y DALL-E han sido entrenados con enormes cantidades de datos permitiendo realizar una amplia gama de tareas
• Desde la generación de texto y la comprensión del lenguaje hasta la creación de imágenes detalladas a partir de descripciones textuales
• Su capacidad para adaptarse a diferentes aplicaciones sin necesidad de entrenamiento específico para cada tarea los convierte en herramientas poderosas y versátiles

Modelos Multimodales

• Existen 2 categorías principales de modelos: unimodales y multimodales
• Los modelos unimodales como los grandes modelos de lenguaje, LLMs, se concentran exclusivamente en el texto
• Los modelos multimodales son capaces de entender y generar más de un tipo de datos, como imágenes, videos, y audio, permitiendo ofrecer soluciones más robustas y versátiles
• GPT-3 y BERT son modelos unimodales
• Los modelos multimodales funcionan integrando y procesando múltiples formas de información, reflejando la complejidad y riqueza de la interacción humana con el mundo
• Una aplicación común es el subtitulado de imágenes, donde el modelo observa una imagen y genera una descripción textual precisa de su contenido
• Responder a preguntas basadas en el contenido visual de una imagen
• La síntesis de texto a imagen, que consiste en generar imágenes a partir de descripciones textuales
• Modelos como DALL-E, Stable Diffusion y Midjourney pueden crear imágenes realistas y diversas a partir de indicaciones de lenguaje natural
• Los modelos multimodales representan un avance significativo en la inteligencia artificial generativa, combinando diferentes tipos de datos para crear experiencias más integradas y coherentes

Generative Adversarial Networks (GANs)

• Son un tipo de modelos de inteligencia artificial diseñados para generar datos nuevos y realistas
• Fue desarrollado en 2014 dando resultados impresionantes, especialmente en el dominio de la generación de imágenes
• Consiste en dos redes neuronales que compiten entre sí en un juego teórico: el generador y el discriminador
• El objetivo del generador es crear datos que sean lo suficientemente realistas como para engañar al discriminador
• Comienza con una entrada de ruido aleatorio y aprende a transformar este ruido en datos que imitan la distribución real de los datos de entrenamiento
• El discriminador actúa como un crítico que intenta distinguir entre los datos reales, y los datos falsos producidos por el generador
• El generador, es como un artista que está aprendiendo a crear datos que se parezcan a los datos reales intentando crear billetes falsos que se parezcan a los billetes reales
• El discriminador, actuar como un experto en detectar billetes falsos y debe distinguir entre los billetes que son reales y los que ha creado el generador
• Requiere una integración entre el generador y el discriminador ya que ambos modelos se entrenan de manera conjunta, pero en fases alternas
• Comienza con una entrada aleatoria, que suele ser un vector de números aleatorios
• Esta entrada se utiliza para generar datos nuevos
• El Generador toma esta entrada aleatoria y produce una muestra de datos
• La muestra generada se pasa al Discriminador, que también recibe muestras reales del conjunto de datos
• El Discriminador evalúa ambas y trata de determinar cuál es real y cuál es generada
• Basado en la evaluación del Discriminador, se calcula una pérdida conocida como error para el Generador
• Utilizando la pérdida calculada, se ajustan los parámetros del Generador mediante el proceso llamado retropropagación

Variations Generative Adversarial Networks (GANs)

• Las Redes Generativas Antagónicas progresivas crean imágenes de baja resolución en las primeras capas
• Las capas posteriores se encargan de agregar detalles finos
• Permite que el modelo entrene más rápido y genere imágenes de mayor resolución en comparación con las Red Generativa Antagónica tradicional
• Traducción de imágenes a imágenes tomando una imagen de entrada y la transforma en una imagen de salida con diferentes propiedades
• Las Redes Generativas Antagónicas de ciclo transforman imágenes de un dominio en imágenes de otro dominio sin necesidad de etiquetas ni correspondencias entre imágenes
• Las Redes Generativas Antagónica de síntesis de texto a imagen son capaces de tomar una descripción de texto y generar una imagen que se ajuste a esa descripción
• Superresolución tomando una imagen de baja resolución y transformándola en una imagen de alta resolución, agregando detalles donde sea necesario
• Tarea de pintura de rostros completa partes faltantes de una imagen llenando de espacios de manera realista

Modelos de Difusión

• Revolucionan diversas áreas de la inteligencia artificial, desde la creación de imágenes hasta la generación de audio
• Son modelos generativos que aprenden a revertir un proceso gradual de adición de ruido, permitiendo generar resultados de alta calidad a partir de un estado inicial de ruido aleatorio
• Aprenden a través de un proceso de dos pasos, forward diffusion y reverse diffusion
• Difusión directa o forward difusión consiste en añadirle ruido poco a poco a una imagen, de manera que, con el tiempo, se va volviendo más y más borrosa hasta que prácticamente se convierte en un montón de ruido aleatorio
• La razón de añadir este ruido es que queremos entrenar a un modelo para que aprenda a deshacer este proceso, es decir, que pueda tomar una imagen que está casi completamente cubierta de niebla y pueda eliminar esa niebla paso a paso hasta recuperar la imagen original
• Difusión inversa o reverse diffusion es el reverso del anterior
• Comienza con una imagen que es prácticamente puro ruido y el modelo trata de eliminar ese ruido, capa por capa, para reconstruir la imagen original o generar una nueva imagen coherente
• El modelo aprende a predecir cómo era la imagen antes de que se añadiera cada capa de ruido, y va eliminando ese ruido poco a poco

Potential use cases for Generative Al models

• La generación de Imágenes permite crear imágenes desde cero o a partir de descripciones textuales
• Herramientas como DALL-E permiten a los usuarios describir una escena y recibir una imagen realista que la representa
• La generación de videos automatizados permite crear secuencias de video a partir de scripts o guiones gráficos
• Puede generar un video promocional personalizado para un cliente basado en datos demográficos y preferencias sin necesidad de un equipo de filmación completo
• Los modelos generativos también son capaces de crear música, voces sintéticas o efectos de sonido
• Pueden hacer resúmenes automáticos de textos extensos
• Los chatbots impulsados por IA generativa han mejorado significativamente la interacción con los usuarios, proporcionando respuestas naturales y adaptadas a las preguntas o necesidades planteadas
• La traducción automática ha avanzado con modelos que no solo traducen palabras, sino que mantienen el contexto y la intención del texto original, generando traducciones más precisas y naturales
• Los modelos de IA también son capaces de generar código de programación a partir de descripciones en lenguaje natural
• Los agentes de servicio al cliente completamente automatizados pueden manejar interacciones más complejas, como resolver problemas técnicos o guiar al usuario en un proceso específico
• Los motores de búsqueda basados en IA generativa también pueden entender mejor la intención del usuario y proporcionar resultados más relevantes
• Los modelos generativos también pueden predecir y generar recomendaciones personalizadas basadas en las preferencias y comportamientos previos del usuario

Foundation Model lifecycle

• Las fases del ciclo incluyen selección de datos, selección de modelos, preentrenamiento, ajuste, evaluación, despliegue y feedback
• El primer paso en el ciclo de vida de un proyecto de IA generativa es la selección de los datos que el modelo utilizará para aprender
• Para un modelo que generará cuentos infantiles, un conjunto de datos compuesto por una amplia variedad de cuentos infantiles ya publicados, así como como una colección de ilustraciones que acompañan estos cuentos
• El siguiente paso es elegir los modelos que utilizaremos para generar tanto el texto como las imágenes
• Un modelo de lenguaje basado en transformers, como GPT, para la generación del texto, y un modelo de generación de imágenes, como una red generativa antagónica o un modelo de difusión, para crear las ilustraciones
• El pre-entrenamiento es la fase en la que entrenamos el modelo en una tarea general antes de especializarlo en nuestro caso de uso específico
• Después del pre-entrenamiento, ajustamos el modelo para que se adapte específicamente a las necesidades de nuestro proyecto
• Una vez ajustado el modelo, es importante su rendimiento para asegurarnos de que cumple con los objetivos establecidos
• Luego implementamos el modelo en un entorno de producción
• Retroalimentación para mejorar continuamente
• La retroalimentación asegura que el modelo siga mejorando y adaptándose a las necesidades cambiantes
• Se recoge feedback de los editores, diseñadores y usuarios finales sobre la calidad y relevancia de los cuentos generados

Advantages of Generative Al

• Adaptabilidad: Aprender y ajustarse a nuevas situaciones sin necesidad de ser reentrenada constantemente
• Capacidad de Respuesta: Entender el contexto, procesar la información y proporcionar una respuesta adecuada en cuestión de segundos
• Simplicidad: Este proceso se ha simplificado considerablemente permitiendo aprovechar modelos generativos preentrenados, personalizarlos rápidamente y tener tu sistema funcionando en cuestión de días y no en meses

Disadvantages of Generative Al solutions

• Alucinaciones: El modelo de IA generativa produce información que parece plausible pero es completamente incorrecta o inventada
• Falta de interpretabilidad: Es la capacidad de entender cómo y por qué una IA generativa produce ciertos resultados
• Inexactitud: El IA generativa puede producir textos, imágenes o incluso decisiones que parecen correctas, no siempre lo son
• No determinismo: La misma entrada puede producir resultados diferentes en diferentes ejecuciones

Factors to select appropriate Generative Al models

• Hay varios factores clave a tener en cuenta, desde el tipo de modelo hasta sus capacidades, restricciones y el cumplimiento normativo
• Existen múltiples modelos de IA generativa, cada uno optimizado para tareas específicas
• Es cruciales los requisitos de rendimiento al seleccionar un modelo, incluyendo la precisión del modelo, la fiabilidad de los resultados y la velocidad de generación
• Importancia al cumplimiento normativo, especialmente en sectores altamente regulados como la salud, las finanzas o el derecho
• Importancia del costo

Business value and metrics for Generative Al applications

• Es necesario identificar las métricas clave que permitan medir el valor que estas aplicaciones generan.
• El valor de negocio de una aplicación de IA generativa se puede medir de diversas maneras, dependiendo de los objetivos específicos de la organización
• El rendimiento multidominio, es decir, la capacidad del modelo para desempeñarse bien en diferentes áreas o tareas
• La eficiencia mide cómo la IA contribuye a optimizar los recursos y procesos
• La tasa de conversión es una métrica directa que refleja el éxito de la IA generativa en influir en el comportamiento del cliente
• El ingreso promedio por usuario es una métrica crítica para evaluar cómo la IA generativa contribuye al crecimiento de los ingresos
• El valor de vida del cliente mide el ingreso total que un cliente generará durante toda su relación con la empresa
• La precisión mide cuán correctamente la IA genera resultados esperados

AWS services and features to develop Generative Al applications

• Amazon SageMaker JumpStart está diseñado para ayudar a los desarrolladores a comenzar rápidamente con el aprendizaje automático y las aplicaciones de IA generativa
• Amazon Bedrock es un servicio que permite a los desarrolladores acceder a modelos fundacionales de diversas empresas
• PartyRock es un entorno interactivo que permite a los desarrolladores experimentar con modelos de Bedrock antes de implementarlos
• Amazon Q, es una herramienta analítica que permite realizar consultas avanzadas sobre los datos generados y utilizados por las aplicaciones de IA generativa

Advantages and Benefits of AWS Al solutions

• AWS permite un desarrollo y despliegue más rápido
• AWS ofrece modelos de precios de pago por uso
• AWS mantiene sus servicios de IA actualizados, ofreciendo acceso a los últimos avances en modelos de machine learning
• Los servicios de IA de AWS se integran fácilmente con otras herramientas del ecosistema AWS

Cost tradeoffs of AWS Generative Al services

• Factores que influyen en los costos: capacidad de respuesta y disponibilidad, la redundancia y la cobertura regional, el rendimiento
• La redundancia garantiza que tu aplicación siga funcionando incluso en caso de fallos
• El rendimiento de tu aplicación de IA generativa depende de la rapidez y eficiencia con la que procesa los datos
• AWS ofrece un modelo de precios basado en tokens
• El aprovisionamiento de rendimiento implica reservar capacidad para garantizar que tu aplicación funcione a un nivel constante
• Los modelos personalizados permiten adaptar la IA a las necesidades específicas de tu negocio

AWS AI/ML/Gen Al services stack

• Amazon SageMaker es un servicio de aprendizaje automático totalmente administrado que puede utilizar para crear, entrenar e implementar sus propios modelos personalizados
• Amazon Comprehend se encarga del procesamiento del lenguaje natural, Amazon Translate de la traducción de idiomas y Amazon Textract de la extracción de datos de documentos escaneados
• AWS ofrece Amazon Lex, que puede utilizar para crear interfaces conversacionales con las mismas tecnologías de Deep Learning que impulsan Amazon Alexa
• Amazon Polly para la conversión de texto a voz y Amazon Transcribe para el reconocimiento automático del habla
• Amazon Rekognition, un servicio de visión informática basado en Deep Learning
• Amazon Kendra reimagina la búsqueda empresarial de sitios web
• Amazon Personalize para personalización