Arquitecturas Generativas de Imagen

Resumen de Arquitecturas Generativas de Imagen

• Las arquitecturas generativas de imagen buscan crear imágenes nuevas a partir de datos de entrenamiento.
• AutoEncoder (AE): comprime la imagen en un espacio latente de menor dimensión y luego la reconstruye minimizando la distancia entre el original y su reproducción.
• Variational AutoEncoder (VAE): aprende la distribución de los datos y genera imágenes nuevas similares a las de entrenamiento.
• Generative Adversarial Network (GAN): utiliza un generador que crea imágenes a partir del ruido y un discriminador que determina si la imagen es real o generada. El generador mejora con el tiempo para crear imágenes más realistas.

Stable Diffusion

• Proceso de difusión: inspirado en la termodinámica, consiste en añadir ruido aleatorio gradualmente a una imagen hasta que se convierte en puro ruido.
• Modelos de difusión: utilizan redes neuronales para revertir el proceso de difusión y generar imágenes a partir del ruido.
• Latent Diffusion Models (LDM): trabajan en un espacio latente de menor dimensión que el espacio de la imagen, lo que reduce el costo computacional.
• Stable Diffusion: es un modelo de difusión que utiliza LDM y CLIP para generar imágenes de alta calidad con prompts de texto.

Prompt Engineering para Generación de Imagen

• Escribir prompts efectivos:
  • Describir el medio o técnica de la imagen (foto, pintura).
  • Especificar el objeto principal (persona, animal, objeto).
  • Agregar detalles (acción, complemento, fondo, estilo artístico).
  • Utilizar lenguaje preciso y específico para obtener mejores resultados.

Parámetros de Control de Generación

• Steps: cantidad de iteraciones en el proceso de eliminación de ruido. A mayor cantidad de pasos, mejor calidad, pero depende del resultado deseado.
• Guidance Scale: controla qué tan fiel es el modelo a la instrucción del prompt. Valores altos significan más fidelidad, valores bajos significan más libertad creativa.
• Negative Prompt: instruye al modelo qué no debe incluir en la imagen.
• Seed: inicializa la aleatoriedad del proceso de generación. Permite generar imágenes similares al cambiar ligeramente otros parámetros.
• Prompt Weights: permiten enfatizar o des-enfatizar partes del prompt para controlar qué conceptos son más importantes.
• Samplers: determinan la técnica utilizada para eliminar el ruido en cada iteración.
• Strength: (solo para Img2Img) controla qué tan diferente es la imagen resultante de la imagen original.

Técnicas de Edición

• Outpainting: extiende la imagen original más allá de sus límites.
• Inpainting: edita partes específicas de la imagen original.
• Upscaling: aumenta la resolución de la imagen original.
• Background Removal: elimina el fondo de una imagen dejando solo el objeto principal.
• Background Replacement: sustiye el fondo de una imagen por otro.
• Text Remover: elimina el texto de una imagen.
• Relight: cambia la iluminación de una imagen.
• Swap: intercambia dos objetos dentro de una imagen.
• Reimagine: aplica diferentes estilos artísticos a una imagen original.

Proveedores de Modelos

• DALL-E 3: accesible a través de API y suscripción. Modelo propietario, no se puede entrenar.
• Midjourney: accesible a través de Discord y API. Modelo propietario, no se puede entrenar.
• Clipdrop: especializado en edición de imágenes, accesible vía web y API.
• Runway: ofrece herramientas de generación y edición. Permite entrenar modelos propios.
• Getimg.ai: ofrece generación y edición. Permite acceder con créditos o planes de suscripción.

Este cuestionario explora diversas arquitecturas generativas de imagen, incluyendo AutoEncoders, Variational AutoEncoders y Generative Adversarial Networks. También se discute el proceso de difusión en modelos como Stable Diffusion, donde se transforma ruido en imágenes. Prepárate para aprender sobre las técnicas que están revolucionando la generación de imágenes.