Diseño Multicore y Computación Paralela en Python

Questions and Answers

¿Cuál es una ventaja del uso de la programación paralela sobre la serial?

Depende completamente de la CPU utilizada.

Mayor complejidad de código.

Mejor rendimiento a medida que aumentan los puntos de datos. (correct)

Mejor rendimiento solo con pocos datos.

¿Qué argumento se utiliza en la biblioteca Joblib para usar todos los núcleos de CPU disponibles?

n_jobs=-1 (correct)

n_jobs=0

n_jobs=1

n_jobs=2

¿Cuál es el principal uso del método pool.apply_async en Python?

Ejecutar tareas en paralelo y obtener resultados tan pronto como se terminen. (correct)

Optimizar el uso de memoria en el código.

Realizar cálculos secuenciales en el mismo hilo.

Sincronizar múltiples procesos antes de completar.

¿Qué desventaja se asocia comúnmente con la programación paralela?

Aumenta la complejidad del código en comparación con el enfoque secuencial. Signup and view all the answers

En el contexto de multiprocessing en Python, ¿qué significa el término 'overhead'?

El tiempo requerido para iniciar y detener procesos. Signup and view all the answers

¿Cuál de las siguientes afirmaciones es correcta sobre la función pool.map_async?

Permite procesar tareas de manera no ordenada. Signup and view all the answers

¿Qué problema limita la ejecución de múltiples hilos simultáneamente en Python?

El Global Interpreter Lock (GIL). Signup and view all the answers

¿Qué método de la clase Pool se utiliza para aplicar una función a cada elemento en un iterable?

map Signup and view all the answers

¿Qué comando se usaría para imprimir el número total de CPUs disponibles para la computación paralela en Python?

cpu_count() Signup and view all the answers

¿Cuál es una desventaja inherente al uso de procesos en lugar de hilos?

Mayor consumo de recursos del sistema. Signup and view all the answers

Study Notes

Diseño Multicore

Diseño multicore implica múltiples unidades de procesamiento independientes en un solo componente informático.
Ejemplo: procesador CPU con seis núcleos físicos que contienen dos núcleos lógicos cada uno, totalizando 12 núcleos.

Computación Paralela

Se logra en Python mediante enfoques como multiprocessing y threading.
Diferencia clave: un proceso es una unidad de ejecución independiente, mientras que un hilo es un subconjunto de un proceso.

Definición de Proceso y Hilo

Proceso: instancia de un programa (ej. intérprete de Python, cuaderno Jupyter) creada por el sistema operativo, tiene su propio bloque de memoria.
Hilo: permite la ejecución simultánea dentro de un proceso, compartiendo el mismo bloque de memoria.

Compartición de Memoria en Hilos

Las variables u objetos de múltiples hilos dentro de un proceso son compartidos; un cambio en uno afecta a los demás.
En distintos procesos, las variables son independientes; un cambio en una no afecta a las demás.

Problema del GIL en Python

Python fue diseñado antes del uso común de procesadores multicore.
El Global Interpreter Lock (GIL) limita la ejecución a un hilo nativo a la vez, impidiendo la ejecución simultánea de múltiples hilos.
Las soluciones incluyen el uso de la biblioteca multiprocessing.

Desventajas de la Computación Paralela

Complejidad del código y el tiempo necesario para inicializar y mantener nuevos procesos son retos significativos.
El consumo de tiempo para tareas pequeñas es considerable, ya que el overhead puede ser mayor que la propia tarea.

Introducción a la Biblioteca Multiprocessing

Biblioteca estándar de Python para computación paralela, que permite el uso de procesos.
Se recomienda revisar la documentación oficial para obtener información detallada sobre sus numerosas características.

Clase Pool en Multiprocessing

La clase Pool se utiliza para realizar computación paralela.
Métodos comunes en Pool incluyen apply, map, apply_async y map_async, permitiendo aplicar funciones a iterables.

Funciones pool.apply y pool.map

Ambas funciones bloquean el programa principal hasta que todos los procesos finalizan.
pool.apply permite aceptar más argumentos en la función, mientras que pool.map aplica una función a cada elemento de un iterable.

Funciones pool.apply_async y pool.map_async

Permiten resultados ordenados o no ordenados, enviando todos los procesos a la vez y recuperando resultados apenas están listos.

Comparativa de Tiempos de Ejecución

En versiones seriales, la ejecución es más rápida para menos de 10,000 puntos de datos.
Versión paralela muestra mejor rendimiento para más de 10,000 puntos; ejemplo: para 10 millones de puntos, la versión paralela toma menos de 10 s, comparado con aproximadamente 50 s de la versión serial.

Introducción al Paquete Joblib

Paquete de terceros para computación paralela en Python, útil para tareas diarias.
Instalación sencilla mediante pip install joblib, simplificando la computación paralela a una sola línea de código.

Conveniencia del Paquete Joblib

Proporciona una interfaz sencilla para el módulo de multiprocessing; permite maximizar el uso de CPU mediante el argumento n_jobs.
Ofrece argumentación verbose para mostrar mensajes de estado durante la ejecución.

Backend de Joblib

Varios backends están disponibles, cada uno permite realizar computación paralela de diferentes maneras.
El backend de multiprocessing crea un pool de procesos que ejecuta tareas simultáneamente en CPUs separadas.

Description

Este cuestionario explora el diseño multicore en computadoras modernas y las aproximaciones a la computación paralela utilizando Python. Se centra en técnicas como el multiprocessing y el threading, así como en la arquitectura de CPUs con múltiples núcleos. ¡Pon a prueba tus conocimientos sobre este fascinante tema!