5 Spark III y MLlib

Introducción a Spark III

• Profundiza en los módulos de Spark que ofrecen funcionalidades de nivel superior.
• Spark MLlib y sus métodos básicos se exploran para el ajuste de modelos.
• Se examina Spark Streaming para el procesamiento de datos en tiempo real.
• Se presenta Apache Hive, herramienta para realizar consultas SQL sobre datos distribuidos.
• Apache Hive utiliza MapReduce, Spark o Tez como motor de ejecución.
• Los objetivos del tema son introducir a los alumnos en los módulos de alto nivel de Spark, presentar las capacidades de Spark MLlib y mostrar las ideas básicas de Spark Structured Streaming.

Spark MLlib

• Es el módulo de Spark para:
  • Limpieza de datos.
  • Ingeniería de variables.
  • Aprendizaje de modelos.
  • Ajuste y evaluación de modelos.
• No ofrece métodos para el despliegue en producción de modelos, que suelen ser implementados como microservicios.
• MLlib implementa modelos de manera distribuida en Spark, capaces de aprender sobre grandes datasets almacenados de forma distribuida.
• MLlib se utiliza para preprocesar variables en datasets masivos, limpiarlos, normalizarlos y filtrarlos antes de pasarlos al driver para su almacenamiento local.
• Para el aprendizaje automático no distribuido, se pueden utilizar bibliotecas como Scikit-learn de Python o paquetes de R como caret o e1071.
• Spark proporciona herramientas para cada etapa del ciclo de ajuste de un modelo, incluyendo una herramienta adicional: pipelines que encapsula todas las etapas en un objeto indivisible y asegura que los nuevos datos pasen por el mismo preprocesamiento que el dataset original.
• El preprocesamiento incluye operaciones típicas de data science y procesamiento específico de Spark para adaptar los datos al formato esperado por los algoritmos de la API de Spark ML.

Despliegue de modelos en producción con Spark

• Spark no fue diseñado para la explotación online de modelos entrenados.
• La fortaleza de Spark está en entrenar modelos en modo batch con grandes conjuntos de datos.
• Una opción es entrenar con datos offline almacenados en HDFS y predecir en modo batch otro conjunto de datos nuevos.
  • Este enfoque es viable cuando se conocen los datos que hay que predecir en el momento de entrenar.
  • Las predicciones se almacenan en HDFS o en bases de datos indexadas para servirlas rápidamente desde un microservicio.
• Alternativamente, se puede predecir en batch cuando se tengan suficientes datos nuevos.
• Se puede entrenar, guardar el modelo y usarlo desde Spark para predicciones una a una, aunque esto implica sobrecarga al lanzar un job por cada ejemplo.
• Otra opción es entrenar y exportar el modelo en un formato de intercambio, como PMML, para ser utilizado con otras herramientas no distribuidas.
• También se puede entrenar en modo online usando Structured Streaming para recoger datos, aunque suele requerir reentrenar desde cero.

Estimadores y transformadores

• En la API de Spark (Java/Scala/Python), se distinguen:
  • Paquete org.apache.spark.mllib (en Python: pyspark.mllib): API antigua basada en RDD y en desuso.
  • Paquete org.apache.spark.ml (en Python: pyspark.ml): API actual basada en DataFrames, que debe utilizarse siempre que sea posible.
• El contenido del módulo spark.mllib ha sido migrado al módulo spark.ml excepto algunas clases en evaluación y recomendación.
• Para la creación de variables y el preprocesamiento, se utiliza la API de Spark SQL o las transformaciones de Spark ML que permiten incluir código SQL arbitrario en un pipeline.
• Spark ML ofrece transformaciones relacionadas con el preprocesamiento estadístico de datos (normalización, estandarización, codificación one-hot, etc.).
• Spark requiere formatos específicos de entrada para los algoritmos de Machine Learning para Spark.

Tipos de datos requeridos para algoritmos

• Clasificación: columna target de tipo real (double) y clases codificadas como números reales empezando en 0.0.
• Regresión: columna target de tipo real (double) con cualquier número real.
• Recomendación (solo filtrado colaborativo): DataFrame con columnas de identificadores de usuario, ítem (enteros) y rating (número real).
• Los valores de las variables deben presentarse en una columna de tipo vector.
• Spark ofrece posibilidades para preprocesamiento:
  • Extracción.
  • Transformación.
  • Selección.
  • Locality sensitive hashing (LSH).

Transformadores en Spark ML

• Un transformer es un objeto que recibe un DataFrame de Spark y nombres de columna, y los transforma añadiendo una nueva columna a la derecha.
• Los transformers no necesitan aprender parámetros del DataFrame de entrada.
• VectorAssembler: concatena columnas en una sola de tipo vector, necesaria para la columna features.
• Cualquier modelo entrenado: es un objeto model de la subclase ajustada y un transformer capaz de transformar un DF de ejemplos con el mismo formato que el usado para entrenar, añadiendo las predicciones en una nueva columna.

Estimadores en Spark ML

• Un estimator es un objeto de Spark capaz de realizar transformaciones que requieren ajustar ciertos parámetros sobre los datos.
• Requieren una pasada previa sobre los datos.
• Devuelven un objeto de tipo model (el modelo entrenado), que es un transformer.
• Spark llama modelo a cualquier cosa que requiera un fit previo.
• StringIndexer:
  • Es un estimador para preprocesar variables categóricas.
  • Convierte una columna en números reales (double) que representan categorías.
  • Añade metadata al DataFrame resultante indicando que esa columna es categórica.
  • Los algoritmos que soportan variables categóricas requieren pasar las variables indexadas.
  • Los algoritmos que no soportan variables categóricas requieren OneHotEncoder.
• OneHotEncoderEstimator:
  • Recibe un conjunto de columnas y convierte cada una a un conjunto de variables dummy con codificación one-hot.
  • Produce una columna de tipo vector.
  • Spark asume que los valores provienen de un StringIndexer.
• Todos los modelos de predicción heredan de Estimator y aprenden con el método fit(df).

Pipelines en Spark ML

• Un pipeline es una secuencia estimator o transformers
• Facilitan el manejo de los pasos de preprocesamiento y entrenamiento en Machine Learning:
  • Dividir en palabras.
  • Procesar palabras.
  • Preparar el formato.
  • Entrenar el modelo.
• Un pipeline es un estimator.
  • Su método fit(df) recorre cada etapa, llamando a transform() si es un transformador o a fit(df) y luego transform(df) si es un estimador.
• Es habitual que la última etapa del pipeline sea un algoritmo de Machine Learning.
• No se puede añadir un mismo objeto a dos pipelines diferentes.
• Llamar a fit sobre el objeto pipeline devuelve un objeto PipelineModel, que es un transformador.

Spark Structured Streaming

• Es el módulo de Spark que ha absorbido al obsoleto Spark Streaming, utilizando streaming DataFrames en lugar de DStreams.
• Permite disminuir la latencia respecto a un proceso batch al realizar el cálculo incremental automáticamente.
• El stream processing incorpora continuamente nuevos datos que permiten actualizar un resultado en tiempo real.
• Structured Streaming,API es idéntica a los DataFrames
• La única acción disponible es start(), que inicia el cálculo y lo ejecuta indefinidamente.

Fuentes de datos de entradas y salidas permitidas

• Permite leer datos desde Kafka, HDFS, Amazon S3 o un socket.
• La lectura se realiza con el método readStream aplicado al objeto SparkSession.
• Es necesario activar explícitamente la opción de inferencia de esquema o especificar el esquema.
• La salida puede escribirse en Kafka, ficheros o memoria.
• Es relevante especificar el modo de salida: añadir, actualizar o reemplazar completamente el fichero de salida.
• Se lee un directorio de HDFS donde otro proceso externo crea ficheros con información de retrasos de vuelos y se calcula el retraso medio por aeropuerto, actualizando el fichero de salida de forma automática.