4 Spark DataFrames y la API Estructurada II SUM

Introducción a Spark II

• Spark es un framework de programación distribuida diseñado para mejorar la eficiencia, rapidez y programación intuitiva en el procesamiento de grandes cantidades de datos en clústeres, superando al paradigma MapReduce.
• Spark incluye componentes como Spark Core y RDD, y ahora destaca la API estructurada con DataFrames, que facilitan la creación y manipulación de datos.
• Los objetivos principales son comprender la API estructurada de Spark y el DataFrame, identificar ventajas de usar DataFrames en lugar de RDD, conocer Spark SQL y sus similitudes/diferencias con la API estructurada, y practicar funciones de procesamiento típicas con ambas APIs.

DataFrames en Spark

• Los DataFrames en Spark permiten manejar RDD como tablas de datos estructuradas en filas y columnas, aportan abstracción y facilidad de uso.
• Un DataFrame es una tabla de datos distribuida en la RAM de los nodos, organizada en filas y columnas con nombre y tipo, semejante a bases de datos relacionales.
• Internamente, un DataFrame es un RDD de objetos de tipo Row, donde cada Row representa una fila de la tabla con componentes (columnas) que tienen nombre y tipo predefinido por el esquema.
• Es necesario recordar que los DataFrames se distribuyen en la memoria RAM de los nodos worker.

API Estructurada de Spark: Lectura y Escritura de DataFrames

• Spark puede leer información de diversas fuentes de datos mediante conectores específicos que indican cómo obtener datos y convertirlos en DataFrames.
• Las fuentes de datos comunes incluyen HDFS (CSV, JSON, Parquet, ORC, texto plano), Amazon S3, bases de datos relacionales (JDBC/ODBC), bases de datos no relacionales (Cassandra, MongoDB) y Kafka.
• Para leer datos en Spark, se usa el atributo spark.read de la SparkSession y se especifican opciones según el tipo de fichero; es obligatoria la ruta del fichero, el resto son opcionales.
• En cuanto al esquema, algunos ficheros (Parquet, ORC, Avro) lo almacenan junto a los datos. Los que no, tienen las opciones de inferir (true), que no infiera (false) y lea como string, o especificarlo explícitamente.
• Los ficheros CSV pueden ser problemáticos por la división en columnas, que depende de separadores complejos y a veces confusos. Spark no soporta separadores de más de un carácter.

Escritura de DataFrames

• La operación de escritura es análoga pero usando write de los DataFrames y especificando:
  • Formato con methodo format(), igual que para leer.
  • Modo de escritura: append, overwrite, errorIfExists, ignore.
  • Opciones específicas del formato.

API Estructurada de Spark: Manipulación de DataFrames

• Las operaciones de la API estructurada actúan sobre columnas (clase Column), optimizadas por Catalyst para una ejecución más rápida.
• Las manipulaciones devuelven un nuevo DataFrame sin alterar el original (los RDD son inmutables). Se pueden encadenar transformaciones.
• "col(nombreCol)" sirve para seleccionar una columna y devuelve un objeto Column donde podemos realizar transformaciones.
• "select" permite seleccionar columnas de diferentes formas.
• "alias" asigna un nombre a la columna sobre la que se aplica.
• “withColumn” devuelve el nuevo DF con todas las columnas del original más una nueva columna añadida al final, como resultado de una operación entre columnas existentes que devuelve como resultado un objeto Column.
• "drop" elimina una columna.
• "withColumnRenamed" renombra una columna.
• "when(condición, valorReemplazo1).otherwise(valorReemplazo2)" sirve para reemplazar valores de una columna con una condición.
• Existe una serie de funciones matemáticas y estadísticas disponibles para su aplicación en DataFrames.

Combinaciones y filtrado de DataFrames

• Unión de DataFrames: df1.unionAll(df2).
• Diferencia de DataFrames: df1.except(df2).
• Las operaciones que podíamos usar sobre RDD suelen estar disponibles también para los DataFrames.

Operaciones de Agrupamiento y Agregación

• El método groupBy("nombreCol1”, “nombreCol2”, …) sobre un DataFrame devuelve una estructura de datos llamada RelationalGroupedDataset, que no es un DataFrame y sobre la que apenas se pueden aplicar operaciones.
• Se suelen aplicar operaciones como count(), que efectúa un conteo del número de elementos de cada grupo, o la función agg(), que es la más habitual y realiza, para cada grupo, las agregaciones que le indiquemos sobre las columnas seleccionadas.

Spark SQL

• Spark SQL ofrece una alternativa poderosa: operaciones escritas en SQL sobre DataFrames registrados como tablas, integrándose con la API de DataFrames y compilándose en un plan de ejecución unificado.
• Spark SQL está diseñado para el procesamiento de consultas en batch (OLTP), similar a Hive.
• Opciones para ejecutar consultas SQL en Spark:
  • Interfaz de línea de comandos: mediante './bin/spark-sql'.
  • API de Spark SQL: sql() en SparkSession para consultas a tablas Hive, devuelve DataFrames.
• Para el caso de que se quiera registrar un DataFrame como una tabla de Hive, existe el método createOrReplaceTempView, que la registra solo durante esta sesión.
• Además, la API SQL es totalmente interoperable con la API estructurada, de forma que se puede crear un DataFrame, manipularlo primero con SQL y después con la API estructurada.
• Servidor JDBC/ODBC: usando aplicaciones BI (como Tableau).

Tablas en SparkSQL

• El elemento de trabajo son las tablas, equivalente a los DataFrames. Toda tabla pertenece a una base de datos, si no se especifica, usa la de defecto (default). Las tablas siempre contienen datos y no existe el concepto de tabla temporal. En su lugar, existen vistas, que no contienen datos.
• Al crear tablas, indicar si serán gestionadas por Spark (managed table) o no (unmanaged table). Una tabla tiene datos y metadatos que la describen.
  • Tablas no gestionadas: tabla desde ficheros en disco, Spark no gestiona los datos (ya existían).
  • Tablas gestionadas: al guardar un DataFrame como tabla (ej: saveAsTable), Spark la gestiona, almacenando los datos nuevos.
  • Tablas externas: compatibilidad con Hive, metadatos gestionados por Spark, pero no los datos (CREATE EXTERNAL TABLE).
• Si la tabla está gestionada por Spark, tanto los datos como los metadatos, se eliminarán al eliminar la tabla. En caso contrario, se eliminan los metadatos y los datos originales permanecerán intactos).

Vistas en Spark SQL

• Una vista especifica un conjunto de transformaciones sobre una tabla para conseguir unos resultados. Las vistas se muestran como tablas, pero no guardan los datos en una nueva localización.
• Tipos de vistas:
  • Estándar: disponible de sesión en sesión.
  • Temporales: solo disponible en la sesión actual.
  • Globales: accesible desde cualquier punto de la aplicación Spark, pero se elimina al final de la sesión.