Spark Presentación

Presentación

• Spark cambia de disco a utilizar RAM, lo que es más rápido y eficiente que el disco.
• Spark solo se encarga del procesamiento de datos, no del almacenamiento, por lo que utiliza HDFS, NoSQL, etc.
• Puede trabajar con diferentes gestores de clúster, como Hadoop (YARN), MESOS o standalone.
• Abstracción de programación: "Aquí tienes la operación, ejecutala en todos los datos", sin importar donde se ejecute.

Componentes integrados en Spark

• Spark Core: motor de computación, encargado de planificación, distribución y monitorización de tareas distribuidas en los workers.
• Componentes de alto nivel: SQL, Machine Learning, Graphs y Streaming.

Spark SQL

• Pensado para trabajar con datos estructurados.
• Consultas SQL o HQL (variante SQL de Apache) y también DataFrames.

Spark Streaming

• Procesamiento de streams en tiempo real.

MLlib

• Machine Learning de Spark, implementación de algoritmos distribuidos.
• Puede trabajar con RDDs (viejo) y DataFrames (nuevo).

GrapX

• Librería para manipular grafos (amigos en una red social).

RDDs

• Permiten escribir programas basados en operaciones sobre un conjunto de datos distribuidos.
• Son colecciones de objetos repartidas por el clúster.
• Se construyen y manejan mediante operaciones paralelas (Transformaciones y acciones).
• En caso de fallo, se reconstruye automáticamente.

Conceptos básicos

• La API de Spark para Python es pySpark.
• RDDs son el núcleo de Spark, actualmente ha evolucionado a Dataframes.
• Driver: programa que se ejecuta en la máquina local.
• Workers: se ejecutan por el clúster.
• SparkContext: crea un objeto que le dice a Spark cómo y dónde acceder al clúster.

SparkContext

• Parámetro master: permite indicar a SparkContext el tamaño y el tipo del clúster.
• Tipos de parámetros master: local, local[K], spark://HOST:PUERTO, mesos://HOST:PUERTO.
• SparkContext se crea en el driver.
• Mediante el sc se conecta al clúster manager.
• Una vez conectado, se reservan los executors.
• El driver envía el código y datos a los executors.

Ejecución

• Cada aplicación tiene sus propios executors, proporcionando aislamiento pero impidiendo compartir datos.
• Un worker podría tener más de un executor, dependiendo de los recursos hardware y siendo de aplicaciones distintas.