1 Big D Sum

Introducción y objetivos

• Los contenidos se enfocarán en las necesidades actuales de la sociedad de la información, donde la interconexión y las fuentes de datos son clave.
• Se analizarán los retos tecnológicos y las tecnologías que los resuelven.
• Es importante comprender las necesidades actuales de procesamiento de datos y cómo las tecnologías big data las abordan.
• Se busca entender el concepto de clúster de ordenadores y las tecnologías distribuidas capaces de explotarlo.
• Se pretende conocer las herramientas principales del ecosistema Hadoop, su finalidad y cómo se relacionan.

La sociedad interconectada: la era del cliente

• Las tecnologías big data responden a las nuevas necesidades de la sociedad actual.
• El 90% de la información existente se ha creado en los últimos dos años, en un mundo interconectado.
• El crecimiento de la información es exponencial.
• El 80% de los datos creados son generados por personas, siendo en su mayoría no estructurados (texto libre, comentarios, tuits, imágenes, vídeos).
• El 20% restante son datos estructurados generados por máquinas (logs, sensores, IoT) para ser procesados por otras máquinas.

Fuentes de datos en la actualidad

• La interacción entre humanos a través de sistemas informáticos genera datos no estructurados que luego se procesan.
• Clear ejemplos son el correo electrónico, los foros de Internet o las redes sociales.
• La interacción entre humanos y máquinas, como la navegación en Internet, genera logs con información que se procesa para estudiar el comportamiento de los usuarios.
• Las interacciones entre máquinas, como los sistemas de monitorización a través de sensores, generan información estructurada procesada por otras máquinas.
• Empresas como Netflix e Instagram han experimentado un gran crecimiento en la cantidad de datos generados, mientras que gigantes como Google, Facebook y YouTube se han estabilizado.

La transformación digital en relación con los datos

• Empresas como Uber, Airbnb, Spotify y Netflix son líderes en sus respectivos sectores sin poseer activos físicos.
• Las interacciones digitales entre personas y compañías generan datos valiosos que permiten anticipar las demandas de los clientes.
• La transformación digital busca centrarse en el cliente, mejorando su experiencia mediante el análisis de datos sobre su comportamiento.
• Se centra también en los canales digitales, especialmente los dispositivos móviles, que generan la mayor cantidad de datos.
• Las decisiones se guían por los datos (data-driven), utilizando la ciencia de datos (big data science).

Definición de las tecnologías big data

• Las tecnologías existentes hasta principios del siglo XX no eran suficientes para procesar, almacenar y analizar datos con características especiales.
• Dichas características se conocen como las tres "v" del big data: Volumen, Velocidad y Variedad.
• Volumen: Grandes cantidades de datos que no pueden ser procesadas por tecnologías tradicionales.
• Velocidad: Flujos de datos en tiempo real que deben ser procesados continuamente.
• Variedad: Datos de fuentes diversas, estructuradas y no estructuradas, que deben ser manejados y cruzados conjuntamente.
• Un proyecto se considera big data cuando implica alguna de estas tres "v".
• Una definición más precisa es que un proyecto es big data cuando la mejor forma de resolverlo implica utilizar tecnologías big data.
• Big data se define como el conjunto de tecnologías y arquitecturas para manejar datos que eran muy difíciles o imposibles de manejar con tecnologías tradicionales.

Causas de la imposibilidad de procesar datos con tecnologías tradicionales

• Cantidades ingentes de datos inimaginables hace unos años
• Datos de fuentes diversas, heterogéneas, poco estructuradas, como documentos o imágenes/sonido, que, aun así, necesitan ser almacenados y consultados (NoSQL).
• Datos dinámicos, recibidos y procesados según llegan (flujos de datos o streams).
• Las herramientas big data permiten aplicar técnicas ya existentes a datos masivos, pero son tecnologías, no técnicas en sí mismas.
• Las técnicas de análisis pertenecen a la estadística, las matemáticas, las ciencias de la computación y la inteligencia artificial.
• La sinergia del big data consiste en aplicar técnicas de análisis a grandes cantidades de datos heterogéneos, logrando resultados rápidos y de alta calidad.
• Se han extendido mitos sobre el término big data.

Origen de las tecnologías big data

• Google fue la primera empresa en ser consciente del aumento de datos en Internet, siendo necesario indexar las webs.
• En el siglo XX, Sanjay Ghemawat, Howard Gobioff y Shun-Tak Leung (2003) publicaron un artículo sobre el sistema de archivos distribuido Google File System (GFS).
• Los autores propusieron utilizar ordenadores convencionales conectados (clúster) para almacenar archivos que superaban la capacidad de un disco duro.
• Este concepto se conoce como commodity hardware: máquinas no potentes que se conectan para resolver tareas complejas.
• GFS fue la base del sistema de archivos distribuido HDFS.
• En 2004, Jeffrey Dean y Sanjay Ghemawat publicaron un artículo sobre el modelo de programación MapReduce, aplicable a clústeres para procesar archivos en paralelo.
• Google publicó una biblioteca de código abierto que implementaba este paradigma.
• La abstracción de detalles de hardware, redes y comunicación era el punto fuerte de este paradigma
• MapReduce fue el estándar de desarrollo de software big data a nivel comercial durante muchos años.
• En 2009, Matei Zaharia creó Apache Spark, una tecnología open source de procesamiento distribuido, como tesis doctoral en Berkeley
• Spark comparte los principios de MapReduce de ejecutarse en clústeres commodity y simplificar la red y comunicación entre los nodos
• MapReduce fue reemplazado por Spark en 2014.

El ecosistema Hadoop

• Es posible procesar grandes cantidades de datos de forma distribuida entre varias máquinas interconectadas (clúster), que no necesitan ser potentes (commodity hardware).

• Si se necesita más capacidad, se añaden más máquinas al clúster.

• Siguiendo esta filosofía, se creó un conjunto de herramientas open source para procesamiento distribuido, interoperables entre sí, llamado ecosistema Hadoop.

• HDFS: Sistema de archivos distribuido.

• MapReduce: Paradigma de programación para clústeres (en desuso).

• Flume: Herramienta para el tratamiento de logs.

• Sqoop: Herramienta para la migración de grandes cantidades de datos a HDFS.

• Zookeeper: Coordinador.

• Oozie: Herramienta para planificación y ejecución de flujos de datos

• Pig: Herramienta para programar flujos de datos con sintaxis similar a SQL.

• Mahout: Biblioteca de algoritmos de machine learning.

• R Connectors: Herramientas para conectar MapReduce con el lenguaje R (en desuso).

• Hive: Herramienta para manejar datos en HDFS usando SQL.

• HBase: Base de datos NoSQL de tipo columnar con registros de longitud y número de campos variable.

• En este curso, se analiza HDFS, Apache Hive, Apache Spark y Apache Kafka como herramientas centrales para el big data.

• HDFS: Sistema de archivos distribuido inspirado en GFS.

• Apache Hive: Herramienta para acceder a datos estructurados mediante SQL.

• Apache Spark: Motor de procesamiento distribuido en memoria RAM que ha reemplazado a MapReduce.

• Apache Kafka: Plataforma para manejo de eventos en tiempo real en una cola de mensajes escalable.

Distribuciones de Hadoop

• Hadoop requiere instalación y configuración individual para cada herramienta en el clúster
• Surgieron las distribuciones de Hadoop, que empaquetan herramientas compatibles en un único software.
• Empresas como Cloudera, Hortonworks (fusionadas en 2018) y MapR crearon distribuciones de Hadoop
• Estas pueden incluir herramientas propietarias y modificaciones del código fuente
• Estas distribuciones ofrecen versiones open source y de pago.