Introducción a las tecnologías Big Data

Introducción a las tecnologías Big Data

• El tema motiva los contenidos del curso, repasa las necesidades de información actuales y presenta las tecnologías que las resuelven.
• Los objetivos incluyen comprender las necesidades de procesamiento de datos y las soluciones de las tecnologías big data.
• También busca entender los clústeres de ordenadores, las tecnologías distribuidas y el ecosistema Hadoop.

La Sociedad Interconectada: La Era del Cliente

• Las tecnologías big data responden a las necesidades de la sociedad actual, donde el 90% de la información existente se ha creado en los últimos dos años.
• Hay tres tipos de situaciones que generan datos: interacciónes entre humanos, interacciónes humano-máquina e interacciónes máquina-máquina.
• La transformación digital busca centrarse en el cliente, mejorar su experiencia, y usar canales digitales, guiándose por los datos.
• Uber no tiene coches, Airbnb no tiene hoteles, Spotify no tiene estudios, Netflix no tiene estudios.
• La transformación digital busca centrarse en el cliente, mejorar su experiencia, y usar canales digitales, guiándose por los datos.

Definición de las tecnologías big data

• Las tecnologías existentes hasta principios del siglo XXI no eran suficientes para procesar datos con características especiales.
• Tres características especiales de big data son volumen, velocidad y variedad.
• El volumen se trata de cantidades de datos grandes.
• La velocidad se refiere a flujos de datos en tiempo real.
• La variedad son datos de fuentes diversas, estructuradas y no estructuradas.
• Un proyecto es big data cuando implica alguna de las tres «v».
• Las tecnologías big data permiten aplicar técnicas existentes a datos masivos de forma más rápida y eficiente.

Origen de las tecnologías big data

• Google fue la primera empresa en reconocer el aumento de datos en Internet.
• Sanjay Ghemawat, Howard Gobioff y Shun-Tak Leung crearon Google File System (GFS) en 2003, presentando la idea de usar ordenadores convencionales en clúster.
• A esto se lo denomina commodity hardware: máquinas no potentes que trabajan juntas.
• Jeffrey Dean y Sanjay Ghemawat popularizaron MapReduce en 2004, un modelo de programación para clústeres.
• En 2009, Matei Zaharia creó Apache Spark, una tecnología open source de procesamiento distribuido.

El ecosistema Hadoop

• La idea básica es procesar grandes cantidades de datos de forma distribuida con máquinas interconectadas no necesariamente potentes.
• GFS se transformó en HDFS, y con MapReduce se creó un conjunto de herramientas open source llamado ecosistema Hadoop.
• HDFS: sistema de archivos distribuido.
• MapReduce: paradigma de programación para clústeres, actualmente en desuso.
• Flume: herramienta para tratamiento de logs.
• Sqoop: herramienta para migración de datos a HDFS.
• Zookeeper: coordinador.
• Oozie: herramienta para planificación y ejecución de flujos de datos.
• Pig: herramienta para programar flujos de datos con sintaxis SQL.
• Mahout: biblioteca de algoritmos de machine learning.
• R Connectors: herramientas para conectar MapReduce con R, en desuso.
• Hive: herramienta para manejar datos en HDFS con SQL, soporta Spark y Apache Tez.
• HBase: base de datos NoSQL de tipo columnar.
• El curso se centra en Apache HDFS, Hive, Spark y Kafka.
• HDFS: sistema de archivos distribuido inspirado en GFS, gestionando la distribución y redundancia.
• Apache Hive: acceso a datos estructurados con sintaxis SQL en sistemas de archivos distribuidos.
• Apache Spark: motor de procesamiento distribuido que opera en la memoria principal, reemplazando a MapReduce.
• Apache Kafka: plataforma para manejo de eventos en tiempo real, una cola de mensajes distribuida.
• Las distribuciones de Hadoop son conjuntos de herramientas empaquetadas para simplificar la instalación y configuración.

Este tema introduce las tecnologías Big Data y su relevancia en la sociedad actual. Explora las necesidades de información y cómo estas tecnologías las resuelven. Se enfoca en comprender los clústeres de ordenadores, las tecnologías distribuidas y el ecosistema Hadoop.