Apache Hadoop - Introducción y Características

Apache Hadoop

• Es una plataforma open source para almacenamiento y procesamiento a bajo coste de grandes volúmenes de datos.
• Se basa en la utilización de hardware commodity y en un paradigma de procesamiento de datos distribuido.
• Tiene un diseño escalable y tolerante a errores, ideal para entornos donde los fallos del hardware son comunes.

Caracteristicas Claves

• Almacenamiento: Ofrece la capacidad de almacenamiento y recupero de datos a través de un sistema de ficheros llamado HDFS.
• Procesamiento: Permite la creación de aplicaciones para procesar datos almacenados en el sistema de archivos, tanto de forma batch como real-time.
• Coste: Es significativamente más económico que las soluciones tradicionales de almacenamiento y procesamiento de datos como las bases de datos relacionales o los sistemas mainframe.
• Volumen: Permite almacenar una amplia variedad de volúmenes de datos, desde megabytes hasta petabytes.
• Estructura: Admite datos estructurados, semiestructurados y no estructurados.
• Distribuido: Opera en un conjunto de servidores (nodos) que trabajan juntos para almacenar o procesar datos, en lugar de un único servidor centralizado.
• Escalable: La infraestructura (servidores) se puede ampliar para satisfacer las necesidades de almacenamiento o procesamiento del caso de uso.

Arquitectura Hadoop

• Modelo Distribuido: Se instala en un conjunto de servidores que trabajan juntos para realizar las tareas.
• Tolerancia a Fallos:
  • Se implementa mediante redundancia de nodos.
  • En caso de que un nodo falle, los otros nodos asumen su trabajo y garantizan la continuidad del servicio.
  • Los datos se replican en diferentes nodos para evitar la pérdida de información en caso de fallo.
  • Los nodos maestros se duplican para garantizar la continuidad del servicio en caso de fallo del nodo activo.
• Escalabilidad: Se puede aumentar o disminuir el número de nodos worker para ajustar la capacidad del sistema de almacenamiento o procesamiento.

Recursos del Sistema

• Memoria: Lo habitual es una capacidad de 128 o 256 GB de memoria RAM de alta calidad.
• Red: Se necesita una red rápida para evitar cuellos de botella en el rendimiento del sistema. Lo común es una red de 10 GB por segundo en par duplicado, alcanzando 20 GB, pero también se utilizan redes de alto rendimiento como Infiniband, que superan los 50 GB por segundo.
• Fuente de alimentación: Se utilizan fuentes de alimentación redundantes para garantizar el suministro en caso de interrupciones.

Configuración de Nodos Worker

• Disco: Se montan discos sin replicación, ya que la replicación se realiza a nivel de HDFS. Se utiliza la configuración JBOD (Just a Bunch of Disks), donde cada disco es independiente y se utiliza para aumentar la capacidad del nodo.
• CPU: Normalmente se utilizan CPUs de gama media con dos CPUs por nodo y 6-8 núcleos por CPU.
• Memoria: Se necesita una memoria mínima de 64 GB para la ejecución de tareas, la mayoría utiliza nodos con 128 o 256 GB de RAM.
• Red: Se utiliza la misma que los nodos maestros, con un ancho de banda de 10-20 gigabits por segundo.

Retos y Consideraciones

• Falta de profesionales: Hay escasez de perfiles con experiencia en Hadoop y en las herramientas del ecosistema, lo cual genera altos costes de personal y rotación de personal.
• Coste del hardware: Aunque es más económico que otras tecnologías, no es tan barato como se cree. Es importante realizar una estimación precisa de los costes de adquisición y mantenimiento del sistema.
• Integración: La integración de Hadoop con otras arquitecturas de gestión de datos puede ser compleja y requerir adaptación y formación del personal.

Este cuestionario ofrece una visión general sobre Apache Hadoop, una plataforma open source diseñada para el almacenamiento y procesamiento de grandes volúmenes de datos. Aprenderás sobre su arquitectura, características clave y ventajas frente a soluciones tradicionales. Ideal para quienes buscan entender el ecosistema de Big Data.