Apache Hadoop

Podcast

Play an AI-generated podcast conversation about this lesson

Questions and Answers

¿Cuál es una ventaja de Apache Hadoop en comparación con soluciones tradicionales de almacenamiento de datos?

Coste de implantación mucho más bajo (correct)

Mayor coste de implantación

Permite almacenar datos únicamente en bases de datos relacionales

Requiere hardware especializado y caro

¿Qué tipo de datos puede almacenar Apache Hadoop?

Cualquier tipo de datos: estructurados, semi-estructurados y no estructurados (correct)

Solo datos estructurados

Solo datos no estructurados

Datos estructurados y semi-estructurados únicamente

¿Cuál es el componente que utiliza Hadoop para almacenar y recuperar datos?

Hadoop Cloud

Hadoop Data Store

HDFS (correct)

Apache Hive

¿Qué se entiende por la escalabilidad de Apache Hadoop?

Capacidad de aumentar la infraestructura según necesidades Signup and view all the answers

¿Qué tipo de procesamiento permite Apache Hadoop?

Ambos, procesamiento en lotes y en tiempo real Signup and view all the answers

¿Cuál de las siguientes afirmaciones es incorrecta sobre Apache Hadoop?

Hadoop es una solución comercial que requiere pagos de licencias Signup and view all the answers

¿Cuál de las siguientes características describe mejor a Apache Hadoop?

Es tolerante a fallos y funciona en un entorno distribuido Signup and view all the answers

¿Qué significa que Hadoop se basa en hardware commodity?

Puede ejecutarse en hardware común de bajo coste Signup and view all the answers

¿Cuál de las siguientes herramientas se utiliza para la gobernanza de datos en Hadoop?

Apache Atlas Signup and view all the answers

¿Qué funcionalidad ofrece Apache Accumulo?

Acceso aleatorio y atómico a datos Signup and view all the answers

¿Qué función principal tiene Apache Impala?

Tratamiento de datos en HDFS mediante SQL con alto rendimiento Signup and view all the answers

¿Cuál es el propósito de Apache Mahout?

Desarrollar y ejecutar modelos de machine learning Signup and view all the answers

¿Qué proporciona Apache Zeppelin a los Data Scientists?

Notebooks para análisis y colaboración Signup and view all the answers

¿Cómo actúa el conjunto de servidores en la arquitectura de Hadoop ante un usuario externo?

Como una sola máquina, ocultando la distribución de los datos Signup and view all the answers

¿Cuál de las siguientes afirmaciones sobre Apache Phoenix es correcta?

Permite el acceso a HBase mediante una interfaz SQL Signup and view all the answers

¿Qué característica es especial de Apache Atlas en comparación con otras herramientas?

Específicamente diseñada para gobierno de datos Signup and view all the answers

Cuál es la capacidad habitual de memoria RAM en los nodos worker?

128 o 256 gigabytes Signup and view all the answers

Qué tipo de configuraciones suelen tener los discos en los nodos worker?

JBOD Signup and view all the answers

Cuál es la velocidad habitual de red en un sistema distribuido?

10 gigabits por segundo Signup and view all the answers

Qué se intenta maximizar en los nodos worker respecto al almacenamiento?

Capacidad de almacenamiento Signup and view all the answers

Cuántos discos suelen tener, en promedio, los nodos worker?

10-12 discos Signup and view all the answers

Cuál es la configuración común para las CPUs en los nodos worker?

Dos CPUs con 6-8 núcleos cada una Signup and view all the answers

Qué tipo de fuentes de alimentación se suelen utilizar en estos sistemas?

Fuentes de alimentación redundantes Signup and view all the answers

¿Cuál es la función del nodo pasivo en un clúster Hadoop?

Realizar copias de seguridad del nodo activo. Signup and view all the answers

¿Cómo garantiza Hadoop la tolerancia a fallos en el almacenamiento?

Haciendo duplicados de los datos en diferentes nodos. Signup and view all the answers

¿Cuál de las siguientes afirmaciones sobre los nodos frontera es correcta?

Se suelen montar varios servicios en diferentes nodos. Signup and view all the answers

¿Qué ocurre si un nodo worker falla durante la ejecución de una tarea?

El maestro reenvía la tarea a otro nodo. Signup and view all the answers

¿Qué método utiliza Hadoop para manejar el fallo de un nodo activo?

Transfiere automáticamente todas las operaciones al nodo pasivo. Signup and view all the answers

¿Qué se debe hacer si se desea aumentar la capacidad de almacenamiento en un clúster Hadoop?

Incrementar el número de nodos worker. Signup and view all the answers

¿Cómo se asegura el clúster Hadoop de que puede continuar accesando datos tras la rotura de un disco?

Utilizando réplicas almacenadas en otros nodos. Signup and view all the answers

¿Cuál es la relación entre los nodos maestros y nodos worker en un clúster Hadoop?

Los nodos worker realizan tareas bajo la coordinación de los nodos maestros. Signup and view all the answers

¿Cuál es uno de los principales factores que limita el uso de Hadoop en las organizaciones?

La escasez de perfiles con conocimientos en Hadoop Signup and view all the answers

¿Cuál es una consecuencia del aumento de la demanda de perfiles en Big Data?

Los salarios de los profesionales en este campo son más altos Signup and view all the answers

¿Qué debe tener en cuenta una empresa al implementar Hadoop en su infraestructura?

Los costos de adquisición y mantenimiento de la plataforma Signup and view all the answers

¿Qué implica la necesidad de formar a los empleados al introducir Hadoop?

Los empleados deben adaptarse a una nueva tecnología Signup and view all the answers

¿Qué se debe considerar acerca del hardware al implementar Hadoop?

No siempre implica costos inferiores a otras tecnologías Signup and view all the answers

¿Cuál es un riesgo asociado a la escasez de perfiles especializados en Hadoop?

Puede haber una fuga constante de talento hacia otras ofertas Signup and view all the answers

¿Qué aspecto de Hadoop puede ser engañoso respecto a su costo?

El costo del hardware puede ser subestimado Signup and view all the answers

¿Cuál es un beneficio que pueden disfrutar los profesionales en Big Data debido a la alta demanda?

Pueden elegir proyectos y compañías más atractivas Signup and view all the answers

Study Notes

Es una plataforma open source para almacenamiento y procesamiento a bajo coste de grandes volúmenes de datos.
Se basa en la utilización de hardware commodity y en un paradigma de procesamiento de datos distribuido.
Tiene un diseño escalable y tolerante a errores, ideal para entornos donde los fallos del hardware son comunes.

Caracteristicas Claves

Almacenamiento: Ofrece la capacidad de almacenamiento y recupero de datos a través de un sistema de ficheros llamado HDFS.
Procesamiento: Permite la creación de aplicaciones para procesar datos almacenados en el sistema de archivos, tanto de forma batch como real-time.
Coste: Es significativamente más económico que las soluciones tradicionales de almacenamiento y procesamiento de datos como las bases de datos relacionales o los sistemas mainframe.
Volumen: Permite almacenar una amplia variedad de volúmenes de datos, desde megabytes hasta petabytes.
Estructura: Admite datos estructurados, semiestructurados y no estructurados.
Distribuido: Opera en un conjunto de servidores (nodos) que trabajan juntos para almacenar o procesar datos, en lugar de un único servidor centralizado.
Escalable: La infraestructura (servidores) se puede ampliar para satisfacer las necesidades de almacenamiento o procesamiento del caso de uso.

Arquitectura Hadoop

Modelo Distribuido: Se instala en un conjunto de servidores que trabajan juntos para realizar las tareas.
Tolerancia a Fallos:
- Se implementa mediante redundancia de nodos.
- En caso de que un nodo falle, los otros nodos asumen su trabajo y garantizan la continuidad del servicio.
- Los datos se replican en diferentes nodos para evitar la pérdida de información en caso de fallo.
- Los nodos maestros se duplican para garantizar la continuidad del servicio en caso de fallo del nodo activo.
Escalabilidad: Se puede aumentar o disminuir el número de nodos worker para ajustar la capacidad del sistema de almacenamiento o procesamiento.

Recursos del Sistema

Memoria: Lo habitual es una capacidad de 128 o 256 GB de memoria RAM de alta calidad.
Red: Se necesita una red rápida para evitar cuellos de botella en el rendimiento del sistema. Lo común es una red de 10 GB por segundo en par duplicado, alcanzando 20 GB, pero también se utilizan redes de alto rendimiento como Infiniband, que superan los 50 GB por segundo.
Fuente de alimentación: Se utilizan fuentes de alimentación redundantes para garantizar el suministro en caso de interrupciones.

Configuración de Nodos Worker

Disco: Se montan discos sin replicación, ya que la replicación se realiza a nivel de HDFS. Se utiliza la configuración JBOD (Just a Bunch of Disks), donde cada disco es independiente y se utiliza para aumentar la capacidad del nodo.
CPU: Normalmente se utilizan CPUs de gama media con dos CPUs por nodo y 6-8 núcleos por CPU.
Memoria: Se necesita una memoria mínima de 64 GB para la ejecución de tareas, la mayoría utiliza nodos con 128 o 256 GB de RAM.
Red: Se utiliza la misma que los nodos maestros, con un ancho de banda de 10-20 gigabits por segundo.

Retos y Consideraciones

Falta de profesionales: Hay escasez de perfiles con experiencia en Hadoop y en las herramientas del ecosistema, lo cual genera altos costes de personal y rotación de personal.
Coste del hardware: Aunque es más económico que otras tecnologías, no es tan barato como se cree. Es importante realizar una estimación precisa de los costes de adquisición y mantenimiento del sistema.
Integración: La integración de Hadoop con otras arquitecturas de gestión de datos puede ser compleja y requerir adaptación y formación del personal.

Studying That Suits You

Use AI to generate personalized quizzes and flashcards to suit your learning preferences.

Description

Este cuestionario ofrece una visión general sobre Apache Hadoop, una plataforma open source diseñada para el almacenamiento y procesamiento de grandes volúmenes de datos. Aprenderás sobre su arquitectura, características clave y ventajas frente a soluciones tradicionales. Ideal para quienes buscan entender el ecosistema de Big Data.

Apache Hadoop - Introducción y Características

Choose a study mode