Introducción a Big Data – Parte 2

Escalabilidad en Big Data

• Existen dos tipos de escalabilidad: Scale-up (escalabilidad vertical) y Scale-out (escalabilidad horizontal)
• Scale-up: agregar más recursos a una máquina, límite en la capacidad de mejora, no tolerante a fallos
• Scale-out: agregar más máquinas conectadas por red, tolerante a fallos, bajo costo de escalabilidad

Ventajas y desventajas de Scale-up y Scale-out

• Ventajas de Scale-up: menor consumo de energía, menor costo de refrigeración, fácil de implementar, menores costos de licencias
• Desventajas de Scale-up: precio, no tolerante a fallos, límite de mejoras futuras
• Ventajas de Scale-out: más barato de escalar, tolerante a fallos, fácil de crecer
• Desventajas de Scale-out: más costos de licencias, más espacio físico, mayor costo de electricidad y refrigeración

Sistemas distribuidos en Big Data

• La idea es repartir los datos por las máquinas y aplicar operaciones en paralelo
• Se utiliza Data Locality para evitar la transferencia de datos y mantenerlos cerca de quien los procesa
• La principal desventaja de la computación distribuida es la comunicación en red

MapReduce

• Presentado por Google en 2004, Hadoop nació en 2008 como implementación Open Source
• Combina un sistema distribuido de ficheros (HDFS) con un paradigma de programación para procesar datos
• Funciona distribuyendo los cálculos sobre los datos entre los nodos, solo se mueven los datos necesarios entre nodos

Características de MapReduce

• Escalabilidad: funciona sobre cualquier clúster de nodos/procesadores
• Transparencia: maneja la comunicación automática entre máquinas
• Tolerancia a fallos: puede sobrevivir a fallos en los nodos
• Redundancia de datos: almacena los datos en múltiples lugares para asegurar la disponibilidad