Hadoop、Spark 和 Hive 大数据处理

• Hadoop、Spark 和 Hive 是大数据处理生态系统中的关键组件，每个组件都扮演着独特但通常互补的角色。
• 它们解决了存储、处理和分析大型数据集的挑战，这些数据集超出了传统数据库系统的能力。

Hadoop

• Hadoop 是一个开源的分布式处理框架，用于管理在集群系统中运行的大数据应用程序的数据处理和存储。
• 最初由 Doug Cutting 和 Mike Cafarella 在 Yahoo 创建。
• 它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。

Hadoop分布式文件系统（HDFS）

• HDFS 是 Hadoop 的存储层，旨在可靠地存储非常大的文件，并以高带宽流式传输这些文件。
• HDFS 采用主/从架构。
• NameNode 是主服务器，用于管理文件系统命名空间并管理客户端对文件的访问。
• DataNode 是从节点，以块的形式存储数据。
• 文件被分成块，通常大小为 128MB，这些块在多个 DataNode 上复制，以实现容错。
• HDFS 被设计为容错的；数据复制确保如果 DataNode 发生故障，数据仍然可以从其他节点获得。

MapReduce

• MapReduce 是与 Hadoop 关联的编程模型和处理引擎。
• 它允许并行处理大型数据集。
• MapReduce 作业将输入数据分成独立的块，这些块由 map 任务并行处理。
• map 任务的输出经过排序，然后输入到 reduce 任务。
• reduce 任务聚合和处理 map 任务的结果，以生成最终输出。
• MapReduce 适用于数据的批处理，其中整个数据集一次处理。
• 虽然功能强大，但由于其基于磁盘的性质，MapReduce 对于迭代算法和实时处理来说可能很慢。

Yet Another Resource Negotiator (YARN)

• YARN 是 Hadoop 中的资源管理层。
• 它允许诸如 Spark 和 MapReduce 之类的多个数据处理引擎在同一 Hadoop 集群上运行。
• YARN 将资源管理与 MapReduce 处理模型分离。
• ResourceManager 管理集群资源到各种应用程序的分配。
• ApplicationMaster 管理在 YARN 上运行的应用程序的生命周期。
• NodeManager 管理集群中各个节点上的资源。

Spark

• Apache Spark 是一个快速的内存数据处理引擎，专为速度、易用性和复杂的分析而设计。
• 它是在加州大学伯克利分校的 AMPLab 开发的。
• Spark 扩展了 MapReduce 模型，以有效地支持更多类型的计算，包括交互式查询和流处理。

弹性分布式数据集（RDD）

• RDD 是 Spark 中的基本数据结构。
• 它们是不可变的分布式数据集合。
• RDD 支持两种类型的操作：转换和操作。
• 转换从现有 RDD 创建新的 RDD（例如，map、filter）。
• 操作基于 RDD 计算结果，并将其返回给驱动程序或将其保存到外部存储（例如，count、collect）。
• RDD 具有容错能力；如果 RDD 的分区丢失，则可以从原始数据重新计算。

Spark Core

• Spark Core 是 Spark 平台的基础。
• 它提供基本功能，如任务调度、内存管理和故障恢复。
• 它支持各种编程语言，包括 Java、Scala、Python 和 R。

Spark SQL

• Spark SQL 是 Spark 的一个组件，允许用户使用 SQL 或 DataFrame API 查询结构化数据。
• 它支持各种数据源，包括 Hive, Parquet, JSON, 和 JDBC。
• DataFrame 是组织成命名列的数据的分布式集合，类似于关系数据库中的表。
• Spark SQL 使用查询优化和代码生成等技术来优化查询执行。

Spark Streaming

• Spark Streaming 支持流式数据的实时处理。
• 它将输入数据流分成小批量，并使用 Spark 的核心引擎处理它们。
• 离散流（DStream）是 Spark Streaming 中的基本抽象，代表连续的数据流。
• Spark Streaming 为数据处理提供容错和恰好一次的语义。

MLlib

• MLlib 是 Spark 的机器学习库，提供各种机器学习算法，包括分类、回归、聚类和协同过滤。
• 它还包括用于特征提取、转换和选择以及模型评估和验证的工具。

GraphX

• GraphX 是 Spark 用于图形分析的 API。
• 它允许用户对大型图执行图并行计算。
• GraphX 提供了一组丰富的图形算法，包括 PageRank、连接的组件和三角形计数。

Hive

• Apache Hive 是一个构建在 Hadoop 之上的数据仓库系统，用于提供数据查询和分析。
• 它提供了一个类似于 SQL 的接口来查询存储在 Hadoop 中的数据。
• Hive 将 SQL 查询转换为 MapReduce 作业，然后在 Hadoop 集群上执行。
• 最初由 Facebook 开发。

Hive 体系结构

• Hive 由几个组件组成，包括 Hive CLI、HiveServer2、Metastore、Driver、Query 编译器和执行引擎。
• Hive CLI 提供了一个命令行界面，用于执行 Hive 查询。
• HiveServer2 是一个服务器，允许客户端通过 JDBC 或 ODBC 提交 Hive 查询。
• Metastore 存储有关 Hive 表的元数据，包括它们的模式、位置和其他属性。
• Driver 从用户接收 SQL 查询，并将它们传递给查询编译器。
• 查询编译器将 SQL 查询转换为 MapReduce 作业。
• 执行引擎在 Hadoop 集群上执行 MapReduce 作业。

Hive 数据模型

• Hive 支持多种数据类型，包括原始类型（例如，INT、STRING、BOOLEAN）和复杂类型（例如，ARRAY、MAP、STRUCT）。
• Hive 表可以根据一个或多个列的值分区到目录中。
• 分区通过允许 Hive 仅读取表的相关分区来提高查询性能。
• Hive 支持各种文件格式，包括 TextFile、SequenceFile、RCFile、ORC 和 Parquet。
• ORC 和 Parquet 是列式存储格式，与基于行的格式（如 TextFile）相比，可提供更好的压缩和查询性能。

Hive 查询语言 (HiveQL)

• HiveQL 是 Hive 中使用的类似于 SQL 的查询语言。
• 它支持大多数标准 SQL 功能，包括 SELECT、FROM、WHERE、GROUP BY、ORDER BY 和 JOIN。
• HiveQL 还包括用于处理 Hadoop 的扩展，例如从现有 HDFS 文件创建表以及执行自定义 MapReduce 脚本的功能。
• 用户定义的函数 (UDF) 可以用 Java 等语言编写，以扩展 Hive 的内置函数。

Hive 用例

• Hive 通常用于数据仓库、报告和 ETL（提取、转换、加载）任务。
• 它适用于不需要低延迟的大数据集的批处理。
• Hive 可用于查询和分析以各种格式存储的数据，包括结构化、半结构化和非结构化数据。

集成与比较

• Hadoop 提供基础的分布式存储和处理能力，而 Spark 通过其内存计算提高了处理速度。
• Hive 提供了一个类似于 SQL 的接口来查询存储在 Hadoop 中的数据，使用户更容易熟悉 SQL 来分析大数据。
• Spark 可以与存储在 HDFS、Hive 和其他数据源中的数据一起使用。
• Spark SQL 可用于查询存储在 Hive 表中的数据，从而提供比 Hive 基于 MapReduce 的执行引擎更快的替代方案。
• Spark 非常适合迭代算法、交互式查询和实时处理，而 Hadoop MapReduce 更适合批量处理非常大的数据集。
• YARN 允许 Spark 和 MapReduce 在同一 Hadoop 集群上运行，共享资源和基础设施。
• Hive 依赖于 Hadoop 进行存储和处理，但也可以通过 Spark SQL 与其他处理引擎（如 Spark）一起使用。
• 选择正确的工具取决于具体的用例、数据特征和性能要求。