Quản lý Dữ liệu với Spark và GraphX

Thuật toán PageRank, TriangleCount, Pregel đều được hỗ trợ bởi GraphX API, thuật toán Apriori không được hỗ trợ.

Đầu ra của quá trình Map là một tập các cặp khóa-giá trị, mỗi khóa kết hợp với một tập giá trị.

Structured Streaming API là API chính xử lý dữ liệu luồng trực tuyến hiện tại trong Spark.

Hàm partition thường là một hàm băm đơn giản để chia khóa và song song hóa reduce.

RDD được tạo bằng các cách: đọc từ nguồn dữ liệu, biến đổi từ RDD khác, song song hóa bộ sưu tập và tạo ngẫu nhiên.

MLlib hỗ trợ các thuật toán thống kê, mạng nơ-ron, hồi quy, nhưng không hỗ trợ lọc công tác.

GraphX tận dụng ưu điểm của xử lý song song và đồ thị, hợp nhất hiệu quả của các hệ thống.

RDD là đối tượng chỉ đọc, có thể tạo RDD mới từ các biến đổi, và được tạo bởi các phương thức song song hoặc đọc tập tin.

Các quá trình trung gian giữa Map và Reduce là: Shuffle, Partition, Combine, Sort.

Dataset xử lý hiệu quả dữ liệu có cấu trúc và bản cấu trúc.

Trong Spark, nếu tập dữ liệu được chia thành n phân vùng, thì một thao tác sẽ kích hoạt n tác vụ. Mỗi phân vùng sẽ được xử lý bởi một tác vụ riêng biệt.

Spark lưu trữ dữ liệu chủ yếu trong bộ nhớ RAM, giúp tăng tốc độ xử lý. Đĩa cứng được sử dụng để lưu trữ dữ liệu vĩnh viễn.

Quá trình Reduce trong Spark lấy ý tưởng từ hàm fold trong lập trình hàm. Hàm fold kết hợp các phần tử trong một danh sách thành một giá trị duy nhất.

Biến đổi hẹp trong Spark tạo mối quan hệ 1-1 giữa các phân mảnh cha và con. Đầu vào và đầu ra nằm trên cùng một phân mảnh, không cần di chuyển dữ liệu.

Trong mô hình MapReduce, quá trình Shuffle và Sort diễn ra ngay trước quá trình Reduce. Dữ liệu được sắp xếp lại để các giá trị cùng khóa được đưa về cùng một máy.

DataFrame trong Spark có thể được tạo thành từ nhiều nguồn dữ liệu khác nhau, bao gồm bảng trong Hive, tập tin dữ liệu có cấu trúc, và cơ sở dữ liệu bên ngoài.

RDD trong Spark có hai loại thao tác chính: Biến đổi (transformation) và Hành động (action). Biến đổi tạo ra RDD mới từ RDD hiện tại, trong khi Hành động thực hiện tính toán trên RDD.

DataFrame chỉ hoạt động trên dữ liệu có cấu trúc. Dữ liệu có cấu trúc có dạng bảng với các cột và hàng rõ ràng.

Big Data là một tập hợp dữ liệu rất lớn mà các kỹ thuật điện toán thông thường không thể xử lý được một cách hiệu quả.

Đầu ra của quá trình Reduce trong mô hình MapReduce là một giá trị tổng hợp, được tạo thành từ việc kết hợp các giá trị cùng khóa.

Khi người dùng cố gắng truy cập vào cột dữ liệu không tồn tại trong bảng, API sẽ xử lý như thế nào?

API của DataFrame sẽ đưa ra lỗi khi chạy chương trình. Nó sẽ không báo lỗi khi biên dịch, bởi vì lỗi này chỉ xảy ra khi chương trình chạy và cố truy cập vào cột không tồn tại.

Hạn chế của mô hình MapReduce là nó không hoạt động tốt với các bài toán thời gian thực (realtime), các bài toán đệ quy và xử lý dữ liệu phi cấu trúc, và xử lý dữ liệu luồng.

Spark SQL sử dụng một mô hình dữ liệu có khả năng lập mô hình dữ liệu từ nhiều nguồn và định dạng khác nhau, hỗ trợ các kiểu dữ liệu do người dùng định nghĩa và dựa trên mô hình dữ liệu lồng nhau của Hive.

Mục tiêu của Spark là mở rộng mô hình MapReduce để hỗ trợ tốt hơn cho các thuật toán lặp và ứng dụng phân tích dữ liệu đồ thị. Spark được thiết kế để xử lý tốt các thuật toán lặp đi lặp lại và phân tích dữ liệu đồ thị phức tạp.

Mô hình MapReduce được công bố vào năm 2004.

Tập tin XML là ví dụ về dữ liệu bán cấu trúc. Dữ liệu bán cấu trúc có một số cấu trúc, nhưng không phải là một cấu trúc nghiêm ngặt như cơ sở dữ liệu quan hệ.

Spark bắt đầu từ AMPLab tại Đại học California, Berkeley.

Catalyst là trình tối ưu hóa của Spark SQL. Nó hỗ trợ tối ưu hóa dựa trên quy tắc và dựa trên chi phí, và được xây dựng dựa trên cấu trúc lập trình hướng đối tượng. Catalyst cho phép các nhà phát triển bên ngoài mở rộng chức năng.

DataFrame là một đối tượng dữ liệu trong Spark tương đương với một bảng trong cơ sở dữ liệu quan hệ. DataFrame là một tập hợp dữ liệu được tổ chức thành các hàng được đặt tên, và có thể được truy cập bằng ngôn ngữ Scala, Java, Python, và R.

Quy trình xử lý dữ liệu lớn thường bao gồm các bước: Thu thập, Tiền xử lý, Lưu trữ và Phân tích.

Spark SQL là công cụ hỗ trợ xử lý dữ liệu theo mô hình quan hệ, kết hợp các ưu điểm của both Spark và các hệ quản trị cơ sở dữ liệu (DBMS).

Hàm combine là một dạng hàm reduce nhỏ, được thực thi trong bộ nhớ sau pha map. Nó giúp tối ưu hóa hiệu suất bằng cách giảm lưu lượng mạng và giảm khối lượng dữ liệu truyền đến pha reduce.

Các thao tác biến đổi trên RDD trong Spark tuân theo nguyên tắc trì hoãn tính toán, tức là các phép tính chỉ được thực hiện khi cần thiết.

Phép Biến đổi rộng một RDD tạo mối quan hệ nhiều-nhiều giữa các phân mảnh cha và con. Yêu cầu đầu vào có thể nằm ở nhiều phân mảnh khác nhau.

GraphX sử dụng cấu trúc bộ ba (Triplet) để lưu trữ đồ thị. Mỗi bộ ba bao gồm một đỉnh xuất phát, một đỉnh kết thúc và một cạnh kết nối hai đỉnh đó.

Dataset là một tập hợp dữ liệu bất biến được lưu trữ phân tán và có kiểu dữ liệu chặt chẽ. Được thêm vào từ phiên bản Spark 1.6, Dataset hỗ trợ cả Scala và Java.

Dataset KHÔNG hỗ trợ lưu trữ phân tán dữ liệu đồ thị. Dataset được thiết kế để xử lý dữ liệu có cấu trúc và bản cấu trúc.

"Velocity" (tốc độ) là một trong những đặc điểm của Dữ liệu lớn. Nó thể hiện mức độ nhanh chóng mà dữ liệu được tạo ra, thu thập và xử lý.

Trình thực thi Tungsten trong Spark giúp tối ưu hóa hiệu suất xử lý bằng cách: a. Hỗ trợ quản lý bộ nhớ minh bạch, b. Cho phép thao tác trực tiếp với các đối tượng Java đã được tuần tự hóa, c. Tự động tạo mã Java bytecode.

Đô thị trong Spark được lưu trữ dưới dạng GraphX, một API được thiết kế đặc biệt để xử lý dữ liệu đồ thị. GraphX bao gồm các lớp và phương thức để thao tác các đỉnh và cạnh trong đồ thị.

Tập tin JSON, tài liệu, văn bản, video và dữ liệu từ cảm biến đều là dữ liệu phi cấu trúc. Dữ liệu phi cấu trúc là dữ liệu không có cấu trúc hoặc schema xác định trước. Do đó, dữ liệu này không có bố cục tổ chức như bảng trong cơ sở dữ liệu.

Apache Spark được viết chủ yếu bằng Scala, nhưng cũng hỗ trợ ngôn ngữ lập trình khác như Python, Java và R. Scala được sử dụng rộng rãi vì hiệu năng và sự tích hợp chặt chẽ với Spark.

Khả năng phục hồi của RDD chủ yếu dựa vào tính bất biến của nó. Mỗi phép biến đổi trên RDD tạo ra một RDD mới, giữ lại RDD gốc. Vì vậy, thông tin nguồn gốc của RDD được lưu giữ, cho phép phục hồi dữ liệu bị lỗi.

Trong GraphX, việc tách biệt giữa thuộc tính và cấu trúc cho phép tái sử dụng thông tin cấu trúc trên nhiều đồ thị con. Điều này hiệu quả hơn vì bạn sẽ không phải lưu trữ cấu trúc đồ thị nhiều lần cho mỗi đồ thị con.

Các dịch vụ như bảo dưỡng bảo hành thiết bị điện gia dụng, dịch vụ nghe nhạc/xem phim trực tuyến, dịch vụ mua bán trực tuyến và mạng xã hội đều tạo ra một lượng lớn dữ liệu. Dữ liệu này có thể bao gồm thông tin về người dùng, hành vi, hoạt động, v.v.

Theo cấu trúc, dữ liệu được phân thành hai loại chính: có cấu trúc và phi cấu trúc. Dữ liệu có cấu trúc là dữ liệu có schema xác định trước, ví dụ như dữ liệu trong cơ sở dữ liệu. Dữ liệu phi cấu trúc là dữ liệu không có schema xác định trước, ví dụ như văn bản, video, âm thanh.

Hai vấn đề nan giải của mô hình MapReduce là mô hình lập trình hạn chế trong việc giải quyết một số bài toán phức tạp và hiệu quả kém với ứng dụng chia sẻ dữ liệu qua mạng. Mô hình MapReduce là mô hình xử lý song song được sử dụng rộng rãi trong xử lý dữ liệu lớn. Nó có khả năng xử lý lượng dữ liệu lớn nhưng có những giới hạn nhất định.

RDD là một tập hợp các phân mảnh dữ liệu, được lưu trữ và xử lý song song trên một cụm máy. RDD là tập hợp dữ liệu không thay đổi, mỗi biến đổi sẽ tạo ra một RDD mới.

Thứ tự các giai đoạn tối ưu hóa bằng trình tối ưu hóa Catalyst là: phân tích kế hoạch luận lý để tìm ra các tham chiếu, tối ưu hóa kế hoạch luận lý, lập kế hoạch vật lý và cuối cùng là biên dịch các phần của truy vấn sang Java bytecode. Catalyst là trình tối ưu hóa truy vấn của Spark, giúp tối ưu hóa hiệu suất bằng cách sắp xếp các bước thực thi.

Trong Spark, Trình điều khiển (Driver) là một nút duy nhất trong cụm máy, đóng vai trò quản lý và điều phối các tác vụ trên các nút máy tính khác. Trình điều khiển không trực tiếp thực hiện tính toán, mà điều phối và quản lý các tác vụ của cụm máy.