Kho dữ liệu và khai phá dữ liệu

Là một hệ thống tích lũy dữ liệu từ các nguồn khác nhau, với mục đích hỗ trợ phân tích và báo cáo, giúp doanh nghiệp đưa ra quyết định sáng suốt, tiết kiệm thời gian và nâng cao hiệu quả phân tích dữ liệu.

Dữ liệu được tổ chức theo các chủ đề (ví dụ: khách hàng, sản phẩm, đơn hàng) để dễ dàng phân tích và truy xuất các thông tin liên quan.

Dữ liệu từ nhiều nguồn khác nhau được tích hợp lại, cung cấp cái nhìn tổng thể và nhất quán về dữ liệu.

Dữ liệu được gán nhãn thời gian, giúp theo dõi các thay đổi theo thời gian.

Dữ liệu không thay đổi sau khi lưu trữ, đảm bảo tính nhất quán và chính xác.

Kho dữ liệu hoạt động như một kho lưu trữ trung tâm, kết nối nhiều nguồn dữ liệu khác nhau. Dữ liệu được thu thập, xử lý, lưu trữ và phục vụ cho phân tích, báo cáo.

là quá trình lấy dữ liệu từ các nguồn khác nhau.

là quá trình làm sạch, chuẩn hóa, chuyển đổi dữ liệu thành định dạng phù hợp với kho dữ liệu.

là quá trình tải dữ liệu đã chuyển đổi vào kho dữ liệu, có thể diễn ra theo lô (batch) hoặc theo thời gian thực (realtime).

Là một cách tổ chức dữ liệu trong kho dữ liệu, mô hình hóa dữ liệu theo nhiều chiều (ví dụ: thời gian, địa điểm, sản phẩm).

Là một tập hợp dữ liệu có cấu trúc đa chiều, bao gồm các chiều (dimensions) và độ đo (measures).

Là các thuộc tính phân loại dữ liệu theo các khía cạnh khác nhau (ví dụ: thời gian, địa điểm, sản phẩm).

Là các giá trị đo lường được gán cho mỗi điểm dữ liệu (ví dụ: doanh thu, số lượng bán, lợi nhuận).

Là một cấu trúc phân cấp giúp tổ chức dữ liệu theo các cấp bậc khác nhau (ví dụ: khu vực, tỉnh, thành phố).

Là một kiểu lược đồ dữ liệu trong kho dữ liệu, có một bảng sự kiện (fact table) ở trung tâm chứa dữ liệu chi tiết, và các bảng chiều (dimensional table) xung quanh chứa các thông tin bổ sung.

Là một kiểu lược đồ dữ liệu trong kho dữ liệu, là biến thể của lược đồ hình sao. Các bảng chiều được chuẩn hóa thành nhiều bảng nhỏ hơn, giúp giảm sự dư thừa dữ liệu nhưng làm cho truy vấn phức tạp hơn.

Kiến trúc đơn tầng đơn giản, tất cả dữ liệu được lưu trữ trong một lớp duy nhất, không phân tách rõ ràng giữa xử lý phân tích và giao dịch.

Kiến trúc hai tầng phân tách rõ ràng giữa xử lý phân tích và giao dịch, gồm 4 giai đoạn: lớp nguồn, giai đoạn dữ liệu, lớp kho dữ liệu và lớp phân tích.

Kiến trúc ba tầng phổ biến nhất, gồm 3 lớp: lớp nguồn, lớp đối chiếu và lớp kho dữ liệu. Cung cấp tính toán vẹn cao, linh hoạt và phù hợp với hệ thống mở.

Là quá trình tìm kiếm, khám phá các mẫu, quy luật, thông tin hữu ích từ các tập dữ liệu lớn, sử dụng các kỹ thuật, thuật toán trong lĩnh vực khoa học dữ liệu, máy học, thống kê.

Bước 1: Xác định vấn đề, không gian dữ liệu. Bước 2: Chuẩn bị dữ liệu. Bước 3: Khai thác dữ liệu. Bước 4: Đánh giá, diễn giải. Bước 5: Triển khai.

Là kỹ thuật phân loại các đối tượng vào các nhóm hoặc lớp cụ thể dựa trên thuộc tính của chúng, dự đoán hoặc xác định lớp của các đối tượng mới dựa trên dữ liệu huấn luyện đã có.

Thu thập dữ liệu huấn luyện, tiền xử lý dữ liệu, chọn thuật toán phân loại, huấn luyện mô hình phân loại, đánh giá mô hình, triển khai mô hình.

Là kỹ thuật tìm ra các mối quan hệ giữa các biến trong cơ sở dữ liệu, mục tiêu tìm ra các mẫu, quy luật mà các mục dữ liệu thường xuất hiện cùng nhau trong các giao dịch.

Là một tập hợp các mục dữ liệu, ví dụ: trong phân tích giỏ hàng, một tập mục có thể là các sản phẩm mà khách hàng mua cùng nhau.

Là tỷ lệ phần trăm của các giao dịch trong cơ sở dữ liệu chứa một tập mục cụ thể, đo lường mức độ phổ biến của tập mục trong toàn bộ cơ sở dữ liệu.

Là tỷ lệ phần trăm của các giao dịch chứa một tập mục cụ thể cũng chứa một tập mục khác, đo lường mức độ chắc chắn của luật kết hợp.

Xác định ngưỡng hỗ trợ tối thiểu, tạo tập mục đơn, sinh tập mục kết hợp, tính toán độ hỗ trợ cho các tập mục kết hợp, lặp lại quá trình, kết quả.

Thu thập dữ liệu, tiền xử lý dữ liệu, chuyển đổi dữ liệu, khai phá dữ liệu, đánh giá và diễn giải, triển khai.

Là quá trình chuyển đổi dữ liệu thô thành định dạng dễ hiểu, sẵn sàng sử dụng cho các mô hình phân tích và học máy, loại bỏ các vấn đề như dữ liệu thiếu, nhiễu, không nhất quán, đảm bảo dữ liệu chất lượng cao để huấn luyện mô hình.

Thu thập dữ liệu, làm sạch dữ liệu, chuyển đổi dữ liệu, giảm chiều dữ liệu, tách tập dữ liệu, tính năng mở rộng quy mô.

Là một thuật toán khai phá luật kết hợp, được sử dụng để tìm các tập mục thường xuyên (frequent itemsets) và tạo luật kết hợp (association rules) dựa trên dữ liệu giao dịch.

Là một kỹ thuật khai phá dữ liệu sử dụng cấu trúc cây để biểu diễn các quy tắc quyết định, giúp phân loại dữ liệu.

Là kỹ thuật nhóm các đối tượng dữ liệu tương tự nhau vào cùng một cụm, dựa trên các thuộc tính của chúng.

Là kỹ thuật phân loại các đối tượng vào các nhóm hoặc lớp cụ thể dựa trên thuộc tính của chúng, dự đoán hoặc xác định lớp của các đối tượng mới dựa trên dữ liệu huấn luyện đã có.

Là kỹ thuật sử dụng các hàm toán học để mô hình hóa mối quan hệ giữa các biến trong cơ sở dữ liệu, dự đoán giá trị của biến phụ thuộc dựa trên giá trị của các biến độc lập.

Là một phần mềm mã nguồn mở được sử dụng cho khai phá dữ liệu, cung cấp một bộ công cụ phong phú để xử lý dữ liệu, xây dựng và đánh giá các mô hình khai phá dữ liệu.

Là một thuật toán xây dựng cây quyết định được sử dụng trong khai phá dữ liệu, thuật toán này dựa trên entropy và information gain để chọn thuộc tính tốt nhất để phân chia tập dữ liệu.

Là một thuật toán xây dựng cây quyết định, dựa trên entropy và information gain, thuật toán này cải tiến từ ID3 bằng cách xử lý các thuộc tính có giá trị liên tục và các tập dữ liệu lớn.

Là một phần mềm mã nguồn mở được sử dụng cho khai phá dữ liệu, cung cấp một giao diện đồ họa thân thiện và một bộ công cụ đa dạng để xây dựng và đánh giá các mô hình khai phá dữ liệu.

Là một hệ quản trị cơ sở dữ liệu (DBMS) được thiết kế cho việc phân tích dữ liệu quy mô lớn, cung cấp hiệu suất cao và khả năng mở rộng.