Kho dữ liệu và khai phá dữ liệu

Kho dữ liệu data warehouse là một hệ thống lưu trữ dữ liệu từ nhiều nguồn khác nhau. Mục đích chính là hỗ trợ việc phân tích và báo cáo dữ liệu.

• Hướng chủ đề object oriented: Dữ liệu được tổ chức theo các chủ đề. • Tích hợp integrated: Dữ liệu từ nhiều nguồn khác nhau được tích hợp lại. • Có gán nhãn thời gian time variant: Dữ liệu được gán nhãn thời gian. • Bất biến non-volatile: Dữ liệu không thay đổi sau khi lưu trữ.

Hoạt động như một kho lưu trữ trung tâm: Dữ liệu từ nhiều nguồn khác nhau được thu thập, xử lý, lưu trữ, phân tích, báo cáo.

<ol> <li> <strong>Tích xuất extract</strong>: Dữ liệu được lấy từ nhiều nguồn khác nhau.</li> <li> <strong>Chuyển đổi transform</strong>: Dữ liệu được làm sạch, chuẩn hóa, chuyển đổi thành định dạng phù hợp với kho dữ liệu.</li> <li> <strong>Tải load</strong>: Dữ liệu đã chuyển đổi được tải vào kho dữ liệu.</li> </ol> Signup and view all the answers

<p>Amazon redshift</p> Signup and view all the answers

<p>Mô hình dữ liệu đa chiều multidimensional data model là một cách tổ chức dữ liệu trong kho dữ liệu giúp dữ liệu được xem xét theo nhiều chiều, phân tích dữ liệu trực quan và hiệu quả hơn.</p> Signup and view all the answers

<p>Khối dữ liệu data cube</p> Signup and view all the answers

<p><strong>Cấu trúc</strong> • <strong>Lược đồ hình sao</strong>: Một bảng sự kiện fact table ở trung tâm và các bảng chiều dimmensional table ở xung quanh. • <strong>Lược đồ hình bông tuyết</strong>: Biến thể của lược đồ hình sao với các bảng chiều chuẩn hóa thành nhiều bảng nhỏ hơn. <strong>Đặc điểm</strong> • <strong>Lược đồ hình sao</strong>: Không chuẩn hóa, hiệu suất truy vấn nhanh hơn, số lượng phép nối joins ít hơn, dễ hiểu và sử dụng, dữ thừa dữ liệu cao hơn. • <strong>Lược đồ hình bông tuyết</strong>: Chuẩn hóa, hiệu suất truy vấn chậm hơn, số lượng phép nối joins nhiều hơn và phức tạp hơn, bảo trì dễ hơn, dư thừa dữ liệu thấp hơn. <strong>Hiệu suất truy vấn</strong> • <strong>Lược đồ hình sao</strong>: Nhanh hơn, ít phép nối hơn. • <strong>Lược đồ hình bông tuyết</strong>: Chậm hơn, nhiều phép nối phức tạp hơn. <strong>Dễ bảo trì</strong> • <strong>Lược đồ hình sao</strong>: Khó hơn. • <strong>Lược đồ hình bông tuyết</strong>: Dễ hơn. <strong>Dư thừa dữ liệu</strong> • <strong>Lược đồ hình sao</strong>: Cao hơn. • <strong>Lược đồ hình bông tuyết</strong>: Giảm thiểu sự dư thừa này</p> Signup and view all the answers

<p>Một tầng (Single-tier arch)</p> Signup and view all the answers

<p><strong>Kiến trúc một tầng (Single-tier arch):</strong> • <strong>Ưu điểm</strong>: Đơn giản, không phổ biến, giảm thiểu dư thừa dữ liệu. • <strong>Nhược điểm</strong>: Hiệu suất thấp, không phù hợp với hệ thống yêu cầu xử lý phân tích và giao dịch đồng thời, phức tạp hơn. <strong>Kiến trúc hai tầng (Two-tier arch):</strong> • <strong>Ưu điểm</strong>: Phân tách rõ ràng, kiểm soát tốt hơn, dễ hiểu. • <strong>Nhược điểm</strong>: Tốn kém không gian lưu trữ, phức tạp hơn. <strong>Kiến trúc ba tầng (Three-tier arch):</strong> • <strong>Ưu điểm</strong>: Phổ biến nhất, tính toán vẹn cao, linh hoạt. • <strong>Nhược điểm</strong>: Không có nhược điểm cụ thể được nêu trong tài liệu.</p> Signup and view all the answers

<ol> <li>Phân tích nhu cầu</li> <li>Lập kế hoạch</li> <li>Thiết kế kiến trúc data warehouse</li> <li>Thu thập và chuẩn hóa dữ liệu</li> <li>Xây dựng quy trình ETL (trích xuất, chuyển đổi, tải)</li> <li>Phát triển các ứng dụng phân tích dữ liệu</li> <li>Triển khai và bảo trì</li> </ol> Signup and view all the answers

<p>• <strong>Chất lượng dữ liệu</strong>: Đảm bảo dữ liệu được làm sạch, chuẩn hóa, duy trì tính chính xác, nhất quán. • <strong>Bảo mật dữ liệu</strong>: Thiết lập các biện pháp bảo mật, bảo vệ dữ liệu khỏi truy cập trái phép. • <strong>Hiệu suất</strong>: Tối ưu hóa hiệu suất truy vấn và xử lý dữ liệu, đáp ứng nhu cầu phân tích nhanh chóng. • <strong>Tính linh hoạt</strong>: Thiết kế hệ thống có khả năng mở rộng, thích ứng với các thay đổi trong tương lai.</p> Signup and view all the answers

<p>Khai phá dữ liệu data mining là quá trình tìm kiếm, khám phá các mẫu, quy luật, thông tin hữu ích từ các tập dữ liệu lớn.</p> Signup and view all the answers

<ol> <li> <strong>Xác định vấn đề, không gian dữ liệu</strong>: Hiểu rõ vấn đề cần giải quyết, xác định các nguồn dữ liệu liên quan.</li> <li> <strong>Chuẩn bị dữ liệu</strong>: Làm sạch dữ liệu, tích hợp dữ liệu, chọn dữ liệu.</li> <li> <strong>Khai thác dữ liệu</strong>: Sử dụng các kỹ thuật, thuật toán, tìm ra các mẫu, quy luật trong dữ liệu.</li> <li> <strong>Đánh giá, diễn giải</strong>: Kiểm tra, đánh giá các mẫu, quy luật đã phát hiện, diễn giải kết quả đưa ra các quyết định kinh doanh, nghiên cứu.</li> <li> <strong>Triển khai</strong>: Áp dụng các kết quả khai phá dữ liệu vào thực tế.</li> </ol> Signup and view all the answers

<p>Phát hiện bất thường anomaly detection</p> Signup and view all the answers

<ol> <li> <strong>Phân tích phân loại classification analysis</strong>: Phân loại các đối tượng vào các nhóm hoặc lớp cụ thể dựa trên thuộc tính của chúng.</li> <li> <strong>Học luật kết hợp association rule learning</strong>: Tìm ra các mối quan hệ giữa các biến trong csdl.</li> <li> <strong>Phát hiện bất thường anomaly detection</strong>: Phát hiện các điểm dữ liệu không khớp với mẫu dự kiến.</li> <li> <strong>Phân tích theo cụm clustering analysis</strong>: Nhóm các đối tượng dữ liệu tương tự nhau vào cùng một cụm.</li> <li> <strong>Dự báo prediction</strong>: Dự đoán các giá trị hoặc xu hướng trong tương lai dựa trên dữ liệu hiện tại, quá khứ.</li> </ol> Signup and view all the answers

<ol> <li> <strong>Thu thập dữ liệu huấn luyện</strong>: Bao gồm các đối tượng đã biết lớp hoặc nhãn.</li> <li> <strong>Tiền xử lý dữ liệu</strong>: Làm sạch, chuẩn hóa dữ liệu, đảm bảo tính nhất quán, chất lượng của dữ liệu huấn luyện.</li> <li> <strong>Chọn thuật toán phân loại</strong>: Cây quyết định, Máy vector hỗ trợ, Mạng nơ-ron, K-nearest neighbors.</li> <li> <strong>Huấn luyện mô hình phân loại</strong>: Điều chỉnh các tham số của mô hình để tối ưu hóa hiệu suất.</li> <li> <strong>Đánh giá mô hình</strong>: Kiểm tra, đánh giá mô hình phân loại, đảm bảo hoạt động tốt trên dữ liệu mới.</li> <li> <strong>Triển khai mô hình</strong>: Sau khi mô hình được đánh giá, tối ưu hóa, triển khai để phân loại các đối tượng mới trong thực tế.</li> </ol> Signup and view all the answers

<p>Luật kết hợp Association rule là một kỹ thuật trong khai phá dữ liệu, tìm ra các mẫu, quy luật mà các mục dữ liệu thường xuất hiện cùng nhau trong các giao dịch của cơ sở dữ liệu.</p> Signup and view all the answers

<p>• <strong>Tập mục itemset</strong>: Là một tập hợp các mục dữ liệu. Trong phân tích giỏ hàng, một tập mục có thể là các sản phẩm mà khách hàng mua cùng nhau. • <strong>Độ hỗ trợ support</strong>: Là tỷ lệ phần trăm của các giao dịch trong cơ sở dữ liệu chứa một tập mục cụ thể. • <strong>Độ tin cậy confidence</strong>: Là tỷ lệ phần trăm của các giao dịch chứa một tập mục cụ thể cũng chứa một tập mục khác.</p> Signup and view all the answers

<ol> <li> <strong>Tìm tập mục thường xuyên frequent itemsets</strong>: Xác định các tập mục có độ hỗ trợ lớn hơn ngưỡng hỗ trợ tối thiểu.</li> <li> <strong>Sinh luật kết hợp generate association rule</strong>: Từ các tập mục thường xuyên, sinh ra luật kết hợp thỏa mãn ngưỡng độ tin cậy tối thiểu.</li> </ol> Signup and view all the answers

<p>• <strong>Phân tích giỏ hàng</strong>: Xác định các sản phẩm thường được mua cùng nhau, tối ưu hóa bố trí cửa hàng, chiến lược bán hàng. • <strong>Tiếp thị chéo</strong>: Đề xuất các sản phẩm bổ sung cho khách hàng dựa trên các sản phẩm họ đã mua. • <strong>Phát hiện gian lận</strong>: Xác định các mẫu giao dịch bất thường, chỉ ra hành vi gian lận.</p> Signup and view all the answers

<p>• <strong>Độ hỗ trợ support</strong>: Độ hỗ trợ của một tập mục itemsets là tỷ lệ phần trăm của các giao dịch trong csdl chứa tập mục đó. Nó đo lường độ phổ biến của tập mục trong toàn bộ cơ sở dữ liệu. • <strong>Độ tin cậy confidence</strong>: Là một thước đo quan trọng để đánh giá mức độ chắc chắn của luật kết hợp. Nó cho biết tỷ lệ phần trăm của các giao dịch chứa tập mục bên trái của luật antecedent cũng chức tập mục bên phải của luật consequent.</p> Signup and view all the answers

<ol> <li> <strong>Xác định ngưỡng hỗ trợ tối thiểu</strong>.</li> <li> <strong>Tạo tập mục đơn</strong>.</li> <li> <strong>Sinh tập mục kết hợp</strong>.</li> <li> <strong>Tính toán độ hỗ tựo cho các tập mục kết hợp</strong>.</li> <li> <strong>Lặp lại quá trình</strong>.</li> </ol> Signup and view all the answers

<p>Quá trình khai phá tri thức knowledge discovery trong CSDL bao gồm nhiều bước liên quan đến thu thập, xử lý và phân tích dữ liệu để trích xuất thông tin hữu ích. Các bước chính:</p> <ol> <li> <strong>Thu thập dữ liệu data collection</strong>: Từ nhiều nguồn khác nhau, csdl, kho dữ liệu, các nguồn dữ liệu bên ngoài.</li> <li> <strong>Tiền xử lý dữ liệu data preprocessing</strong>: Làm sạch, chuẩn hóa dữ liệu, loại bỏ các giá trị thiếu, dữ liệu lỗi.</li> <li> <strong>Khai phá dữ liệu data mining</strong>: Áp dụng các thuật toán, kỹ thuật, tìm ra các mẫu, quy luật, thông tin hữu ích từ dữ liệu.</li> <li> <strong>Đánh giá và diễn giải evaluationi, interpretation</strong>: Như tên để đưa ra quyết định kinh doanh hoặc nghiên cứu.</li> <li> <strong>Triển khai deployment</strong>: Áp dụng kết quả vào thực tế để cải thiện quy trình kinh doanh, dự báo xu hướng, giải quyết một vấn đề cụ thể.</li> </ol> Signup and view all the answers

<ol> <li> <strong>Thu thập dữ liệu data colllection</strong>.</li> <li> <strong>Làm sạch dữ liệu data cleaning</strong>: Xử lý giá trị thiếu, loại bỏ dữ liệu thiếu, loại bỏ dữ liệu trùng lặp.</li> <li> <strong>Chuyển đổi dữ liệu</strong>: Chuẩn hóa dữ liệu, mã hóa dữ liệu danh mục.</li> <li> <strong>Giảm chiều dữ liệu</strong>: pca pricipal component analysis (giảm số lượng biến bằng cách giữ lại yếu tố quan trọng nhất), t-sne (giúp trực quan hóa dữ liêuj bằng cách giảm 2 hoặc 3 chiều).</li> <li> <strong>Tách tập dữ liệu data splitting</strong>: Tập huấn luyện trainning set, tập kiểm tra test set.</li> <li> <strong>Tính năng mở rộng quy mô feature scaling</strong>: standardization (biến đổi dữ liệu sao cho giá trị trung bình là 0 và độ lệch chuẩn là 1), normalization (đưa dữ liệu về khoảng từ 0 và 1).</li> </ol> Signup and view all the answers