MACHINE LEARNING & DATA MINING

Machine Learning và Khai phá dữ liệu

• Machine Learning (Học máy) là xây dựng các hệ thống máy tính có thể tự cải thiện bản thân bằng cách học từ dữ liệu.
• Khai phá dữ liệu (Data Mining) là tìm ra những tri thức mới và hữu dụng từ các tập dữ liệu lớn.

Quy trình thực hiện

• Quy trình thực hiện học máy gồm các bước:
  • Dữ liệu: collection, processing, visualization
  • Phân tích và Visualization: analysis, hypothesis testing, modeling
  • Sự hiểu biết: grasping, insight, policy
  • Quyết định: decision making

Quy trình thực hiện: hướng sản phẩm

• Quy trình thực hiện hướng sản phẩm gồm các bước:
  • Hiểu biết kinh doanh: business understanding
  • Yêu cầu dữ liệu: data requirements
  • Thu thập dữ liệu: data collection
  • Xử lý dữ liệu: data preparation
  • Đánh giá: evaluation
  • Quyết định: decision making

Phát triển sản phẩm: kinh nghiệm từ IBM

• IBM Research đã phát triển sản phẩm DeepQA, đạt tỉ lệ chính xác 100% trong cuộc thi Jeopardy.

Machine Learning?

• LASSO (Least Absolute Shrinkage and Selection Operator) là một phương pháp học máy thực hiện đồng thời việc hạn chế và lựa chọn đặc trưng.

OLS, Ridge, LASSO

• Ordinary Least Squares (OLS) là một phương pháp hồi quy tuyến tính đơn giản.
• Ridge là một phương pháp học máy được sử dụng để hạn chế tình trạng quá khớp (overfitting).
• LASSO là một phương pháp học máy được sử dụng để hạn chế và lựa chọn đặc trưng.

Nhập môn Học máy và Khai phá dữ liệu

• Học máy và Khai phá dữ liệu là hai lĩnh vực liên quan đến nhau, nhưng khác biệt về mục đích và phương pháp.

Hai bài toán học

• Học có giám sát (Supervised learning) là học máy trên các dữ liệu đã được gắn nhãn.
• Học không giám sát (Unsupervised learning) là học máy trên các dữ liệu không có nhãn.

Phân cụm

• Phân cụm (Clustering) là một phương pháp học máy không giám sát được sử dụng để phát hiện các cụm trong dữ liệu.
• Giải thuật phân cụm gồm các bước:
  • Đầu vào: một tập dữ liệu không có nhãn
  • Đầu ra: các cụm của các quan sát
  • Đánh giá chất lượng phân cụm

Phương pháp K-means

• K-means là một phương pháp phân cụm phổ biến được giới thiệu bởi Lloyd năm 1957.
• K-means phân chia tập dữ liệu thành k cụm dựa trên khoảng cách giữa các quan sát.

Đánh giá hiệu năng hệ thống học máy

• Đánh giá hiệu năng hệ thống học máy là cần thiết để xác định hiệu quả của hệ thống.
• Chiến lược đánh giá gồm hai bước:
  • Lựa chọn tham số tốt
  • Đánh giá thực nghiệm

Đánh giá hiệu năng hệ thống học máy

• Đánh giá hiệu năng hệ thống học máy gồm có hai loại:
  • Đánh giá lý thuyết
  • Đánh giá thực nghiệm

Đánh giá hiệu năng hệ thống học máy…

• Bài toán đánh giá là cần đánh giá hiệu năng của phương pháp học máy A, chỉ dựa trên bộ dữ liệu đã quan sát D.
• Chiến lược đánh giá gồm các bước:
  • Đánh giá thực nghiệm
  • Đánh giá lý thuyết
  • Tiêu chí đánh giá