Kỹ thuật Feature Engineering

Study Notes

Kỹ thuật Feature Engineering

Bao gồm các kỹ thuật để chuẩn bị dữ liệu cho mô hình học máy
Bao gồm các kỹ thuật sau:
- Phân bổ dữ liệu thiếu (Data imputation):
  - Sử dụng giá trị trước hoặc sau
  - K láng giềng gần nhất (K Nearest Neighbors)
  - Giá trị lớn nhất hoặc nhỏ nhất
  - Dự đoán giá trị thiếu
  - Giá trị xuất hiện nhiều nhất (Most Frequent Value)
  - Trung bình hoặc nội suy tuyến tính (Average or Linear Interpolation)
  - Trung bình hoặc trung bình động (Rounded) hoặc trung vị (Median Value)
  - Giá trị cố định (Fixed Value)
- Chuẩn hóa dữ liệu (Data normalization):
  - Chuẩn hóa min-max:
    - Công thức: y = (x - xmin) / (xmax - xmin)
    - Biến đổi dữ liệu vào khoảng [0, 1]
  - Chuẩn hóa z-score:
    - Công thức: y = (x - mean(x)) / stddev(x)
    - Biến đổi dữ liệu sao cho có giá trị trung bình bằng 0 và độ lệch chuẩn bằng 1
  - Chuẩn hóa theo tỉ lệ thập phân (normalization by decimal scaling):
    - Công thức: y = x / 10^j, trong đó j là số nguyên nhỏ nhất để max(y) < 1
    - Điều chỉnh dữ liệu để có giá trị lớn nhất nhỏ hơn 1.
- Mã hóa một nóng (One-hot encoding):
  - Biến đổi các biến phân loại thành các biến số nhị phân (0 hoặc 1).
  - Ví dụ: Biến "màu sắc" (đỏ, xanh lá, xanh dương) được mã hóa thành ba cột riêng biệt.
- Chuyển đổi logarit (Log transform):
  - Sử dụng hàm logarit để biến đổi dữ liệu.
  - Cải thiện phân phối lệch của dữ liệu.
  - Thích hợp cho dữ liệu dãy thời gian và dữ liệu NLP.
- Kỹ thuật feature engineering trong dãy thời gian (time-series), NLP

Xử lý ngoại lai (Outliers)

Phát hiện ngoại lai (Outlier detection):
Loại bỏ ngoại lai (Remove outliers):
Biến đổi ngoại lai (Transform outliers):
- Sử dụng hàm logarit (log transform)
Phân bổ lại ngoại lai (Impute outliers):
- Sử dụng giá trị trung bình (mean), trung vị (median), giá trị xuất hiện nhiều nhất (mode), láng giềng gần nhất (nearest neighbor)

Kỹ thuật Feature Engineering trong dãy thời gian (Time Series)

Hiệu số bậc hai: y = x(t) – x(t − 1) và y'(t) = y(t) - y(t − 1)
Hàm logarit: log(y'(t))
Phân tích xu hướng và mùa vụ: Sử dụng kỹ thuật LOESS (STL) để tách các thành phần mùa vụ và xu hướng trong dữ liệu.

Kỹ thuật Feature Engineering trong NLP (Natural Language Processing)

Túi từ (Bag of words):
- Biến đổi văn bản thành tập hợp các từ
- Cần xử lý tần suất xuất hiện của từ (TF-IDF)
Tần suất từ - nghịch đảo tần suất tài liệu (Term Frequency-Inverse Document Frequency - TF-IDF):
- Biểu thị tầm quan trọng của từ trong tài liệu dựa trên tần suất xuất hiện của từ trong toàn bộ tập dữ liệu.
Word2vec: Biểu diễn từ như các vectơ trong không gian vector.

Lựa chọn Feature

Phương pháp không giám sát
- Loại bỏ features không đầy đủ
- Loại bỏ features có độ tương quan cao
Phương pháp có giám sát
- Forward selection
- Backward selection
- Recursive feature elimination
Phương pháp nhúng (Embedded)
- LASSO (Least Absolute Shrinkage and Selection Operator)
- Autoencoder

Giảm chiều dữ liệu (Data dimensionality reduction)

PCA (Principal Component Analysis): Giảm số lượng biến bằng cách tìm các thành phần chính.
LDA (Linear Discriminant Analysis): Giảm số lượng biến bằng cách tìm các thành phần phân biệt các lớp.
Autoencoder: Tạo ra mô hình mạng nơ-ron đối xứng để giảm chiều dữ liệu.