Khoa học dữ liệu và ứng dụng thực tế

Khoa học dữ liệu là ngành khoa học thu thập, phân tích và xử lý dữ liệu để đưa ra các insights hữu ích và hỗ trợ ra quyết định.

Khoa học dữ liệu được coi là "data-driven" (dẫn dắt bởi dữ liệu) vì nó dựa vào dữ liệu thực tế để đưa ra kết luận, thay vì chứng minh dựa trên lý thuyết như các ngành khoa học truyền thống.

Các ngành khoa học truyền thống như toán học, vật lý, hóa học thường dựa vào các lý thuyết, công thức và lập luận để chứng minh vấn đề. Chúng được gọi là "knowledge-driven" (dẫn dắt bởi tri thức).

Khoa học xác suất là một ngành khoa học có phần ngoại lệ vì nó sử dụng dữ liệu để xác định khả năng xảy ra của các sự kiện.

Những quan sát chưa được chứng minh chặt chẽ thường được cho là "không khoa học". Ví dụ: "Cơn đằng đông vừa trông vừa chạy" là một câu tục ngữ, không phải một kết luận khoa học.

Khoa học dữ liệu là một lĩnh vực liên ngành kết hợp các kỹ thuật thống kê, lập trình, và học máy để thu thập, làm sạch, phân tích, và tạo ra những thông tin có ý nghĩa từ dữ liệu.

Khoa học dữ liệu khác với các khoa học khác ở chỗ nó tập trung vào việc khai thác giá trị từ dữ liệu, thay vì tập trung vào một lĩnh vực cụ thể như vật lý, hóa học, hoặc sinh học.

Nhà khoa học dữ liệu làm việc với dữ liệu để tìm ra những mẫu và kết luận, xây dựng các mô hình dự đoán, và đưa ra những giải pháp dựa trên dữ liệu.

Các vấn đề khoa học dữ liệu thường gặp xung quanh chúng ta bao gồm các vấn đề về dữ liệu lớn, phân tích dữ liệu mạng xã hội, phân tích sentiment, dự đoán xu hướng thị trường, và các vấn đề liên quan đến AI.

Các bước thực hiện phân tích và xây dựng mô hình dữ liệu bao gồm: Thu thập dữ liệu, làm sạch dữ liệu, xử lý dữ liệu, phân tích dữ liệu, tạo mô hình, và đánh giá mô hình.

Làm việc với khoa học dữ liệu cần kỹ năng về thống kê, lập trình, học máy, trực quan hóa dữ liệu, và khả năng giao tiếp hiệu quả.

Nghề làm nhà khoa học dữ liệu được đánh giá là nghề nghiệp có triển vọng trong tương lai, với mức lương cao, môi trường làm việc năng động và cơ hội học hỏi lớn.

Công nghệ dữ liệu, phân tích dữ liệu, học máy, trí tuệ nhân tạo đang phát triển nhanh chóng, mang lại nhiều cơ hội cho những người làm trong lĩnh vực khoa học dữ liệu.

Khoa học dữ liệu khác biệt với khoa học truyền thống bởi nó tập trung vào việc khai thác tri thức trực tiếp từ dữ liệu, và không nhất thiết cần chứng minh chúng.

Tri thức được rút ra từ dữ liệu trong khoa học dữ liệu phải ổn định. Điều này có nghĩa là nếu sử dụng cùng một phương pháp và dữ liệu, kết quả thu được luôn giống nhau.

Tri thức có thể được xem như là dữ liệu ở cấp độ cao hơn về mặt trừu tượng và khái quát. Ví dụ: từ dữ liệu về số lượng xe trên một con đường có thể rút ra tri thức về mật độ giao thông.

Khoa học dữ liệu có thể thu được tri thức từ dữ liệu bằng nhiều cách, bao gồm nhận thức, khám phá, học hỏi, xử lý thông tin, quan sát, đo đạc và thu nhặt.

Dữ liệu chưa được giải nghĩa là dữ liệu thu thập được ban đầu, còn dữ liệu được làm rõ để cung cấp thông tin là dữ liệu đã được xử lý và tóm tắt.

NIST định nghĩa khoa học dữ liệu là hoạt động trực tiếp trích rút tri thức hành động từ dữ liệu thông qua các quá trình phát hiện, thiết lập và kiểm nghiệm giả thuyết.

Theo Microsoft, khoa học dữ liệu là việc sử dụng dữ liệu để đưa ra các quyết định dẫn dắt hành động.

Khoa học dữ liệu kết hợp các nguyên tắc và phương pháp từ phân tích, kỹ thuật, kinh doanh và truyền thông để tạo ra giá trị từ dữ liệu.

Một loại dữ liệu được biểu diễn dưới dạng các con số, ví dụ như số liệu thống kê về dân số, nhiệt độ.

Một loại dữ liệu bao gồm văn bản, ví dụ như bài viết, tin tức, email.

Một loại dữ liệu gồm các hình ảnh, video, ví dụ như ảnh chụp, video quay.

Một loại dữ liệu thể hiện mối quan hệ giữa các đối tượng, ví dụ như mạng xã hội, bản đồ.

Xác định và thu thập dữ liệu từ các nguồn phù hợp để giải quyết bài toán.

Xử lý, làm sạch và chuẩn hóa dữ liệu để loại bỏ các lỗi và làm cho dữ liệu phù hợp với các mô hình.

Sử dụng các kỹ thuật thống kê và máy học để tìm hiểu và phân tích dữ liệu.

Biểu diễn các kết quả của quá trình phân tích một cách trực quan và dễ hiểu.

Kiểm tra và đánh giá hiệu quả của các mô hình, đưa ra các cải tiến.

Sử dụng những insights thu thập được để đưa ra các quyết định sáng suốt và giải quyết vấn đề.

Là một lĩnh vực đa ngành, được nghiên cứu chủ yếu trong thập niên 1960-1970, tập trung vào việc khai thác và phân tích dữ liệu có cấu trúc, bán cấu trúc và phi cấu trúc để tạo ra các sản phẩm và phân tích.

Là một tập con của Khoa học dữ liệu, được phát triển mạnh trong thập niên 1990, tập trung vào việc tìm kiếm thông tin và mẫu ẩn trong dữ liệu có cấu trúc, nhằm tạo ra thông tin và kiến thức hữu ích.

Là một khái niệm rộng, bao gồm cả Data Mining và kỹ thuật thống kê, mô hình hóa dữ liệu, máy học, xử lý ngôn ngữ tự nhiên, và các kỹ thuật khác để giải quyết các vấn đề dựa trên dữ liệu.

Trung bình, trung vị, yếu vị, khoảng biến thiên, độ lệch, phương sai, độ lệch chuẩn, hệ số tương quan.

Biểu đồ tần suất, biểu đồ phân tán, biểu đồ hộp, biểu đồ tứ phân vị và độ trải giữa, phân bố chuẩn.

Mô tả: Phân tích dữ liệu để hiểu rõ hơn về hiện trạng hoặc các xu hướng hiện tại. Dự đoán: Dùng dữ liệu để dự đoán hoặc tiên đoán những gì có thể xảy ra trong tương lai.

Thu thập dữ liệu: Sử dụng các kỹ thuật như Data Scraping để thu thập dữ liệu từ các nguồn khác nhau. Tiền xử lý (pre-processing): Làm sạch, biến đổi và tích hợp dữ liệu để tạo ra tập dữ liệu chuẩn bị cho phân tích.

Là những công cụ hỗ trợ cho doanh nghiệp nhỏ, đơn giản và dễ sử dụng, do đó giúp họ dễ dàng ứng dụng các kỹ thuật DS mà không cần chuyên môn cao.

Mô hình dữ liệu là một kỹ thuật/thuật toán phân tích dữ liệu đã biết để dự đoán những hành động/hành vi/ kết quả (tương ứng với dữ liệu) trong tương lai.

Đây chính là mô hình học máy giám sát. Nó là một mô hình dự đoán dựa trên việc phân tích dữ liệu đã biết để dự đoán những kết quả tương lai.

Là một kỹ thuật/thuật toán phân tích dữ liệu đã biết để dự đoán những hành động/hành vi/ kết quả (tương ứng với dữ liệu) trong tương lai.

Bước 1 của việc phân tích và xây dựng mô hình dữ liệu là xác định rõ ràng mục tiêu, vấn đề cần giải quyết hoặc nhiệm vụ cần thực hiện.

Lên kế hoạch cho việc thu thập, xử lý dữ liệu và xây dựng mô hình. Xác minh tính khả thi, nguồn dữ liệu, chi phí, thời gian và tác động của dự án.

Thu thập dữ liệu từ nhiều nguồn khác nhau và làm sạch dữ liệu để loại bỏ thông tin không chính xác, trùng lặp hoặc thiếu sót.