KỸ THUẬT KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU
Giảng viên
Giới thiệu khóa học
KẾ HOẠCH HỌC TẬP MÔN "KỸ THUẬT KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU"
Giới thiệu môn học
Kỹ thuật kho dữ liệu và khai phá dữ liệu (Data Warehousing and Data Mining) là môn học hấp dẫn đưa bạn vào thế giới xử lý Big Data – nơi mà dữ liệu thô được lưu trữ, tổng hợp, phân tích và chuyển hóa thành thông tin có giá trị. Bạn sẽ học cách xây dựng hệ thống lưu trữ dữ liệu quy mô lớn (Data Warehouse) và khám phá tri thức ẩn giấu trong dữ liệu thông qua các kỹ thuật khai phá (Data Mining). Đây là nền tảng quan trọng cho các lĩnh vực hot hiện nay như trí tuệ nhân tạo (AI), phân tích dữ liệu lớn (Big Data Analytics) và khoa học dữ liệu (Data Science).
Mục tiêu môn học
Hiểu rõ các khái niệm, kiến trúc và quy trình xây dựng kho dữ liệu: Từ thiết kế mô hình dữ liệu đến tích hợp dữ liệu từ nhiều nguồn.
Nắm vững các kỹ thuật tiền xử lý dữ liệu: Làm sạch, chuyển đổi, tổng hợp và giảm kích thước dữ liệu.
Áp dụng thành thạo các thuật toán khai phá dữ liệu: Phân cụm, phân loại, phát hiện luật kết hợp, phân tích chuỗi thời gian.
Triển khai các công cụ thực tế: Thiết kế mô hình OLAP, sử dụng công cụ như SQL Server, Pentaho, RapidMiner.
Đánh giá và diễn giải kết quả khai phá dữ liệu: Phân tích giá trị thực tế và ra quyết định dựa trên mô hình dữ liệu.
Kiến thức tiên quyết
Cơ sở dữ liệu (Database): Thành thạo SQL, hiểu về mô hình quan hệ, thiết kế CSDL cơ bản.
Cấu trúc dữ liệu và giải thuật: Kiến thức về mảng, danh sách liên kết, cây, thuật toán tìm kiếm và sắp xếp.
Xác suất thống kê và toán rời rạc: Hiểu về phân phối xác suất, thống kê mô tả, các khái niệm xác suất có điều kiện.
Lập trình cơ bản: Thành thạo một ngôn ngữ lập trình (Python hoặc Java) để xử lý dữ liệu.
Giai đoạn học tập theo 15 tuần
| Tuần | Nội dung học tập | Ghi chú |
|---|---|---|
| Tuần 1 | Giới thiệu về kho dữ liệu và khai phá dữ liệu - Tầm quan trọng và ứng dụng thực tế. | Liên hệ với các hệ thống thực tế như Amazon, Netflix. |
| Tuần 2 | Kiến trúc kho dữ liệu - Kiến trúc một tầng, hai tầng, ba tầng. - Các thành phần: ETL, OLAP, Data Mart. | Vẽ sơ đồ tổng thể kiến trúc. |
| Tuần 3 | Quy trình ETL - Kỹ thuật trích xuất, biến đổi, tải dữ liệu. | Thực hành thiết kế quy trình ETL mẫu. |
| Tuần 4 | Thiết kế mô hình kho dữ liệu - Mô hình Star Schema, Snowflake Schema, Galaxy Schema. | Thiết kế lược đồ Star cho một bài toán kinh doanh. |
| Tuần 5 | OLAP và truy vấn dữ liệu đa chiều - OLAP Cube, Slice, Dice, Roll-up, Drill-down. | Thực hành OLAP trên công cụ Pentaho hoặc SQL Server Analysis Services. |
| Tuần 6 | Tiền xử lý dữ liệu cho khai phá - Làm sạch dữ liệu, xử lý dữ liệu thiếu, biến đổi và chuẩn hóa. | Dùng Python (Pandas) hoặc RapidMiner. |
| Tuần 7 | Giới thiệu khai phá dữ liệu - Khái niệm, quy trình KDD (Knowledge Discovery in Database). | Vẽ sơ đồ tổng quan quy trình KDD. |
| Tuần 8 | Thuật toán khai phá luật kết hợp - Thuật toán Apriori, FP-Growth. | Thực hành tìm luật mua hàng từ dữ liệu giao dịch. |
| Tuần 9 | Phân loại dữ liệu - Thuật toán Decision Tree, Naive Bayes, KNN. | Triển khai mô hình đơn giản bằng Scikit-learn. |
| Tuần 10 | Phân cụm dữ liệu - Thuật toán K-Means, Hierarchical Clustering. | Phân nhóm khách hàng dựa trên hành vi mua sắm. |
| Tuần 11 | Phân tích dữ liệu chuỗi thời gian - Dự báo và mô hình hóa chuỗi thời gian đơn giản. | Dự báo doanh số bán hàng qua tháng. |
| Tuần 12 | Đánh giá mô hình khai phá - Độ chính xác, độ bao phủ, F1-score, ROC curve. | So sánh các mô hình phân loại. |
| Tuần 13 | Ứng dụng thực tế khai phá dữ liệu trong kinh doanh - Market Basket Analysis, Customer Segmentation. | Thảo luận case study thực tế. |
| Tuần 14 | Thực hành dự án kho dữ liệu và khai phá dữ liệu - Xây dựng Data Warehouse mini và áp dụng Data Mining. | Làm bài tập nhóm lớn. |
| Tuần 15 | Báo cáo dự án và tổng kết học phần - Thuyết trình và phản biện sản phẩm. | Chấm điểm theo nhóm và cá nhân. |
Ứng dụng thực tế của môn học
Xây dựng kho dữ liệu cho doanh nghiệp: Hệ thống lưu trữ, truy xuất và tổng hợp dữ liệu khổng lồ.
Phân tích hành vi khách hàng, tối ưu bán hàng và marketing: Ứng dụng phân tích giỏ hàng, phân nhóm khách hàng.
Dự báo xu hướng kinh doanh, tài chính: Từ việc phân tích chuỗi thời gian và dự báo tương lai.
Tiền đề để phát triển lên Data Engineer, Data Scientist: Kỹ năng xây dựng pipeline dữ liệu và phân tích chuyên sâu.