DỮ LIỆU LỚN VÀ KHAI PHÁ DỮ LIỆU
Giảng viên
Giới thiệu khóa học
Dưới đây là Kế hoạch học tập 15 tuần môn "Dữ liệu lớn và Khai phá dữ liệu" theo đúng mẫu chuẩn bạn đã cung cấp:
Tóm tắt giới thiệu môn học
Môn “Dữ liệu lớn và Khai phá dữ liệu” là sự kết hợp giữa hai lĩnh vực cốt lõi của Khoa học dữ liệu hiện đại: xử lý khối lượng dữ liệu khổng lồ (Big Data) và khai thác thông tin hữu ích từ dữ liệu (Data Mining). Môn học cung cấp cho sinh viên kiến thức và kỹ năng để xử lý dữ liệu lớn bằng các công nghệ tiên tiến (Hadoop, Spark, NoSQL...) đồng thời ứng dụng các thuật toán khai phá dữ liệu như phân cụm, phân loại, luật kết hợp... vào thực tế.
Sinh viên không chỉ học cách thiết kế pipeline xử lý dữ liệu, mà còn hiểu và ứng dụng các kỹ thuật học máy, khai thác tri thức, phát hiện mẫu và dự đoán từ dữ liệu đa dạng.
Chú thích: Đây là môn học then chốt trong lĩnh vực phân tích dữ liệu, ứng dụng trong AI, thương mại điện tử, tài chính, y tế, bảo mật,...
Mục tiêu môn học
Hiểu các đặc trưng và thách thức của dữ liệu lớn: Nắm vững các đặc điểm 5V và yêu cầu xử lý dữ liệu hiện đại.
Sử dụng thành thạo công nghệ xử lý dữ liệu lớn: Spark, Hadoop, Hive, NoSQL...
Ứng dụng các kỹ thuật khai phá dữ liệu: Phân loại (classification), phân cụm (clustering), luật kết hợp (association rules), phát hiện bất thường,...
Thiết kế và triển khai quy trình khai thác tri thức từ dữ liệu lớn: Từ thu thập đến tiền xử lý, khai phá và đánh giá mô hình.
Thực hành dự án thực tế khai phá dữ liệu trên hệ thống Big Data.
Chú thích: Môn học tích hợp lý thuyết và thực hành, giúp sinh viên vận dụng công nghệ để khám phá thông tin có giá trị từ dữ liệu.
Kiến thức tiên quyết
Lập trình (Python hoặc Java): Thành thạo xử lý dữ liệu và sử dụng thư viện khoa học dữ liệu.
Cơ sở dữ liệu: Kiến thức về CSDL quan hệ và NoSQL.
Học máy cơ bản: Biết các khái niệm về classification, clustering, regression,...
Toán rời rạc, thống kê cơ bản, đại số tuyến tính.
Chú thích: Sinh viên nên nắm được tư duy thuật toán và xử lý dữ liệu để tiếp thu hiệu quả các kỹ thuật khai phá.
Kế hoạch học tập 15 tuần môn “Dữ liệu lớn và Khai phá dữ liệu”
| Tuần | Nội dung học tập | Mục tiêu cụ thể / Ghi chú |
|---|---|---|
| Tuần 1 | Tổng quan về Dữ liệu lớn và Khai phá dữ liệu | Hiểu mối liên hệ giữa Big Data và Data Mining, ứng dụng thực tế. |
| Tuần 2 | Hệ sinh thái Big Data: Hadoop, Spark, HDFS, Hive,... | Giới thiệu và cài đặt các công cụ trong hệ sinh thái dữ liệu lớn. |
| Tuần 3 | Hệ thống lưu trữ và xử lý dữ liệu với HDFS và Spark | Thực hành lưu trữ dữ liệu và xử lý phân tán. |
| Tuần 4 | Tiền xử lý dữ liệu lớn: làm sạch, chuẩn hóa, chọn đặc trưng | Áp dụng kỹ thuật tiền xử lý dữ liệu cho khối dữ liệu lớn. |
| Tuần 5 | Tổng quan về khai phá dữ liệu: quy trình, nhiệm vụ, công cụ | CRISP-DM, KDD Process, và giới thiệu các thuật toán phổ biến. |
| Tuần 6 | Phân cụm dữ liệu (Clustering): K-means, DBSCAN, Hierarchical | Hiểu và thực hành phân cụm với dữ liệu lớn bằng Spark MLlib. |
| Tuần 7 | Phân loại dữ liệu (Classification): Decision Tree, SVM, Naive Bayes | Ứng dụng phân loại trên dữ liệu lớn, đánh giá mô hình. |
| Tuần 8 | Luật kết hợp và khai phá luật (Apriori, FP-Growth) | Phát hiện luật liên kết trong tập dữ liệu lớn (giỏ hàng, hành vi người dùng,...). |
| Tuần 9 | Khai phá dữ liệu văn bản và dữ liệu phi cấu trúc | Text mining, sentiment analysis, xử lý dữ liệu từ log, mạng xã hội,... |
| Tuần 10 | Phát hiện bất thường và phát hiện gian lận | Ứng dụng Data Mining trong an ninh, giám sát, tài chính,... |
| Tuần 11 | Xử lý dữ liệu thời gian thực với Kafka, Spark Streaming | Pipeline thời gian thực, streaming analytics. |
| Tuần 12 | Tối ưu hóa và đánh giá mô hình khai phá dữ liệu | Cross-validation, ROC, Precision/Recall, tuning hyperparameters. |
| Tuần 13 | Dự án thực tế: phân tích và khai phá dữ liệu lớn | Thiết kế và triển khai dự án phân tích dữ liệu nhóm. |
| Tuần 14 | Trình bày, phản biện và cải tiến kết quả dự án | Đánh giá lẫn nhau, góp ý cải thiện hệ thống. |
| Tuần 15 | Kiểm tra và tổng kết học phần | Thi lý thuyết + thực hành đánh giá toàn diện. |
Chú thích: Dự án cuối kỳ có thể hướng tới các bài toán thực tế như: phân tích hành vi khách hàng, phát hiện gian lận, phân tích mạng xã hội, dự đoán nhu cầu,...
Nếu bạn cần hỗ trợ thêm các tài nguyên học tập như slide, lab, source code mẫu, hoặc đề thi, mình có thể giúp bạn chuẩn bị đầy đủ. Bạn muốn mình tiếp tục với môn nào tiếp theo?