大数据采集与预处理课件教学大纲-大数据-数据采与处理

《数据采集与预处理》课程教学大纲一、课程基本信息1．课程编号：070213292．课程类别：专业课3．课程性质：必修课4．学时/学分：32学时/2学分5．先修课程：无6．适用专业：二、课程教学目标及学生应达到的能力《大数据采集与预处理技术》一书侧重于介绍大数据关键技术中的大数据采集和数据预处理技术，该教材可作为入门级大数据基础教材，旨在为读者搭建起大数据的知识架构，阐述大数据采集和数据预处理的基本原理，开展相关的初级实践。教材系统论述了大数据的概念和关键技术、大数据采集基础知识、常用大数据采集架构、大数据迁移技术、互联网数据的抓取与处理技术、数据预处理等技术，最后给出了基于Hadoop的大数据综合分析案例。通过学习本课程，可以比较全面地了解大数据采集和预处理方面的总体情况，掌握大数据数据采集与处理相关技术，并通过大数据分析案例，建立起大数据从数据采集一数据预处理一数据分析一数据可视化的分析架构，加深对大数据相关知识的理，培养学生解决和处理实际问题的思维方法与基本能力，为提高学生的大数据处理能力和进一步学习和应用计算机打下基础，为后续课程的学习提供了强有力的理论基础和专业实践技能。课程目标及能力要求具体如下：课程目标1.掌握大数据、数据采集、数据迁移、网络爬虫、数据清洗等基本大数据采集与预处理概念与知识。课程目标2.具备数据采集架构设计、网络爬虫编写、数据迁移工具使用、数据清洗等基本数据采集与预处理技能和解决一般应用问题的基本能力。课程目标3.了解数据采集行业的特性与发展历史，了解与计算机知识产权、系统安全、软件保护等有关的行业政策和法律法规，使学生对数据采集行业有一个完整和全面的认识，树立正确的行业法律理念。三、课程教学内容与学时分配序号知识单元/章节知识点教学要求推荐学时教学方式支撑课程目标1第1章大数据概述大数据的概念大数据关键技术大数据采集与数据预处理技术了解大数据的概念，了解大数据关键技术，了解大数据采集技术，了解数据预处理技术2讲授12第1章大数据概述计算机产业的法律法规数据采集行业的道德规范了解信息技术行业的法律法规，重点是计算机软件行业的政策和法律法规；了解数据采集行业的道德规范2讲授33第2章大数据采集基础传统数据采集技术大数据采集基础了解数据采集的基本情况，熟悉数据采集系统架构，掌握常见的数据采集关键技术；了解数据的发展、大数据来源，掌握大数据采集技术2讲授14第3章系统日志数据采集Chukwa数据采集

Flume：数据采集Scribe数据采集Kafka数据采集大数据采集架构设计掌握大数据采集的基本架构，熟练掌握常见的大数据采集架构，包括Chukwa架构、Flume架构、Scribe架构、Kafka，并比较它们的异同点，学会设计大数据采集架构2讲授1,25第4章大数据迁移技术数据迁移概念数据迁移相关技术掌握数据迁移的基本概念，掌握基于主机的迁移、基于存储的迁移、基于主机逻辑卷的数据迁移、基于数据库的迁移、服务器虚拟化的迁移、备份恢复、以及其他数据迁移技术2讲授+实验16第5章互联网数据抓取与处理技术网络爬虫概述常用网络爬虫方法了解网络爬虫的概念、网络爬虫的抓取策略、网页最新策略掌握常用网络爬虫方法，包括批量型爬虫4讲授+实验1，27第6章数据预处理基础数据的描述相似性或相异性度量方法大数据质量熟练掌握数据类型的描述、相似性和向异性的度量方法；理解大数据质量的内涵，掌握数据质量的评价标准；了解数据预处理的基本技术，掌握每种技术实现的目标。2讲授+1，28第7章大数据清洗与集成数据清洗基础核技术数据集成基础和技术掌握数据清洗和数据集成的基础知识掌握数据清洗技术，熟练运用数据清洗各种方法掌握数据集成技术，熟练运用数据集成各种方法4讲授+实验1,29第8章数据规约与变换数据规约基础和技术数据变换基础和技术熟练掌握数据规约技术及数据规约的基本方法l熟练掌握数据变换内容、意义及常用的数据变换技术4讲授+实验1,2四、课程教学方法1．主要采用讲授式、启发式教学方法，多媒体课堂教学，讲练一体教学手段，给学生更直观的认识，激发学生主动学习的兴趣，培养学生独立思考、分析问题和解决问题的能力，引导学生主动通过实践和自学获得自己想学到的知识。2．在教学内容上，讲解准确简洁，重点突出，精选例题，提高课堂教学效率；注重学生编程思维能力的培养。3．在教学过程中采用电子教案，PPT课件，多媒体教学与传统板书相结合，提高课堂教学信息量，增强教学的直观性。4．课内讨论和课外答疑相结合。注意适当采用课堂测验方式，以检测学生课堂听课状态、巩固课程知识重点；课后作业习题要注意覆盖面、质量及难度，以加深课程内容的理解。五、课程的考核环节及课程目标达成度自评方式1.课程的考核环节课程的考核以考核学生能力培养目标的达成为主要目的，以检查学生对各知识点的掌握程度和应用能力为重要内容，包括平时考核、实验考核和期末考核三部分，平时考核包括课后作业、测验两个环节，实验考核包括实验报告环节，期末考核包括期末考试环节。课程总评成绩由平时考核成绩、实验考核成绩和期末考核成绩三部分加权而成，平时成绩、实验成绩、期末成绩及总评成绩均为百分制，在总评成绩中，平时成绩、实验成绩和期末成绩所占的权重分别为20%、30%、50%。各考核环节所占分值比例也可根据教学安排进行调整，建议值及考核细则如下。课程成绩构成及比例考核环节目标分值考核/评价细则对应的课程目标平时成绩100分，占总评成绩的比例为20%作业50主要考核学生对每章节知识点的复习、理解和掌握程度；取各次作业成绩和测验成绩的平均值换算后作为此环节最终成绩。1、2测验50实验成绩100分，占总评成绩的比例为30%实验报告100主要考核学生基本编程技能的掌握情况，取各次实验报告的平均值换算后作为此环节最终成绩。1、2期末考试100分，占总评成绩的比例为50%课程目标125（1）卷面成绩100分，以卷面乘以其在总评成绩中所占的比例50%计入课程总评成绩。（2）主要考核基本编程知识及基本算法、三种程序结构、数组、函数、指针与结构体、文件等内容的掌握程度。建议题型可为选择题、判断题、程序填空题、程序阅读题、程序设计题等。1课程目标2652课程目标31032.课程目标达成度评价方式课程目标达成度评价包括课程分目标达成度评价和课程总目标达成度评价，具体计算方法如下：课程目标评价内容及符号意义说明如下表，字母A、B和C则分别表示学生平时、实验和期末考试的实际平均得分，其中，A=A1+A2，B=B1+B2，C=C1+C2+C3；A1、A2分别为平时测验中所对应的课程目标1和课程目标2得分；B1、B2分别为实验中所对应的课程目标1和课程目标2得分；C1、C2、C3分别为期末考试中对应课程目标1、课程目标2、课程目标3和课程目标4的试题得分。课程目标评价内容平时实验课程总评成绩课程目标1课程目标2课程目标3目标分值100100256510100学生平均得分A1，A2B1，B2C1C2C30.2A+0.3B+0.5C课程目标达成度评价值计算具体说明如下。课程目标考核环节目标分值学生平均得分各课程目标达成度计算示例课程目标1平时（1）30A1（0.2A1+0.3B1+0.5C1）/目标分值加权值实验（1）20B1期末考试（1）50C1课程目标2平时（2）70A2（0.2A2+0.3B2+0.5C2）/目标分值加权值实验(2)80B2期末考试（2）65C2课程目标3期末考试（3）10C3C3/目标分值加权值课程总体目标总评成绩1000.2A+0.3B+0.5C（0.2A+0.3B+0.5C）/100六、本课程与其它课程的联系与分工《大数据采集与预处理技术》是大数据专业的专业课程，也是对大数据行业有一个初步了解的入门课程，是提高学生应用大数据能力的一门技术基础课程。通过本课程的学习，为学生后期的其它大数据课程奠定了基础。它所提供的编程思维培养和训练，十分有益于学生综合思考、解决具体问题能力的提高，有益于学生严谨、完整、规范的科学态度的培养，这些能力与态度是一切软、硬件计算机科学工作者所不可缺少的。本课程所传授的编程思维和方法，广泛地应用在各个大数据相关技术领域。七、建议教材及教学