交通工程信息技术课设报告-线圈数据基于Access软件预处理.docx

CHANGSHA UNIVERSITY OF SCIENCE & TECHNOLOGY交通信息技术 课程设计题目：线圈数据基于Access软件预处理 学生姓名： xxx学 号： 班 级: 专 业： 交通工程指导教师： 2016 年 12 月线圈数据基于Access软件预处理学生姓名： 学 号： 班 级： 所在院(系): 交通运输工程学院 指导教师： 完成日期: 2016年12月长沙理工大学课程设计任务书 交通运输工程 学院 交通工程 专业 2013级 1 班课程名称 交通信息技术课程设计 题 目 架线圈数据基于Access软件预处理 学生姓名 学号 一、已知技术参数和设计要求1、已知技术参数指导老师给定相关基础信息和交通原始数据。2、设计要求本课程设计是交通工程专业交通信息技术专业课程学习的必修内容之一，要求学生掌握交通信息数据处理的一般步骤与应用相关软件分析处理能力。本课程设计的目的在于增强学生的感性认识，巩固所学专业知识，沟通学生从课堂的理论知识与具体实际工作的衔接，提高学生的动手能力。（1）本次课程设计分任务独自进行分析处理，每位学生都必须按要求完成任务书规定的任务，提交课程设计报告，作为考核课程设计成绩的主要依据。（2）学生必须独立完成设计任务，严禁抄袭、剽窃他人成果或找人代做等行为，一经发现成绩以不及格计，并给予批评教育和严肃处理。（3）由于有大量的相关图表，课程设计报告书应递交打印件。一律用Word打印在A4纸上，要注意图表的规范性，直观性，整洁性，要有数据有分析，保持报告论文的结构性和逻辑性。（4）小组内各成员合理划分原始数据，各人的基础数据应不相同。（5）尽可能利用计算机软件或自编程序来完成数据的整理分析。（6）课程设计成果要得到指导老师的一一认可后方可通过。（7）课程设计报告按规定的格式撰写。（8）课程设计报告应在规定时间内提交，预期不再受理，作不及格论处。二、课程设计选题设计选题说明：下面所列出的是本次课程设计的选题方向，另外指导老师根据各选题提供了部分相关数据。每一个选题方向只能由一个小组选择，并且每个小组成员完成单独一个数据的分析处理及文档的撰写。1、 微波检测交通流数据统计分析2、 视频检测交通流数据统计分析3、 美国40号公路交通数据统计分析4、 广州北环高速公路交通流数据统计分析5、 上海高架线圈数据预处理分析6、 田纳西高速公路交通量数据处理及预测7、 广佛高速公路交通量数据处理及预测8、 Edmonton高速公路交通量数据处理9、 城市道路路段交通量预测10、 公交刷卡数据分析与预测11、 高速公路行程时间预测三、本次课程设计应完成的主要任务选题方向51、结合给定资料图表等对交通数据来源、数据格式与数据容量做整体概述。2、安装合适的数据库软件，将原始数据导入SQL（或Access，MySQL等）数据库中。3、数据预处理错误数据的剔除 异常数据的识别与修正 缺失数据的判断与补充 按要求生成每个检测器每天的Excel检测数据。要求采用数据库技术完成交通数据预处理，要求结合文字和图片提交运行结果。4、课程设计的总结和体会四、工作计划本次课程设计总体时间为一周，具体计划安排如下：2016.12.26：数据准备与需求分析2016.12.27 -2016.12.28：基础数据整理2016.12.29 -2016.12.30：数据分析与建模2016.12.31 -2017.01.01：报告文档整理与提交五、课程设计完成提交文档要求按以下顺序装订成册： （1）封面； （2）扉页； （3）任务书； （4）指导书； （5）目录； （6）正文； （7）附录； （8）成绩评定表。指导老师：2016年12月20日教研室意见：同意按任务书要求开展设计教研室主任： 2016年12月20日2013级交通工程专业 交通信息技术课程设计指导书一、课程设计的目的交通信息技术课程设计是交通工程专业中实践环节，是完成交通信息技术课程学习后所进行的一次全面、综合练习，其目的在于增强对课程相关理论的感性认识，并将课堂的理论知识与企业生产实践有效的衔接起来，掌握交通信息处理与分析的主要流程；提高学生的动手能力，能结合所学相关专业知识并运用数据库、Matlab等软件完成交通数据处理与分析。二、课程设计的依据和资料来源1.设计资料设计资料由指导老师提供。2.主要参考书1 欧冬秀交通信息技术（第二版）M上海：同济大学出版社，2014.2 李颖宏 等. 道路交通信息检测技术及应用M. 北京：机械工业出版社，2014.3 张可 刘浩 等.交通信息提取计算理论与应用M北京：人民交通出版社，2013.4 王晓原 张敬磊 等. 交通流数据清洗与状态辨识及优化控制关键理论方法M北京：科学出版社，2011.三、课程设计应完成的任务本课程设计的主要任务包括两个方面：1.数据处理分析与建模对交通原始数据进行初步处理，形成符合分析要求的基础数据，拟合占有率和流量数据、占有率和速度数据，获得占有率-流量之间、占有率-速度之间的关系；对24h交通流量进行时间上的集计，建立交通量预测模型。利用高速公路收费数据提取高速公路行车时间；利用公交刷卡数据分析并预测公交线路客流。要求尽可能利用计算机软件或自编程序来完成数据的整理分析。2.设计文本撰写本课程设计重视书面材料的撰写，主要内容包括了交通信息数据说明、解决问题的总体思路与技术路线、数据分析处理、预测建模、结论以及课程设计体会与总结。由于课程设计要求一人一题，因此每个同学所完成的文档都应包括以上内容。四、课程设计要求及时间安排1.课程设计要求本次课程设计分小组进行，各小组必须选择不同的选题，且每人必须独自针对不同数据源进行分析处理，最后每人亲自提交一份由自己开发设计的成果。设计过程中，根据合理的进度安排，踏实地开展课程设计活动；最后设计文档用A4纸打印，图表清晰，分析合理，结论可信，并按任务书要求装订成册。2.设计纪律本次课程设计期间严格考勤，按时作息，一般不允许请假，如遇特殊情况，需写请假条报院领导批准，否则按每天旷课八节处理，如果请假或旷课总时数累计达全部设计时间的三分之一以上，该课程设计成绩按零分计。此外，不得以任何理由请人代交作业，否则本次课程同样以零分计。3.时间安排：一周设计时间，第18周。五、成绩评定1、评分标准：设计操作纪律，15分；设计成果，50分；设计文档，20分；课程设计答辩15分。2、若发现有两个和两个以上不同小组的文本和程序有抄袭嫌疑，则小组的所有同学的成绩均为零分。目录1.数据资料说明92.数据导入及生成93.错误数据的剔除及修改113.1 判断错误数据原因113.2 错误数据的修改方法113.3 各类型错误数据的剔除及修改124.线圈数据导出134.1导出方法134.2导出步骤145.数据分析165.1 线圈选择165.2 分析步骤165.3时变图165.4 1min步长分析175.5 5min步长分析185.6 15min步长分析195.7 总结分析216.心得与体会211.数据资料说明此次课程设计中所给的数据是来自于2009年3月20日中从上午6时至傍晚7时的上海某高架所囊括的所有车道上线圈采集到的数据，线圈的总个数为488，线圈采集数据频率为每20秒读取一次。课程设计中所给源数据为文本格式，数据内容包括：线圈组编号、时间、数据有效性、大型车流量、中型车流量、小型车流量、大车平均速度、中车平均速度、小车平均速度、流量、平均速度、占有率、车头时距、删除标记、拥有车辆数、valid/invalid，共采集有1142409个线圈数据。课程设计过程中使用Access数据库软件进行数据的预处理，预处理的内容包括有以下四类：（1）数据库的导入及生成；（2）错误数据的剔除及修改；（3）按各线圈采集的数据提取所需要的数据并生成表格；（4）线圈的数据分析。2.数据导入及生成将数据导入Access2013软件，并将导入后的数据表的列名分别按照：线圈组编号、时间、数据有效性、大型车流量、中型车流量、小型车流量、大车平均速度、中车平均速度、小车平均速度、流量、平均速度、占有率、车头时距、删除标记、拥有车辆数、valid/invalid的顺序作为列名称进行命名。步骤为：在软件中点击打开，寻找源数据文本； 选择文件类型为文本文件； 打开后选择第一行包含字段名称；对字段名称按照上述顺序进行修改； 对需要修改数据类型的数据在高级选项中进行修改； 确定创建链接文本； 导入数据完成。（部分步骤见下图2.1-图2.3）图2.1 字段名称修改图2.2 修改数据类型图2.3确定创建文本链接图2.4 导出数据结果3.错误数据的剔除及修改3.1 判断错误数据原因先对所给数据表格进行观察分析，找出错误数据类型。通过对数据有效性的分析发现除了“valid”的有效线圈外还存在着显示为“badloop”的损坏线圈，对数据进一步分析发现还存在有流量与占有率不匹配的情况；除此之外还有无车辆数据却流量速度不为0的情况等等。初步认定以上错误数据的出现是由于线圈自身的损坏以及线圈数据保存的丢失所导致的，因此需要对错误数据进行进一步的分析处理过程。3.2 错误数据的修改方法考虑到所给数据多达上百万条，工作量较为庞大，因而通过使用Access数据库中的SQL进行编程对数据进行处理，主要采用select语句、update语句和delete语句（选择、修改、删除）。主要语句格式为：Select 语句：SELECT 表名.列名,表名.列名 FROM 表名;Update语句：UPDATE 表名 SET 表名.列名 表达式 WHERE (表名.列名) 表达式);Delete 语句：DELETE 表名 SET 表名.列名 表达式 WHERE (表名.列名) 表达式);数据处理步骤主要为选择创建处的查询设计，选择所需要进行的操作所对应的方式，打开SQL视窗进行程序编写部分，编写完成后点击运行得出运行结果。3.3 各类型错误数据的剔除及修改3.3.1 损坏线圈数据的修改通过对badloop线圈的选取，然后对其上所有数据参数改为0，以免错误数据对分析结果产生影响。修改语句为：UPDATE 上海高架线圈数据 SET 上海高架线圈数据.大型车流量 = 0, 上海高架线圈数据.中型车流量 = 0, 上海高架线圈数据.小型车流量 = 0, 上海高架线圈数据.大车车速 = 0, 上海高架线圈数据.中车车速 = 0, 上海高架线圈数据.小车车速 = 0, 上海高架线圈数据.流量 = 0, 上海高架线圈数据.平均车速 = 0, 上海高架线圈数据.占有率 = 0WHERE (上海高架线圈数据.数据有效性)=badloop);修改步骤图如下：图3.1badloop源数据结果图3.2修改程序编写图3.3badloop修改后结果3.3.2 流量占有率冲突数据删除通过对原始数据文本文件的初步分析以及利用数据库查询语句对于数据的分析，可以发现存在流量为0而占有率不为0（无车时）也不为100（排队时）的情况，因此此处采用update的语句对此类情况进行处理。删除语句为：DELETE上海高架线圈数据.流量, 上海高架线圈数据.占有率FROM 上海高架线圈数据WHERE (上海高架线圈数据.流量)=0) AND (上海高架线圈数据.占有率)0 Or (上海高架线圈数据.占有率)100); 4.线圈数据导出4.1导出方法在处理异常数据后，可以分每个线圈对数据进行导出，导出为excel表格，然后可以对导出的表格进行下一步的数据分析。导出数据时可用select语句对单个线圈导出，导出的数据中只选择了线圈组编号、时间、流量、平均车速、占有率等数据，以方便数据的分析使用。对于导出的数据可使用回归分析、指数平滑分析等方法进行分析。4.2导出步骤导出线圈组编号、时间、流量、平均车速、占有率的数据选择语句为：SELECT 上海高架线圈数据.线圈组编号, 上海高架线圈数据.时间,上海高架线圈数据.流量, 上海高架线圈数据.平均车速, 上海高架线圈数据.占有率FROM 上海高架线圈数据WHERE (上海高架线圈数据.线圈组编号)=NBDX01(1);图4.1导出程序图4.2 语句执行结果选择外部数据选择导出excel-电子表格图4.3导出excel表格选择对应表修改数据类型导出完成图4.4导出结果5.数据分析5.1 线圈选择以NBCZ-XI-1(1)及NBCZ-XI-1(2)为例进行此路段该断面的12小时的数据分析，通过断面的分析，得出流量、速度、占有率等随时间的时变图，同时还可以得出一天中流量占有率、速度占有率之间的关系。5.2 分析步骤 将Access中导出的数据导入到excel2013表格中； 将同一断面的两个车道的数据汇总，求得其流量、平均速度及占有率； 建立流量、速度、占有率的12小时内的时变图； 以1min、5min、15min为分割统计该断面的总流量、速度及占有率； 分别建立对应的流量-占有率、速度-占有率关系图； 对建立的图表进行分析。5.3时变图通过对导出数据的处理，汇总每个小时的数据，并得出3月20日这一天从早6点到晚19点的数据，通过建立折线图确定其12小时时变图，如图所示：图5.1 12小时内数据时变图 通过图表可以看出，该路段早高峰为八点到九点，高峰时期车流量远大于其他时间，其余时间的流量较为平缓，无太大波动。对于流量、速度、占有率之间的关系通过表中可以知道，流量与速度的关系成反比，速度随流量的增加而减小；对于流量和占有率而言，占有率随流量的增或减进行相应的趋势变化；相对应的占有率就随速度的增减进行相反的趋势变化。流量、速度与占有率的关系则通过对数据1min、5min、15min的汇总进行具体的关系探寻。5.4 1min步长分析将路段该断面数据按每分钟进行统计，得出1min数据表，建立散点图对流量、速度和占有率之间的关系进行分析，添加相对应的趋势线，得出三者之间的关系（流量单位veh/h,速度单位km/h，占有率100%）：图5.2 流量-占有率关系图（1min）图5.3 速度-占有率关系图（1min）通过对上述流量、速度和占有率的关系图可以看出，当按每分钟进行数据统计时，对于流量和占有率之间的关系而言两者为二项关系，拟合度到达0.873，而且对散点的分布可以看出当占有率越小时，流量和占有率的关系与拟合结果更为匹配。通过对速度和占有率的关系图分析，速度和占有率之间可以建立线性关系进行联立，两者数据拟合度为0.7074，占有率随速度的增加而减少。5.5 5min步长分析将路段该断面数据按每分钟进行统计，得出1min数据表，建立散点图对流量、速度和占有率之间的关系进行分析，添加相对应的趋势线，得出三者之间的关系（流量单位veh/h,速度单位km/h，占有率100%）：图5.4 流量-占有率关系图（5min）图5.5 速度-占有率关系图（5min）通过对上述流量、速度和占有率的关系图可以看出，当按每分钟进行数据统计时，对于流量和占有率之间的关系而言两者为二项关系，拟合度到达0.7735，而且对散点的分布可以看出当占有率越小时，流量和占有率的关系与拟合结果更为匹配，但其相对于1min的拟合度却更小一些，可能是由于一些车辆行驶速度的变化原因所导致的。通过对速度和占有率的关系图分析，速度和占有率之间可以建立线性关系进行联立，可以看出占有率随速度的增加而减少，两者数据拟合度为0.8962，相对于1min的关系拟合程度更高。这说明随着时间间隔的增大，两者的关系更为符合此趋势线。5.6 15min步长分析将路段该断面数据按每分钟进行统计，得出15min数据表，建立散点图对流量、速度和占有率之间的关系进行分析，添加相对应的趋势线，得出三者之间的关系（流量单位veh/h,速度单位km/h，占有率100%）：图5.6 流量-占有率关系图（15min）图5.7 速度-占有率关系图（15min）通过对上述流量、速度和占有率的关系图可以看出，当按每分钟进行数据统计时，对于流量和占有率之间的关系而言两者为二项关系，拟合度到达0.8546，而且对散点的分布可以看出当占有率越小时，流量和占有率的关系与拟合结果更为匹配，其相对于1min、5min的拟合度都要大，说明流量与占有率之间的关系为二项式关系。通过对速度和占有率的关系图分析，速度和占有率之间可以建立线性关系进行联立，可以看出占有率随速度的增加而减少，两者数据拟合度为0.9524，拟合程度最高。这说明随着时间间隔的增大，两者的关系更为符合此趋势线。5.7 总结分析通过对NBCZ-XI-1断面的数据分析可以知道，当时间间隔较短时，得出的数据拟合程度相对较低，间隔统计时间越大，数