数据处理方与依据.ppt

1 概述 近几年，数学建模竞赛的规模越来越大,水平越来越高；赛题难度也越来越大，对学生数据处理能力要求也越来越高，最困难的有两个方面： （1）无数据建模问题； （2）海量数据问题。 无数据建模问题 例如： （1）2010B：2010年上海世博会影响力的定量评估； （2）2008B：高等教育学费标准探讨； 往往为综合评价类模型，赛题来自于实际问题，开放程度比较高，需要据相关多因素信息及收集到数据对实际对象进行客观、公正、合理的全面评价。 无数据建模问题 数据收集手段与方法： （1）权威机构或相关部门发布； （2）通过有哪些信誉好的足球投注网站引擎在Internet有哪些信誉好的足球投注网站； （3）通过问卷、实验等自主采集； 例如： 公交车门的高度是按照成年男子与车门顶部碰头的机率不超过1%设计的，山西省欲采购一批公交车，请问应将车门高度设计成多高比较合适？ 无数据建模问题 问题的关键在于获取山西省成年男子的身高情况，我们优先考虑的方法是（1）（2），在无法通过前两种方法获取的情况下，可以通过（3）获得。显然取样，进而可以获得山西成年男子身高X的样本均值和样本方差，剩下的就是求解一个简单的概率问题而已： P(Xh)=99% 海量数据建模问题 2000A：DNA序列分类； 2000B：钢管订购和运输； 2001A：血管的三维重建； 2001B：公交车调度； 2002B：彩票中的数学； 2003A：SARS的传播； 2004A：奥运会临时超市网点设计； 海量数据建模问题 2004B：电力市场的输电阻塞管理； 2005A：长江水质的评价和预测； 2005B：DVD在线租赁； 2006A：出版社的资源配置； 2006B：艾滋病疗法的评价及疗效的预测…… 尤其是： 2011年夏令营：测井曲线自动分层问题（10M） 海量数据建模问题 海量数据建模问题 数学建模中常用软件： 海量数据建模问题 软件学习的关键： （1）数据的读入； （2）异常数据处理； （3）数据规范化与归一化； （4）常见问题与软件功能的对应。 （5）绘图与可视化输出。 （1）数据的读入 数据的读入： a)复制、粘贴； b)功能函数。 Matlab中textread（）: a=textread(data.txt,%*s%*s%f%*s,headerlines,3,delimiter, ) headerlines是文件头有多少行delimiter就是词跟词之间的分隔符。%s是字符串的意思，%f是浮点数的意思而在它们中间加上*，表示跳过这个词。%*s%*s的意思就是跳过前两个词。 （1）数据的读入 Matlab中imread（）: 该函数用于读取图片文件中的数据。 filename = e.bmp; imgRgb = imread(filename); % 读入一幅彩色图像 　　 imshow(imgRgb); % 显示彩色图像 Matlab中xlsread（）: 该函数用于读取Execl文件中的数据。 （1）数据的读入 Lingo中@file（）: 该函数用于文本文件的读入。 Lingo中@TEXT（）： 该函数输出数据（文本文件）。 Lingo中@OLE（） 该函数与电子表格软件（如EXCEL）连接； Lingo中@ODBC（） 该函数与数据库连接。 （1）数据的读入 （1）数据的读入 c)计算机语言编程 文本文档中写着： 1 Intel_Pentium_E_2140 495 0 2 AMD_Athlon64_X2_3600+ 465 0 3 Intel_Celeron_420 480 0 ...... 要求将这些读入C程序中 (编号，名称，价格，已售出量组成) #include stdio.h struct Hardware_database { int number; char name[40]; int price; int sales; }CPU[50]; （2）异常数据处理 （2）异常数据处理 a)散点图。Matlab中可由plot()实现，在SPSS中可通过点选菜单的方式实现。画散点图还可以帮助我们找出数据的规律。 （2）异常数据处理 b）3σ检测法 （2）异常数据处理 （2）异常数据处理 C)聚类分析法 （2）异常数据处理 异常数据处理： 剔除 均值替代 回归替代