Python爬虫大数据采集与挖掘-1.ppt

**Python爬虫大数据采集与挖掘(1)

--概述课程基本内容和课时分配32课时（供参考）概述（2课时）Web页面及相关技术（2课时）Web应用架构与协议（2课时）普通爬虫页面采集技术与Python实现（3课时）动态页面采集技术与Python实现大数据语义分析技术（2课时）Web信息提取与Python实现（2课时）主题爬虫页面采集技术与Python实现（2课时）DeepWeb爬虫与Python实现（2课时）微博信息采集与Python实现（2课时）反爬虫技术（1课时）文本处理与表示（2课时）文本分类与文本情感分析（2课时）主题建模与文本聚类（2课时）社交网络分析、时间序列分析（2课时）综合应用（2课时）学生作业交流（2课时）提纲互联网大数据与采集Python大数据技术的重要性爬虫技术研究及应用现状爬虫技术的应用场景爬虫大数据采集的技术体系采集与挖掘的合规性大数据采集与挖掘技术展望常见互联网大数据来源社交媒体社交网络百科知识库新闻网站评论信息位置型信息大数据特征的三种观点4V：olume、Variety、Value、Velocity5V：Volume、Velocity、Variety、Veracity、Variability7V：Volume、Velocity、Vast、Variety、Veracity、Value、Visualize拓展阅读互联网大数据的特征大数据类型和语义更加丰富数据的规范化程度比OLTP中的数据要弱数据的流动性更大数据的开放性更好数据的来源更加丰富互联网大数据的价值体现形式更加多样化提纲互联网大数据与采集Python大数据技术的重要性爬虫技术研究及应用现状爬虫技术的应用场景爬虫大数据采集的技术体系采集与挖掘的合规性大数据采集技术展望大数据采集技术的重要性若干个重要环节，包括数据采集、结构化处理、数据存储、分析挖掘、可视化、共享交易等大数据采集处于整个架构的底层，是整个架构的基础。大数据采集技术性能的好坏直接影响到数据采集的效率和数据的质量互联网大数据能满足大数据技术教学的要求当前其他大数据存在的问题：数据领域封闭、共享范围有限、数据量少、静态数据偏多、缺乏动态机制、数据类型过于单一、应用价值很有限等。社交媒体、网络论坛等网络应用时刻产生各种用户数据“互联网+”国家战略互联网大数据解决了当前大数据研究应用存在的无米之炊的局面。Python语言生态的成熟和流行开源软件和插件涵盖科学计算、语言处理、文本挖掘、图像处理等等选择Python语言进行互联网大数据采集技术的实现具有一定实际意义和必要性提纲互联网大数据与采集Python大数据技术的重要性爬虫技术研究及应用现状爬虫技术的应用场景爬虫大数据采集的技术体系采集与挖掘的合规性大数据采集技术展望爬虫技术的关注度在知网数据库中全文精确检索“网络爬虫”或“爬虫技术”关键词,并按照年度统计相关文献数量后得到的趋势图对网络爬虫技术及应用关注度排名在前面的领域依次是：计算机软件及计算机应用、互联网技术自动化技术、新闻与传媒、贸易经济、图书情报与数字图书馆、企业经济、自然地理学和测绘学、金融投资超过90%的关注度主要集中在计算机软件及计算机应用、互联网技术自动化技术，它们侧重于爬虫技术研究怎么看待各种爬虫开源包？高度封装的开源包使得很少有人愿意深入理解其中的关键技术，导致这种途径生产出来的爬虫质量、性能和友好程度都受到很大影响。低质量的个人、小型爬虫，存在的主要问题不遵守Robots协议爬行策略没有优化许多爬虫实现了多线程、分布式的架构，这个看似好的软件架构技术，对于网络爬虫来说可能只是一厢情愿。提纲互联网大数据与采集Python大数据技术的重要性爬虫技术研究及应用现状爬虫技术的应用场景爬虫大数据采集的技术体系采集与挖掘的合规性大数据采集技术展望爬虫技术的应用可以分为两大类采集型爬虫采集型爬虫延续了有哪些信誉好的足球投注网站引擎爬虫技术,是目前使用最广泛的爬虫。监测型爬虫利用爬虫在内容采集和分析方面的能力对服务器的信息内容进行监测。采集型爬虫的典型使用场景互联网有哪些信誉好的足球投注网站引擎互联网舆情监测社交媒体评论信息监测学术论文采集离线浏览监测型爬虫的典型使用场景应用安全监测Web自动化测试网页挂马SQL注入…内容安全监测敏感信息泄密信息提纲互联网大数据与采集Python大数据技术的重要性爬虫技术研究及应用现状爬虫技术的应用场景爬虫大数据采集的技术体系采集与挖掘的合规性大数据采集技术展望网络连接层由TCPSocket连接的建立、数据传输以及连接