Python网络爬虫技术-教案.docx

第1章 Python爬虫环境与爬虫简介 教案 课程名称：Python网络爬虫技术 课程类别：必修 适用专业：大数据技术类相关专业 总学时：32学时（其中理论14学时，实验18学时） 总学分：2.0学分 本章学时：2学时 材料清单 《Python网络爬虫技术》教材。 配套PPT。 引导性提问。 探究性问题。 拓展性问题。 教学目标与基本要求 教学目标 先对爬虫的概念和原理，及反爬虫的概念进行基本的概述，列举针对反爬虫的常用手段制定对应爬取策略。而后简要介绍了Python常用爬虫库和爬虫环境，以及用于存储爬取的数据的MySQL、MongoDB数据库。 基本要求 了解爬虫的原理。 了解爬虫运作时应遵守的规则。 了解反爬虫的目的和常用手段。 了解Python常用爬虫库。 掌握MySQL、MongoDB数据库的配置方法。 问题 引导性提问 引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。 爬虫能够做什么？ 爬虫能爬哪些数据？ Python语言在爬虫方面有哪些优势？ 探究性问题 探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。 爬虫能够应用在那些场景？ 爬虫的原理是什么？ 拓展性问题 拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。 爬虫是不是万能的？ 爬虫在数据分析有哪些作用？ 主要知识点、重点与难点 主要知识点 爬虫的原理。 反爬虫的目的和常用手段。 针对反爬虫的常用手段制定对应爬取策略。 Python常用爬虫库。 配置MySQL数据库。 配置MongoDB数据库。 重点 爬虫的原理。 针对反爬虫的常用手段制定对应爬取策略。 Python常用爬虫库。 难点 爬虫的原理。 教学过程设计 理论教学过程 认识爬虫的概念。 认识爬虫的原理。 了解爬虫运作时应遵守的规则。 了解反爬虫的目的和常用手段。 掌握针对反爬虫的常用手段制定对应爬取策略。 了解Python常用爬虫库。 掌握MySQL数据库的配置方法。 掌握MongoDB数据库的配置方法。 实验教学过程 在Windows/Linux系统上安装及配置MySQL数据库。 在Windows/Linux系统上安装及配置MongoDB数据库。 使用pip工具分别安装urllib 3、Requests、lxml和Beautiful Soup 4库。 教材与参考资料 教材 江吉彬，张良均．Python网络爬虫技术[M]．北京：人民邮电出版社．2019． 参考资料 [1] 张健，张良均．Python编程基础[M]．北京：人民邮电出版社．2018．  第2章 网页前端基础 教案 课程名称：Python网络爬虫技术 课程类别：必修 适用专业：大数据技术类相关专业 总学时：32学时（其中理论14学时，实验18学时） 总学分：2.0学分 本章学时：4学时 材料清单 《Python网络爬虫技术》教材。 配套PPT。 引导性提问。 探究性问题。 拓展性问题。 教学目标与基本要求 教学目标 先介绍了Python中的底层Socket库，然后运用Socket库建立TCP和UDP连接。而后对超文本传输协议（HTTP）及其相关机制进行了简要介绍，包括HTTP请求方式与过程、常见HTTP状态码、HTTP头部信息，以及Cookie机制、存储方式和实现过程。 基本要求 了解Socket库的作用。 使用Socket库进行TCP编程。 使用Socket库进行UDP编程。 熟悉HTTP请求方法与过程。 熟悉常见HTTP状态码。 熟悉Cookie。 问题 引导性提问 引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。 网页数据为什么可以被爬取？ 为什么能模拟User-Agent进行规避服务器检验？ 探究性问题 探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。 UDP和TCP协议有什么区别？ 打开一个简单的静态网站看见的数据会位于HTTP响应的哪一个位置？ 用谷歌浏览器进入到一个要登录的网站登录进去，然后在谷歌浏览器中清除Cookie值，查看一下效果会什么样？ 拓展性问题 拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操