大数据爬虫技术第1章 初识爬虫.pptVIP

如果说网络像一张网，那么爬虫就是网上的一只小虫子，在网上爬行的过程中遇到了数据，就把它抓取下来。 网络爬虫，又称为网页蜘蛛、网络机器人，是一种按照一定的规则，自动请求万维网网站并提取网络数据的程序或脚本。 结 论 这里的数据是指互联网上公开的并且可以访问到的网页信息，而不是网站的后台信息（没有权限访问），更不是用户注册的信息（非公开的）。 * * * * * * * * * * * * * * * 第1章 初识爬虫 了解 了解 熟悉 掌握 了解 爬虫产生的背景 1 2 熟悉 爬虫的分类 掌握 什么是爬虫 3 4 了解 爬虫的用途 01 爬虫产生背景 02 什么是爬虫 03 爬虫的用途 04 爬虫的分类 CONTENTS 目录页 01 认识Python 01 爬虫产生背景 02 什么是爬虫 03 爬虫的用途 04 爬虫的分类 思考？ 有哪些信誉好的足球投注网站引擎是如何查找网站的? 有哪些信誉好的足球投注网站引擎使用了网络爬虫不停地从互联网抓取网站数据，并将网站镜像保存在本地，这才能为大众提供信息检索的功能。 结 论 目前的互联网已经迈入大数据时代，通过对海量的数据进行分析，能够产生极大的商业价值。 数据采集 数据分析 应用反馈 思考 如果我们需要大量数据，有哪些获取数据的方式呢？ 企业产生的数据 数据平台购买的数据 数据堂 贵阳大数据交易所 政府/机构公开的数据 纳斯达克 数据管理咨询公司的数据 埃森哲 尼尔森 艾瑞咨询 麦肯锡 爬取的网络数据 无论是有哪些信誉好的足球投注网站引擎，还是个人或单位获取目标数据，都需要从公开网站上爬取大量数据，在此需求下，爬虫技术应运而生，并迅速发展成为一门成熟的技术。 结 论 01 爬虫产生背景 02 什么是爬虫 03 爬虫的用途 04 爬虫的分类 思考 什么是 网络爬虫? * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *