《各平台数据采集及方法》课件——竞品数据采集.pptxVIP

竞品数据采集

竞品数据的采集本实例要求采集“京东”网站上所有标题含有华为、小米的手机信息，需要的字段内容包括标题、价格、关键词、规格参数及页面网址。

竞品数据的采集步骤1：新建自定义采集任务翻页设置。在自定义采集模式下的浏览器窗口中对网页进行翻页操作，直至出现“下一页”按钮，单击该按钮，在“操作提示”面板中单击“循环点击下一页”选项，如图所示。对网页进行翻页操作过程中，系统会自动设置“Ajax超时”选项。步骤2：输入实例网址并保存网址步骤3

竞品数据的采集步骤4详情页设置。单击进入详情页设置界面，在浏览器窗口中确定商品全部加载完，连续单击两个商品标题，确定所有标题均被选中，单击“操作提示”面板中的“循环点击每个元素”选项，在上方的流程图中出现循环框和“点击元素”模块。

竞品数据的采集步骤5设置品牌筛选。将左侧工具栏中的“判断条件”拖至循环框中的“点击元素”模块内，再将“点击元素”模块拖至左侧判断框内，单击选中左侧判断框，使其被虚框包围。在右侧的选项区域中修改执行分支方式为“当前循环项包含文本”，在“包含文本”文本框中输入华为。

竞品数据的采集步骤6提取数据。单击需要提取的标题，在“操作提示”面板中单击“采集该元素的文本”选项，可在流程图中出现“提取数据”模块，按照同样的方法分别提取价格、规格参数等信息。单击“添加特殊字段”按钮，在下拉列表中选择“添加固定字段”选项，在输入框中输入华为，单击“确定”按钮。再次单击“添加特殊字段”按钮，选择“添加当前网页信息”选项，选择页面网址。修改“字段名称”为标题、价格、关键词、规格参数和页面网址。

竞品数据的采集步骤7增加小米品牌筛选。单击左侧筛选框，使其被虚框包围，单击鼠标右键，在弹出的快捷菜单中选择“复制”命令。单击选择“判断条件”模块，单击鼠标右键，在弹出的快捷菜单中选择“粘贴”命令，在出现的筛选框上按住鼠标左键拖动至“判断条件”模块下方正中的位置，最后选中该筛选框，修改右侧的“包含文本”为小米。

竞品数据的采集步骤8修改提取数据关键词字段名称。单击第二个筛选框中的“提取数据”模块，直至其被虚框包围，选择右侧的“关键词”字段，直至其变为蓝色，单击下方的“删除数据字段”按钮进行删除，如上图所示。删除该字段是为了添加其他关键词。单击“添加特殊字段”按钮，选择“添加固定字段”选项，在输入框中输入小米，单击“确定”按钮，修改上方“字段名称”为关键词，因为中间的筛选框筛选条件为小米，所以这里修改关键词为小米，如下图所示。

竞品数据的采集步骤9开始采集。单击左上方的“开始采集”按钮，在弹出的“运行任务”对话框中单击“启动本地采集”按钮进行采集。

竞品数据的采集步骤10导出数据。数据采集完成后，单击右下方的“导出数据”按钮，在弹出的“导出本地数据”对话框中选择需要的导出方式，然后单击“确定”按钮，即可选择文件存放位置，完成数据导出。

资料来源：[1]刘宝强,商务数据采集与处理.北京：人民邮电出版社,2019

谢谢观看Thanksforwatching