互联网现状安全性 侵蚀您的利润：网络爬虫程序对电商行业有何影响2025.pdf

第10卷，第3期

侵蚀您的利润

网络爬虫程序对电商行业有何影响

互联网现状/安全性

目录

3爬虫程序：良性、恶意和中性

4报告的关键见解

5 良性爬虫程序与恶意爬虫程序的对比

6 抓取类爬虫程序的基本概念

6 抓取类爬虫程序引起关注，客户开始警觉

9 网络内容抓取的一般附带后果

9 出租抓取类爬虫程序：第三方网络内容抓取服务

11AI僵尸网络的抓取流程

14 案例研究：网络内容抓取检测解决方案的优势

16 增强防护，抵御恶意爬虫程序

19 合规考虑因素

20 结论

21 方法

22致谢名单

您知道吗？超过一半的网络流量都来自于爬虫程序。特别是商业垂直行业，由于该

行业依赖Web应用程序和资产创收，因此他们受高风险爬虫程序流量的影响最大

（图1）。尽管我们常常听到爬虫程序在不断进化，但当前的电子商务类企业特别

关注的是网络抓取类爬虫程序，因为它们的经济影响往往隐藏在表面之下，与其他

类型的爬虫程序截然不同。随着人工智能(AI)僵尸网络和无界面浏览器技术的崛

起，抓取类爬虫程序越来越难以检测，也就变得极其难以躲避。举个例

子，Akamai的一家电商客户在不知不觉中拦截的高达99%的高风险流量就源自于

抓取类爬虫程序。

每月的爬虫程序请求数量：三大垂直行业

MonthlyBotRequests:Top3Verticals

2023年1月1日–2024年3月31日

January1,2023–March31,2024

CommerceHighTechnologyFinancialServices

800B

700B

t600B

n

u

o

C500B

t

s

e

u400B

q

e

R

t300B

o

B

200B

100B

0B

333333333333444

222222222222222

000000000000000

222222222222222

ltrrrr

yyhiyeyyyh

rrcranlseeeerrc

aarpuuubbbbaar

uuaAMJJgouua

nrumtmmnr

abMAeceea