51Degrees数据显示，截至2026年5月，AI机器人已占网站访问会话的13%，较一年前8%显著上升，其中AmazonBot和Meta-External-Agent合计占比高达63%。研究覆盖72种AI爬虫，AhrefsBot和BingBot紧随其后，四者合计占85%。出版商对内容被抓取日益担忧，但目前仅通过robots.txt屏蔽约21%的AI机器人。