百度Spider新增渲染抓取UA公告【百度搜索动态】

作者: 杨圣亮 分类: 爬虫动态 发布时间: 2017-03-27 11:19:09

百度近期发布了关于抓取css,js和图片信息的通知,SEO们了解下,以后再碰到BaiduSpider抓取css、js碰到不认识的UA的时候,就不会再疑惑了。

以下是公告全文,未做任何改动:

百度Spider新增渲染抓取UA公告

为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。从3月24日(2017)开始,百度搜索抽取了部分优质站点进行抓取内测,可能会对站点服务器造成一定压力影响,请尽量不要对UA进行封禁,以免造成不可逆转的损失。

最新UA如下:

PC:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动:Mozilla/5.0
(iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML,
like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible;
Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

2  +  2  =  

微信