网站为什么在百度搜索中没有收录?如何解封百度蜘蛛?

2021-3-25612021202

为什么网站或智能小程序资源的内容非常优质,但是没有查询到百度蜘蛛抓取记录,或在百度搜索中没有得到收录和展现?
 
其原因就是,有些网站或智能小程序存在封禁百度蜘蛛的情况,导致百度蜘蛛无法正常抓取,所以无法在百度搜索中正常收录和展现,或在搜索结果中的摘要展现为“存在robots封禁”字样。
 
常见的封禁行为主要有三种:robots封禁、封禁百度UA、封禁百度IP。
 
如何验证网站和智能小程序是否存在封禁百度蜘蛛的情况?
 
1、首先, 查看robots.txt文件,是否存在封禁记录。
 
一般robots.txt文件放置在网站根目录下。
 
【建议方案】解除robots封禁:robots封禁情况,请检查robots.txt文件,及时修改。
 
robots文件说明:https://ziyuan.baidu.com/college/articleinfo?id=1516
 
2、robots文件无异常,进一步排查是否存在封禁百度UA情况;
 
方案一:执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'
 
注:正常返回码是200,其他情况为异常。
 
xxxxxxx为网站域名,如:http://szluodi.cn 
 
正确识别和获取百度蜘蛛,https://ziyuan.baidu.com/college/articleinfo?id=2855
 
方案二:变更浏览器UA验证;
 
【建议方案】解除百度UA封禁:查看网站反爬虫策略,进行策略调整。或针对百度UA添加策略白名单。
 
3、以上验证均无异常,最后进一步排查是否存在IP级别的封禁;
 
常见的IP封禁,源自网站的防火墙系统配置,需要查看防火墙配置系统后台,检查是否存在百度蜘蛛的IP级别封禁措施。
 
【建议方案】解除百度IP封禁:查看网站反爬虫策略,进行策略调整。



上一篇:落地网络参加深职院专场校园招聘会
下一篇:百度衡量网页质量的三个维度

技术知识-相关内容

免费获取方案

Customer evaluation