网站seo教你怎样正确识别百度爬虫?

发布时间:2022-04-22 点击:301
许多seo从业者在不久触碰这一制造行业的那时候,常常会问——百度爬虫是啥?人们能够了解为百度爬虫就是说用于爬取网页链接的ip,网编常常会听见百度爬虫来的太经常,网络服务器要被捕爆掉,当你没法鉴别百度爬虫,你如何判断是百度爬虫抓爆的呢?也是出現百度爬虫也不来啦的状况,也有许多网站想要百度爬虫的ip段,想把ip添加白名单,但没法鉴别百度网ip。
那怎样才能正确识别百度爬虫呢?接下来我们只需做好这二点,就可以正确识别百度爬虫了
一、查询ua,假如ua都错误,能够直接判断非网页搜索的蛛蛛,现阶段向社会公布过的ua是:
移动ua:mozilla/5.0 (linux;u;android 4.2.2;zh-cn;) applewebkit/534.46 (khtml,likegecko) version/5.1 mobile safari/10600.6.3 (compatible; baiduspider/2.0; +http://www.baidu.com/search/spider.html)
pc ua:mozilla/5.0 (compatible; baiduspider/2.0; +http://www.baidu.com/search/spider.html)
增加3d渲染ua:
移动ua:mozilla/5.0 (iphone; cpu iphone os 9_1 likemac os x) applewebkit/601.1.46 (khtml, like gecko) version/9.0 mobile/13b143 safari/601.1 (compatible; baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
pc ua:mozilla/5.0 (compatible; baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
二、反查ip
网站站长能够根据dns反查ip的方法分辨某只spider是不是来源于搜索引擎。依据服务平台不一样认证方式不一样,如linux/windows/os几种服务平台下的认证方式各自以下:
网站seo教你怎样正确识别百度爬虫?
(1)、在linux服务平台下,您能够应用host ip指令反解ip来分辨是不是来源于baiduspider的爬取。baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的文件格式取名,非 *.baidu.com 或 *.baidu.jp 即是假冒。
(2)、在windows服务平台或是ibm os/2服务平台下,您能够应用nslookup ip指令反解ip来 分辨是不是来源于baiduspider的爬取。开启指令cpu 键入nslookup xxx.xxx.xxx.xxx(ip地 址)就能分析ip, 来分辨是不是来源于baiduspider的爬取,baiduspider的hostname以*.baidu.com 或*.baidu.jp 的文件格式取名,非 *.baidu.com 或 *.baidu.jp 即是假冒。
(3)、 在mac os服务平台下,您能够应用dig 指令反解ip来 分辨是不是来源于baiduspider的爬取。开启指令cpu 键入dig xxx.xxx.xxx.xxx(ip地 址)就能分析ip, 来分辨是不是来源于baiduspider的爬取,baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的文件格式取名,非 *.baidu.com 或 *.baidu.jp 即是假冒。