有些網(wǎng)站內(nèi)容用戶可以正常訪問,但百度搜索Baiduspider卻不能正常訪問抓取,導(dǎo)致網(wǎng)站關(guān)鍵詞搜索結(jié)果大量缺失,這種結(jié)果無論是對(duì)網(wǎng)站還是搜索引擎都是一種損失,百度搜索對(duì)于網(wǎng)站頁面不能正常抓取的情況稱之為“抓取異常”,百度搜索會(huì)認(rèn)為你網(wǎng)站存在用戶體驗(yàn)上的缺陷,降低你網(wǎng)站的評(píng)分,在網(wǎng)站頁面抓取、索引、排序方面都會(huì)存在有負(fù)面影響,最終影響網(wǎng)站的流量。

下面介紹一些百度蜘蛛抓取異常的常見原因:
1、服務(wù)器連接異常
服務(wù)器連接異常一般有兩種情況,一般是網(wǎng)站不穩(wěn)定,百度搜索蜘蛛抓取你網(wǎng)站頁面的時(shí)候出現(xiàn)無法抓取的情況,另一種是百度搜索蜘蛛不能正常連接你的網(wǎng)站服務(wù)器。
網(wǎng)站服務(wù)器不能正常連接的問題一般是網(wǎng)站服務(wù)器負(fù)載過大,也有可能是你的網(wǎng)站程序問題,首先檢查網(wǎng)站web服務(wù)器(IIS或apache)是不是運(yùn)行正常,并檢查網(wǎng)站主頁是不是可以正常打開,還要需要檢查網(wǎng)站和主機(jī)是不是阻止了百度搜索蜘蛛的訪問。
2、網(wǎng)絡(luò)運(yùn)營商異常
網(wǎng)站服務(wù)器網(wǎng)絡(luò)運(yùn)營商分為電信和聯(lián)通兩種,如果百度搜索蜘蛛無法通過電信或網(wǎng)通網(wǎng)絡(luò)訪問你的網(wǎng)站,出現(xiàn)這種情況,就需要與網(wǎng)站服務(wù)器運(yùn)營商溝通,或者重新購買雙線網(wǎng)站服務(wù)器空間,也可以購買網(wǎng)站CND服務(wù)。
3、DNS異常
當(dāng)出現(xiàn)百度搜索無法解析網(wǎng)站IP地址的時(shí)候,就會(huì)同現(xiàn)網(wǎng)門dns異常的情況,這種問題可能是你的域名IP解析錯(cuò)誤了,也有可能是域名服務(wù)商把百度蜘蛛給屏蔽了,這時(shí)候我們可以使用whois或者h(yuǎn)ost查詢自己的網(wǎng)站域名IP是不是解析正確了,如果是域名IP解析錯(cuò)了,重新解析域名就行了,如果無法解析,就需要聯(lián)系域名注冊商了。
4、IP封禁
IP封禁,限制了網(wǎng)站服務(wù)器出口的IP地址,禁止了某IP段的用戶訪問網(wǎng)站內(nèi)容,這里主要指的是封禁了百度搜索蜘蛛的IP段,這種情況是你不希望百度搜索蜘蛛訪問你的網(wǎng)站才需要封禁百度搜索蜘蛛的,如果你希望百度搜索蜘蛛訪問你的網(wǎng)站,請需要添加百度搜索蜘蛛IP段,如果你沒有封禁百度搜索蜘蛛IP段,也有可能是網(wǎng)站空間服務(wù)商把百度搜索蜘蛛IP段給封禁了,這種問題就需要找網(wǎng)站空間服務(wù)商解決了。
5、UA封禁
UA即為用戶代理(User-Agent),網(wǎng)站W(wǎng)EB服務(wù)器通過UA識(shí)別用戶身份,網(wǎng)站針對(duì)指定UA訪問,返回異常狀態(tài)碼,例如403、500狀態(tài)碼,或者跳轉(zhuǎn)到其它頁面,這種情況就稱之為UA封禁,這種情況是當(dāng)你不希望百度搜索蜘蛛訪問你網(wǎng)站的時(shí)候,才需要設(shè)置這個(gè),如果你希望百度搜索蜘蛛訪問你的網(wǎng)站,就需要檢查網(wǎng)站服務(wù)器是否被UA封禁了,如果有就需要及時(shí)進(jìn)行處理。
6、死鏈
頁面已經(jīng)無法打開,該頁面已經(jīng)無法對(duì)用戶提供任何有價(jià)值的信息,這種頁面就稱之為死鏈接,死鏈接包括協(xié)議死鏈和內(nèi)容死鏈兩種形式:
1、協(xié)議死鏈,網(wǎng)站頁面的TCP協(xié)議和HTTP協(xié)議狀態(tài)明確表示的死鏈,常見狀態(tài)碼有404、403、503;
2、內(nèi)容死鏈,指的是web服務(wù)器狀態(tài)碼返回正常,但內(nèi)容卻已經(jīng)不在了,已經(jīng)被刪除或者需要權(quán)限才可以訪問內(nèi)容。
對(duì)于死鏈,我們建議站長使用協(xié)議死鏈,并通過站長平臺(tái)向搜索引擎提交死鏈接地址,可以幫助搜索引擎更快的發(fā)現(xiàn)死鏈,減少死鏈對(duì)用戶及搜索引擎造成的負(fù)面影響。
7、異常跳轉(zhuǎn)
將用戶網(wǎng)絡(luò)訪問請求重新指向其它位置,即表示為跳轉(zhuǎn),異常跳轉(zhuǎn)一般指的是以下幾種情況:
1)當(dāng)前頁面為無效頁面,內(nèi)容已刪除或已經(jīng)成為了死鏈,直接跳轉(zhuǎn)到了前一級(jí)目錄或者首頁,百度搜索建議將死鏈接入口頁面刪除;
2)跳轉(zhuǎn)到出錯(cuò)或無效頁面。
注意:對(duì)于需要長時(shí)間跳轉(zhuǎn)到其它域名的情況,例如新域名替換成新域名,百度搜索建議使用301永久重定向進(jìn)行跳轉(zhuǎn)。
8、其他異常
1)針對(duì)百度搜索refer的異常,網(wǎng)頁針對(duì)來自百度的refer返回不同于正常內(nèi)容的行業(yè);
2)針對(duì)百度UA的異常,網(wǎng)頁對(duì)百度UA返回不同于頁面原內(nèi)容的行為;
3)JS跳轉(zhuǎn)異常:網(wǎng)頁代碼中加載了百度無法識(shí)別的js跳轉(zhuǎn)代碼,導(dǎo)致用戶通過搜索進(jìn)行網(wǎng)站頁面后就發(fā)生了跳轉(zhuǎn)行為;
4)網(wǎng)站抓取壓力過大引起的偶然封禁,百度搜索會(huì)根據(jù)網(wǎng)站的規(guī)劃、流量等情況,給網(wǎng)站設(shè)置一個(gè)合理的抓取壓力。
如果網(wǎng)站抓取壓力有異常情況,例如網(wǎng)站抓取壓力出現(xiàn)失控的情況,這時(shí)web服務(wù)器會(huì)根據(jù)自身負(fù)荷能力啟動(dòng)臨時(shí)性的封禁,例如向用戶返回“Service Unavailable”,這里百度搜索會(huì)過段時(shí)間再來重新抓取網(wǎng)站鏈接,如果此時(shí)網(wǎng)站web服務(wù)器已恢復(fù)正常,則網(wǎng)站頁面就會(huì)被成功抓取。
