有些網(wǎng)站內(nèi)容用戶可以正常訪問，但百度搜索Baiduspider卻不能正常訪問抓取，導(dǎo)致網(wǎng)站關(guān)鍵詞搜索結(jié)果大量缺失，這種結(jié)果無論是對(duì)網(wǎng)站還是搜索引擎都是一種損失，百度搜索對(duì)于網(wǎng)站頁面不能正常抓取的情況稱之為“抓取異常”，百度搜索會(huì)認(rèn)為你網(wǎng)站存在用戶體驗(yàn)上的缺陷，降低你網(wǎng)站的評(píng)分，在網(wǎng)站頁面抓取、索引、排序方面都會(huì)存在有負(fù)面影響，最終影響網(wǎng)站的流量。

下面介紹一些百度蜘蛛抓取異常的常見原因:

1、服務(wù)器連接異常

服務(wù)器連接異常一般有兩種情況，一般是網(wǎng)站不穩(wěn)定，百度搜索蜘蛛抓取你網(wǎng)站頁面的時(shí)候出現(xiàn)無法抓取的情況，另一種是百度搜索蜘蛛不能正常連接你的網(wǎng)站服務(wù)器。
網(wǎng)站服務(wù)器不能正常連接的問題一般是網(wǎng)站服務(wù)器負(fù)載過大，也有可能是你的網(wǎng)站程序問題，首先檢查網(wǎng)站web服務(wù)器（IIS或apache）是不是運(yùn)行正常，并檢查網(wǎng)站主頁是不是可以正常打開，還要需要檢查網(wǎng)站和主機(jī)是不是阻止了百度搜索蜘蛛的訪問。

2、網(wǎng)絡(luò)運(yùn)營商異常

網(wǎng)站服務(wù)器網(wǎng)絡(luò)運(yùn)營商分為電信和聯(lián)通兩種，如果百度搜索蜘蛛無法通過電信或網(wǎng)通網(wǎng)絡(luò)訪問你的網(wǎng)站，出現(xiàn)這種情況，就需要與網(wǎng)站服務(wù)器運(yùn)營商溝通，或者重新購買雙線網(wǎng)站服務(wù)器空間，也可以購買網(wǎng)站CND服務(wù)。

3、DNS異常

當(dāng)出現(xiàn)百度搜索無法解析網(wǎng)站IP地址的時(shí)候，就會(huì)同現(xiàn)網(wǎng)門dns異常的情況，這種問題可能是你的域名IP解析錯(cuò)誤了，也有可能是域名服務(wù)商把百度蜘蛛給屏蔽了，這時(shí)候我們可以使用whois或者h(yuǎn)ost查詢自己的網(wǎng)站域名IP是不是解析正確了，如果是域名IP解析錯(cuò)了，重新解析域名就行了，如果無法解析，就需要聯(lián)系域名注冊商了。

4、IP封禁

IP封禁，限制了網(wǎng)站服務(wù)器出口的IP地址，禁止了某IP段的用戶訪問網(wǎng)站內(nèi)容，這里主要指的是封禁了百度搜索蜘蛛的IP段，這種情況是你不希望百度搜索蜘蛛訪問你的網(wǎng)站才需要封禁百度搜索蜘蛛的，如果你希望百度搜索蜘蛛訪問你的網(wǎng)站，請需要添加百度搜索蜘蛛IP段，如果你沒有封禁百度搜索蜘蛛IP段，也有可能是網(wǎng)站空間服務(wù)商把百度搜索蜘蛛IP段給封禁了，這種問題就需要找網(wǎng)站空間服務(wù)商解決了。

5、UA封禁

UA即為用戶代理（User-Agent），網(wǎng)站W(wǎng)EB服務(wù)器通過UA識(shí)別用戶身份，網(wǎng)站針對(duì)指定UA訪問，返回異常狀態(tài)碼，例如403、500狀態(tài)碼，或者跳轉(zhuǎn)到其它頁面，這種情況就稱之為UA封禁，這種情況是當(dāng)你不希望百度搜索蜘蛛訪問你網(wǎng)站的時(shí)候，才需要設(shè)置這個(gè)，如果你希望百度搜索蜘蛛訪問你的網(wǎng)站，就需要檢查網(wǎng)站服務(wù)器是否被UA封禁了，如果有就需要及時(shí)進(jìn)行處理。

6、死鏈

頁面已經(jīng)無法打開，該頁面已經(jīng)無法對(duì)用戶提供任何有價(jià)值的信息，這種頁面就稱之為死鏈接，死鏈接包括協(xié)議死鏈和內(nèi)容死鏈兩種形式：
1、協(xié)議死鏈，網(wǎng)站頁面的TCP協(xié)議和HTTP協(xié)議狀態(tài)明確表示的死鏈，常見狀態(tài)碼有404、403、503；
2、內(nèi)容死鏈，指的是web服務(wù)器狀態(tài)碼返回正常，但內(nèi)容卻已經(jīng)不在了，已經(jīng)被刪除或者需要權(quán)限才可以訪問內(nèi)容。
對(duì)于死鏈，我們建議站長使用協(xié)議死鏈，并通過站長平臺(tái)向搜索引擎提交死鏈接地址，可以幫助搜索引擎更快的發(fā)現(xiàn)死鏈，減少死鏈對(duì)用戶及搜索引擎造成的負(fù)面影響。

7、異常跳轉(zhuǎn)

將用戶網(wǎng)絡(luò)訪問請求重新指向其它位置，即表示為跳轉(zhuǎn)，異常跳轉(zhuǎn)一般指的是以下幾種情況：
1）當(dāng)前頁面為無效頁面，內(nèi)容已刪除或已經(jīng)成為了死鏈，直接跳轉(zhuǎn)到了前一級(jí)目錄或者首頁，百度搜索建議將死鏈接入口頁面刪除；
2）跳轉(zhuǎn)到出錯(cuò)或無效頁面。
注意：對(duì)于需要長時(shí)間跳轉(zhuǎn)到其它域名的情況，例如新域名替換成新域名，百度搜索建議使用301永久重定向進(jìn)行跳轉(zhuǎn)。

8、其他異常

1）針對(duì)百度搜索refer的異常，網(wǎng)頁針對(duì)來自百度的refer返回不同于正常內(nèi)容的行業(yè)；
2）針對(duì)百度UA的異常，網(wǎng)頁對(duì)百度UA返回不同于頁面原內(nèi)容的行為；
3）JS跳轉(zhuǎn)異常：網(wǎng)頁代碼中加載了百度無法識(shí)別的js跳轉(zhuǎn)代碼，導(dǎo)致用戶通過搜索進(jìn)行網(wǎng)站頁面后就發(fā)生了跳轉(zhuǎn)行為；
4）網(wǎng)站抓取壓力過大引起的偶然封禁，百度搜索會(huì)根據(jù)網(wǎng)站的規(guī)劃、流量等情況，給網(wǎng)站設(shè)置一個(gè)合理的抓取壓力。
如果網(wǎng)站抓取壓力有異常情況，例如網(wǎng)站抓取壓力出現(xiàn)失控的情況，這時(shí)web服務(wù)器會(huì)根據(jù)自身負(fù)荷能力啟動(dòng)臨時(shí)性的封禁，例如向用戶返回“Service Unavailable”，這里百度搜索會(huì)過段時(shí)間再來重新抓取網(wǎng)站鏈接，如果此時(shí)網(wǎng)站web服務(wù)器已恢復(fù)正常，則網(wǎng)站頁面就會(huì)被成功抓取。