◎歡迎參與討論,請在這里發(fā)表您的看法、交流您的觀點。
有些網(wǎng)站內(nèi)容用戶可以正常訪問,但百度搜索Baiduspider卻不能正常訪問抓取,導(dǎo)致網(wǎng)站關(guān)鍵詞搜索結(jié)果大量缺失,這種結(jié)果無論是對網(wǎng)站還是搜索引擎都是一種損失,百度搜索對于網(wǎng)站頁面不能正常抓取的情況稱之為“抓取異常”,百度搜索會認為你網(wǎng)站存在用戶體驗上的缺陷,降低你網(wǎng)站的評分,在網(wǎng)站頁面抓取、索引、排序方面都會存在有負面影響,最終影響網(wǎng)站的流量。

服務(wù)器連接異常一般有兩種情況,一般是網(wǎng)站不穩(wěn)定,百度搜索蜘蛛抓取你網(wǎng)站頁面的時候出現(xiàn)無法抓取的情況,另一種是百度搜索蜘蛛不能正常連接你的網(wǎng)站服務(wù)器。
網(wǎng)站服務(wù)器不能正常連接的問題一般是網(wǎng)站服務(wù)器負載過大,也有可能是你的網(wǎng)站程序問題,首先檢查網(wǎng)站web服務(wù)器(IIS或apache)是不是運行正常,并檢查網(wǎng)站主頁是不是可以正常打開,還要需要檢查網(wǎng)站和主機是不是阻止了百度搜索蜘蛛的訪問。
網(wǎng)站服務(wù)器網(wǎng)絡(luò)運營商分為電信和聯(lián)通兩種,如果百度搜索蜘蛛無法通過電信或網(wǎng)通網(wǎng)絡(luò)訪問你的網(wǎng)站,出現(xiàn)這種情況,就需要與網(wǎng)站服務(wù)器運營商溝通,或者重新購買雙線網(wǎng)站服務(wù)器空間,也可以購買網(wǎng)站CND服務(wù)。
當出現(xiàn)百度搜索無法解析網(wǎng)站IP地址的時候,就會同現(xiàn)網(wǎng)門dns異常的情況,這種問題可能是你的域名IP解析錯誤了,也有可能是域名服務(wù)商把百度蜘蛛給屏蔽了,這時候我們可以使用whois或者host查詢自己的網(wǎng)站域名IP是不是解析正確了,如果是域名IP解析錯了,重新解析域名就行了,如果無法解析,就需要聯(lián)系域名注冊商了。
IP封禁,限制了網(wǎng)站服務(wù)器出口的IP地址,禁止了某IP段的用戶訪問網(wǎng)站內(nèi)容,這里主要指的是封禁了百度搜索蜘蛛的IP段,這種情況是你不希望百度搜索蜘蛛訪問你的網(wǎng)站才需要封禁百度搜索蜘蛛的,如果你希望百度搜索蜘蛛訪問你的網(wǎng)站,請需要添加百度搜索蜘蛛IP段,如果你沒有封禁百度搜索蜘蛛IP段,也有可能是網(wǎng)站空間服務(wù)商把百度搜索蜘蛛IP段給封禁了,這種問題就需要找網(wǎng)站空間服務(wù)商解決了。
UA即為用戶代理(User-Agent),網(wǎng)站W(wǎng)EB服務(wù)器通過UA識別用戶身份,網(wǎng)站針對指定UA訪問,返回異常狀態(tài)碼,例如403、500狀態(tài)碼,或者跳轉(zhuǎn)到其它頁面,這種情況就稱之為UA封禁,這種情況是當你不希望百度搜索蜘蛛訪問你網(wǎng)站的時候,才需要設(shè)置這個,如果你希望百度搜索蜘蛛訪問你的網(wǎng)站,就需要檢查網(wǎng)站服務(wù)器是否被UA封禁了,如果有就需要及時進行處理。
頁面已經(jīng)無法打開,該頁面已經(jīng)無法對用戶提供任何有價值的信息,這種頁面就稱之為死鏈接,死鏈接包括協(xié)議死鏈和內(nèi)容死鏈兩種形式:
1、協(xié)議死鏈,網(wǎng)站頁面的TCP協(xié)議和HTTP協(xié)議狀態(tài)明確表示的死鏈,常見狀態(tài)碼有404、403、503;
2、內(nèi)容死鏈,指的是web服務(wù)器狀態(tài)碼返回正常,但內(nèi)容卻已經(jīng)不在了,已經(jīng)被刪除或者需要權(quán)限才可以訪問內(nèi)容。
對于死鏈,我們建議站長使用協(xié)議死鏈,并通過站長平臺向搜索引擎提交死鏈接地址,可以幫助搜索引擎更快的發(fā)現(xiàn)死鏈,減少死鏈對用戶及搜索引擎造成的負面影響。
將用戶網(wǎng)絡(luò)訪問請求重新指向其它位置,即表示為跳轉(zhuǎn),異常跳轉(zhuǎn)一般指的是以下幾種情況:
1)當前頁面為無效頁面,內(nèi)容已刪除或已經(jīng)成為了死鏈,直接跳轉(zhuǎn)到了前一級目錄或者首頁,百度搜索建議將死鏈接入口頁面刪除;
2)跳轉(zhuǎn)到出錯或無效頁面。
注意:對于需要長時間跳轉(zhuǎn)到其它域名的情況,例如新域名替換成新域名,百度搜索建議使用301永久重定向進行跳轉(zhuǎn)。
1)針對百度搜索refer的異常,網(wǎng)頁針對來自百度的refer返回不同于正常內(nèi)容的行業(yè);
2)針對百度UA的異常,網(wǎng)頁對百度UA返回不同于頁面原內(nèi)容的行為;
3)JS跳轉(zhuǎn)異常:網(wǎng)頁代碼中加載了百度無法識別的js跳轉(zhuǎn)代碼,導(dǎo)致用戶通過搜索進行網(wǎng)站頁面后就發(fā)生了跳轉(zhuǎn)行為;
4)網(wǎng)站抓取壓力過大引起的偶然封禁,百度搜索會根據(jù)網(wǎng)站的規(guī)劃、流量等情況,給網(wǎng)站設(shè)置一個合理的抓取壓力。
如果網(wǎng)站抓取壓力有異常情況,例如網(wǎng)站抓取壓力出現(xiàn)失控的情況,這時web服務(wù)器會根據(jù)自身負荷能力啟動臨時性的封禁,例如向用戶返回“Service Unavailable”,這里百度搜索會過段時間再來重新抓取網(wǎng)站鏈接,如果此時網(wǎng)站web服務(wù)器已恢復(fù)正常,則網(wǎng)站頁面就會被成功抓取。