為了搜索引擎可以及時發(fā)現(xiàn)站點新更新的內(nèi)容,提高搜索引擎對網(wǎng)站頁面的索引效率,于是去年10月份,微軟與俄羅斯搜索引擎Yandex一起發(fā)布了indexnow新爬蟲協(xié)議。
什么是indexnow協(xié)議?
indexnow協(xié)議主要是由Microsoft Bing與俄羅斯搜索引擎Yandex創(chuàng)建的新爬蟲協(xié)議,此協(xié)議允許網(wǎng)站在創(chuàng)建、更新、刪除網(wǎng)站內(nèi)容時,通過API接口的形式通知搜索引擎。

indexnow協(xié)議如果可以得到實施,就意味著網(wǎng)站只需要一個API接口,就可以將網(wǎng)站所有頁面共享給支持indexnow協(xié)議的搜索引擎,除了可以為站長節(jié)約時間和精力外,還可以提高搜索引擎的索引效率。
看到這里,你可能會說,這不就是百度搜索資源提交中的API提交方式嗎?確實與百度API提交方式類似,但這些內(nèi)容提交后,百度搜索不會保證你的這些頁面會被抓取或收錄,只是通知了百度搜索你的網(wǎng)站內(nèi)容有了變化,將這些頁面的抓取優(yōu)先級提高了而已。
IndexNow協(xié)議推進了搜索引擎的更新
我們知道搜索引擎獲取網(wǎng)頁數(shù)據(jù)主要有兩種方式,分別為拉取和推送,拉取指的是搜索蜘蛛爬行網(wǎng)站從網(wǎng)站服務(wù)器“拉取”新數(shù)據(jù),這個是搜索引擎獲取數(shù)據(jù)的傳統(tǒng)方式。
IndexNow協(xié)議作用是將內(nèi)容發(fā)現(xiàn)方式由“拉取”改為“推送”,對于站長而言,不但網(wǎng)頁新內(nèi)容可以得到快速索引,還可以減少服務(wù)器負載,IndexNow協(xié)議改變的是內(nèi)容創(chuàng)作者與搜索引擎之間的關(guān)系,對于雙方都是有利的。
利于內(nèi)容創(chuàng)作者
對于內(nèi)容創(chuàng)作者來說,既減少了新內(nèi)容被搜索引擎發(fā)現(xiàn)和索引的時間,還降低了網(wǎng)站服務(wù)器的負載,搜索引擎也不需要來檢查你的網(wǎng)頁內(nèi)容是否已更新,另外,減少了服務(wù)器負載,可以讓服務(wù)器一直保持在較佳的運行狀態(tài),最后,減少了抓取和索引需求,節(jié)約了電力能源,為全球環(huán)境改善做出貢獻。
已有多個搜索引擎參與,谷歌正在測試
根據(jù)相關(guān)數(shù)據(jù)顯示,全球多個搜索引擎已經(jīng)采用了IndexNow協(xié)議,8萬個網(wǎng)站已經(jīng)收獲了由IndexNow協(xié)議帶來的好處。
根據(jù)相關(guān)數(shù)據(jù)顯示,全球多個搜索引擎已經(jīng)采用了IndexNow協(xié)議,8萬個網(wǎng)站已經(jīng)收獲了由IndexNow協(xié)議帶來的好處。
目前,谷歌搜索正在測試接入IndexNow協(xié)議,這就意味著以后谷歌搜索就會大大提高對網(wǎng)站頁面的索引效率。
還有就是全球最大cms系統(tǒng),WordPress也正在考慮接入IndexNow協(xié)議,但目前也僅鼓勵插件開發(fā),并沒有將IndexNow協(xié)議集成到WordPress程序中,由此可以說明WordPress還處于觀望狀態(tài)。
怎么部署IndexNow協(xié)議?
對于站長而言,只需要在更新網(wǎng)站內(nèi)容時,通過indexnow協(xié)議ping一下搜索引擎,搜索引擎就可以知道你的網(wǎng)站已有新內(nèi)容。
圖注:密鑰生成過程,頁面經(jīng)過機器翻譯
如果你是站點開發(fā)人員,想要部署IndexNow協(xié)議,可以參考以下步驟:
1)用在線密鑰工具生成IndexNow協(xié)議支持的密鑰;
2)將密鑰存儲在網(wǎng)站根目錄中的文本文件中;
3)在添加、更新、刪除內(nèi)容后,提交站點url地址,為每一個API接口調(diào)用一個URL或一組URL;
4)向搜索引擎提交一個或一組URL,就像是發(fā)送一個http請求一樣,包含有你的URL地址和密鑰,就像下面這樣:
https://www。bing。com/IndexNow?url=url-changed&key=your-key
關(guān)于IndexNow常見問題解答
1、需要通知多個端點嗎?
網(wǎng)站啟有indexNow協(xié)議后,會立即將網(wǎng)站所有頁面共享給已啟用IndexNow協(xié)議的搜索引擎,所有站長只需要通知一個端點就行。
2、URL提交數(shù)量無限制
如果搜索引擎喜歡你提交的網(wǎng)頁內(nèi)容,那么搜索蜘蛛就會根據(jù)抓取邏輯和抓取配額快速對你網(wǎng)站頁面進行抓取。
3、抓取全部URL地址
如果搜索引擎喜歡你的站點內(nèi)容,而且你的網(wǎng)站也有足夠的抓取配額,那么搜索引擎就會抓取你提交的這部分URL或者你站點所有的URL。
4、已經(jīng)提交URL了,為什么URL沒有被索引
使用indexNow協(xié)議可以確保搜索引擎能及時知道站點更新,但不能確保你的內(nèi)容可以百分之百被搜索引擎抓取或索引,也有可能要過段時間才能被索引。
5、剛啟用indexNow協(xié)議,需要提交網(wǎng)站以前URL嗎?
不需要提交以前的URL,只需要提交自啟用IndexNow協(xié)議后的添加、更新、刪除的URL。
6、提交的URL會被計入每日抓取配額嗎?
會被計入網(wǎng)站每日的抓取配額。
7、提交的url,為什么未被搜索引擎索引?
如果你提交的url,不符合搜索引擎的索引標準,則不會被引收錄。
8、小站點可以使用IndexNow協(xié)議嗎?
當然可以,如果你希望你的站點更新可以及時被搜索引擎發(fā)現(xiàn),那么建議你使用IndexNow協(xié)議。
9、同一天可以提交同一個URL嗎?
不建議同一天提交相同的URL,如果此URL經(jīng)過了編輯、修改,那么建議等10分鐘以后再提交,如果此頁面經(jīng)過了多次修改更新,不建議每次更新都使用IndexNow協(xié)議。
10、可以用API接口提交網(wǎng)站404死鏈嗎?
答案是呆以的,可以提交404、410狀態(tài)碼的URL,目的是告訴搜索引擎網(wǎng)站內(nèi)容已有變化。
11、可以提交301重定向頁面嗎?
答案也是可以的,可以提交301、302狀態(tài)碼的網(wǎng)站頁面,通知搜索引擎網(wǎng)頁內(nèi)容已有更新。
12、什么時候需要更換密鑰?
搜索引擎在收到站點新密鑰時,只有抓取一次{key}.txt密鑰文件,以驗證網(wǎng)站所有權(quán),另外,密鑰是不需要經(jīng)常修改的。
13、不同CMS內(nèi)容管理系統(tǒng)可使用多個密鑰嗎?
可以,不同站點、不同內(nèi)容管理系統(tǒng)都可以擁有自己不同的密鑰,存放于網(wǎng)站根目錄密鑰文件中。
14、網(wǎng)站有sitemap文件,還需要啟用IndexNow協(xié)議嗎?
是的,需要啟用IndexNow協(xié)議,因為搜索引擎抓取網(wǎng)站sitemap文件的頻率非常低,使用IndexNow協(xié)議可以直接通知搜索引擎站點有新內(nèi)容更新,不需要等待搜索引擎主動抓取網(wǎng)站sitemap文件。
