網(wǎng)站蜘蛛日志分析是非常重要的一個(gè)環(huán)節(jié)，作為SEO優(yōu)化人員必須掌握這項(xiàng)技能，我們通過網(wǎng)站蜘蛛日志的分析可以總結(jié)出：每天有多少蜘蛛來抓取我們的網(wǎng)站，都抓取了那些鏈接？有那些被成功抓取？那些抓取失敗？為什么抓取失敗？原因是什么？網(wǎng)站是否有被K的嫌疑等一系列信息！這對于我們SEO優(yōu)化來講都是非常重要的，下面我們進(jìn)行詳細(xì)講解。

    網(wǎng)站蜘蛛日志在哪里獲取？

    如果你是虛擬主機(jī)，你可以用FTP鏈接空間，里面的“Log目錄”就存放著你的蜘蛛日志，如果沒找到的，可以問你的空間商，他們會(huì)告訴你的，如果你用的WDCP面板、寶塔面板那么你需要在“www/wwwlogs”目錄下來下載你的網(wǎng)站蜘蛛日志，如果用的windows服務(wù)器請?jiān)凇?span style="color: rgb(0, 112, 192);">BtSoft\WebSoft\apache\logs”目錄中去尋找！另外蜘蛛日志都是以“.log”為結(jié)尾的文件，如果是“_log”你下載到本地，直接重命名為“.log”即可！

    使用什么軟件分析網(wǎng)站蜘蛛日志？

    當(dāng)你把蜘蛛日志下載到本地的時(shí)候，你需要把日志放入軟件去分析，我們常用到的軟件有兩種，第一種是在線的“www。loghao。com”日志分析工具，第二種是需要下載“光年日志分析軟件”這兩款分析日志工具非常不錯(cuò)，通常我們都結(jié)合使用，效果非常好！

    如何識(shí)別蜘蛛都來自哪些搜索引擎

    下圖是我用Notepad++軟件打開網(wǎng)站日志的圖片，下面做了詳細(xì)的注解，分析蜘蛛來自哪個(gè)搜索引擎主要看“蜘蛛類型”就可以分辨出來！

    Baiduspider：就是百度蜘蛛，針對的是百度搜索引擎的抓取

    Googlebot：就是Googlebot蜘蛛，針對的是谷歌搜索引擎的抓取

    Sogou：就是搜狗蜘蛛，針對的是搜狗搜索引擎的抓取

    360Spider：就是360蜘蛛，針對的是360搜索引擎的抓取

    我們可以用光年日志工具來分析蜘蛛的抓取數(shù)據(jù)，非常直觀！

    網(wǎng)站蜘蛛返回狀態(tài)碼解析

    蜘蛛返回狀態(tài)碼，也就是上圖的“蜘蛛返回狀態(tài)碼”，根據(jù)不同的返回狀態(tài)碼，我們可以分析出抓取成功、抓取未成功、是什么原因造成的等等信息，下面舉出各類狀態(tài)碼所代表的意思！

    200：代表搜索引擎蜘蛛訪問成功；同時(shí)代表抓取成功。

    404：代表頁面無法訪問；蜘蛛訪問頁面未找到資源。

    410：代表請求的資源已永久刪除，蜘蛛抓取資源被永久性刪除。

    301：代表頁面跳轉(zhuǎn)；表示蜘蛛抓取資源時(shí)，我們的鏈接進(jìn)行了跳轉(zhuǎn)。

    403：狀態(tài)碼表示服務(wù)器拒絕請求。應(yīng)該檢查robots或者服務(wù)器訪問權(quán)限。

    500：(服務(wù)器內(nèi)部錯(cuò)誤) 服務(wù)器遇到錯(cuò)誤，服務(wù)器很不穩(wěn)定造成的。

    一般而言，蜘蛛狀態(tài)碼我們用在線工具“logohao。com”來查看比較方便！

    當(dāng)然也可以用光年日志分析軟件進(jìn)行分析蜘蛛抓取狀態(tài)碼！

    如何查看蜘蛛抓取了那些鏈接目錄

    鏈接與目錄，我們通過上圖的“蜘蛛抓取目錄”可以分析出來，比如“/robots.txt”就是我們的“域名/robots.txt”我們通過光年日志進(jìn)行分析比較直觀一些！我們可以通過點(diǎn)擊光年日志左邊的“目錄抓取”、“頁面抓取”來進(jìn)行查看分析！

    通過IP段分析蜘蛛類型

    IP段是指上圖中的“蜘蛛IP”，這個(gè)IP代表的意思非常多，有降權(quán)蜘蛛，沙盒蜘蛛，高權(quán)重蜘蛛，低權(quán)重蜘蛛等等，通過蜘蛛IP段我們可以分析出我們網(wǎng)站的整體質(zhì)量，下面來詳細(xì)講解下！

    123.125.68.*：這個(gè)蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進(jìn)入沙盒了，或被者降權(quán)。

    220.181.68.*：每天這個(gè)IP 段只增不減很有可能進(jìn)沙盒或K站。

    220.181.7.*、123.125.66.*：代表百度蜘蛛IP造訪，準(zhǔn)備抓取你東西。

    121.14.89.*：這個(gè)ip段作為度過新站考察期。

    203.208.60.*：這個(gè)ip段出現(xiàn)在新站及站點(diǎn)有不正常現(xiàn)象后。

    210.72.225.*：這個(gè)ip段不間斷巡邏各站。

    220.181.108.*：段的話，基本來說你的網(wǎng)站會(huì)天天隔夜快照，絕對錯(cuò)不了的，我保證。

    220.181.*：段屬于權(quán)重IP段此段爬過的文章或首頁基本24小時(shí)放出來。

    123.125.71.106：抓取內(nèi)頁收錄的，權(quán)重較低，爬過內(nèi)頁文章不會(huì)很快放出來，因不是原創(chuàng)或采集文章。

    220.181.108.91：屬于綜合的，主要抓取首頁和內(nèi)頁，屬于權(quán)重IP段，爬過的文章或首頁基本24小時(shí)放出來。

    我們通過“loghao。com”分析日志的時(shí)候，也可以從首頁分析中更直觀的看出來！

    今天我們就分享到這里，如果大家可以從這篇文章學(xué)到知識(shí)的話，大家可以參加我們黑帽百科SEO實(shí)戰(zhàn)SEO培訓(xùn)，我們有一套絕對有效的排名技術(shù)，同時(shí)包括“網(wǎng)站建設(shè)-》實(shí)戰(zhàn)排名-》成交轉(zhuǎn)化-》項(xiàng)目包裝”等這一些列的教程內(nèi)容，價(jià)格非常優(yōu)惠，課程通俗易懂，同時(shí)也包售后這一塊！