引言

從 Web 上收集特定主題數(shù)據(jù)的技術(shù)可分為兩類：

①基于搜索的發(fā)現(xiàn)技術(shù)［1-3］，主要依靠搜索引擎查找網(wǎng)頁；

②基 于爬行的發(fā)現(xiàn)技術(shù)［4-6］，主要利用 Web 鏈接結(jié)構(gòu)從已下載的 網(wǎng)頁中提取新鏈接，從而發(fā)現(xiàn)更多潛在的目標(biāo)網(wǎng)頁。

前者 適用于存在一些關(guān)鍵字可區(qū)分主題數(shù)據(jù)和其它數(shù)據(jù)的情 況，后者靈活性更強(qiáng)，代表技術(shù)就是聚焦爬蟲。 與普通爬蟲相比，聚焦爬蟲有明確的目標(biāo)指向性，在 爬取網(wǎng)頁過程中能夠丟棄不相關(guān)頁面，并始終跟蹤可能導(dǎo) 向“相關(guān)”頁面的超鏈接，因而能更有效地收集特定主題的 數(shù)據(jù)。聚焦爬蟲框架與一般爬蟲基本相同，也即是說，它 從幾個(gè)種子鏈接（Seed URL）開始，下載相關(guān)頁面并提取其 中包含的超鏈接，然后跟蹤這些超鏈接以獲取更多頁面。 不斷重復(fù)該過程，直到無法以這種方式找到更多網(wǎng)頁。

聚 焦爬蟲的特殊之處在于，其會(huì)引入兩個(gè)分類器——路徑判 別器和目標(biāo)判別器，以決定某個(gè)超鏈接是否值得進(jìn)一步訪 問，以及某頁面是否值得保存。其中，路徑判別器負(fù)責(zé)判 斷鏈接值得跟蹤與否，目標(biāo)判別器負(fù)責(zé)根據(jù)網(wǎng)頁與主題相關(guān)與否對其進(jìn)行歸類。 聚焦爬蟲研究主要集中在 3 個(gè)方面：

一是如何獲得更 有效的分類器，例如使用在線學(xué)習(xí)策略構(gòu)建路徑判別器 （目標(biāo)判別器依然需要進(jìn)行預(yù)訓(xùn)練）［7，14-18］；

二是如何獲得更 好的種子鏈接，

例如維埃拉等［3］ 利用 Bing 搜索引擎，使用相 關(guān)反饋（Relevance Feedback）收集種子；

三是如何設(shè)計(jì)更好 的爬行策略［8-12，19-22］。盡管這些研究從各個(gè)方面對聚焦爬 蟲進(jìn)行了改進(jìn)，預(yù)先訓(xùn)練分類器的工作仍不可省略，因此 造成了爬蟲使用的不便。

由于其分類器是任務(wù)相關(guān)的，換 一個(gè)目標(biāo)主題就要重新手動(dòng)構(gòu)建數(shù)據(jù)集進(jìn)行訓(xùn)練。 

最近，KIEN［13］ 將聚焦爬行描述為一個(gè)排序問題，其跳 過分類器訓(xùn)練，只使用一些示例網(wǎng)站作為輸入。從樣本網(wǎng) 站中提取關(guān)鍵詞，再通過關(guān)鍵字搜索、前向爬行和后向爬 行擴(kuò)展樣本網(wǎng)站集，其設(shè)計(jì)的系統(tǒng)根據(jù)與當(dāng)前樣本網(wǎng)站的 相似性選擇新的樣本網(wǎng)站。結(jié)果表明，通過適當(dāng)?shù)南嗨菩?度量，基于排序的聚焦爬蟲可取得與基于分類器的聚焦爬 蟲相似的性能表現(xiàn)。但其問題設(shè)置與本文不同，其目標(biāo)是 得到相關(guān)網(wǎng)站，而不是網(wǎng)頁。因此，以上實(shí)踐啟發(fā)了本文 用排序器替換預(yù)訓(xùn)練分類器構(gòu)建自舉聚焦爬蟲，以解決網(wǎng) 站群內(nèi)部的主題網(wǎng)頁發(fā)現(xiàn)問題。 本 文 設(shè) 計(jì) 一 種 自 舉 聚 焦 爬 蟲（Bootstrapping Focused Crawler，簡稱 BFC），該方法為聚焦爬蟲提供一些示例網(wǎng)頁， 而不是預(yù)先訓(xùn)練的分類器，從而可略過繁復(fù)的分類器訓(xùn)練 過程。該方法適用于特定網(wǎng)站群中的主題數(shù)據(jù)收集，例如 收集各大學(xué)錄取信息、各公司招聘信息、各政府網(wǎng)站的政 策信息等。圖 1 展示了兩個(gè)爬取任務(wù)示例。任務(wù)難點(diǎn)在 于，上千所高校、公司雖然網(wǎng)站架構(gòu)類似，但每個(gè)節(jié)點(diǎn)對應(yīng) 的超鏈接文字用詞千差萬別，路徑深度與目標(biāo)頁面特征也 存在顯著差異。因此，在不預(yù)訓(xùn)練分類器的前提下，只提 供少量樣例網(wǎng)頁充當(dāng)爬蟲向?qū)В且环N新的嘗試。 由于特定網(wǎng)站群是眾多一手信息的源頭，如果能及 時(shí)、有效地收集相關(guān)信息并匯聚起來，將極大地降低信息 瀏覽門檻，并催生出數(shù)據(jù)可視化等應(yīng)用。因此，本文提出 的網(wǎng)站群爬蟲具有很強(qiáng)的現(xiàn)實(shí)意義。

圖 1 網(wǎng)站群爬蟲爬取任務(wù)示例 

注：粗體字表示爬蟲從網(wǎng)站根節(jié)點(diǎn)出發(fā)的最優(yōu)爬行路徑

1 自舉聚焦爬蟲 自舉聚焦爬蟲框架如圖 2 所示

圖 2 自舉聚焦爬蟲框架 程序有兩個(gè)輸入：

一個(gè)是網(wǎng)站群站點(diǎn)（Website）列表， 一個(gè)是少量樣例網(wǎng)頁，每個(gè)樣例網(wǎng)頁包含其所在站點(diǎn)的根 鏈接和自身鏈接這一對元素。

首先，對樣例網(wǎng)頁進(jìn)行路徑 提取與特征提取。在傳統(tǒng)聚焦爬蟲框架下，需要一個(gè)能引 導(dǎo)爬蟲到目標(biāo)節(jié)點(diǎn)的向?qū)В窂脚袆e器），以及能夠區(qū)分目 標(biāo)節(jié)點(diǎn)與其它節(jié)點(diǎn)的評委（目標(biāo)判別器）。路徑提取目標(biāo) 是構(gòu)建路徑判別器，而特征提取目標(biāo)是構(gòu)建目標(biāo)判別器。 區(qū)別在于，本文提出的自舉聚焦爬蟲用相似度排序模塊替 代傳統(tǒng)框架下的目標(biāo)判別器，用類似于強(qiáng)化學(xué)習(xí)的手段在 · 110 ·第 8 期 線構(gòu)建路徑判別器。然后利用兩個(gè)判別器從輸入的網(wǎng)站 群根節(jié)點(diǎn)開始循環(huán)抓取網(wǎng)頁，并不斷把最相關(guān)的網(wǎng)頁加入 網(wǎng)頁樣例庫，用于更新兩個(gè)判別器。該流程循環(huán)進(jìn)行，直 到無法發(fā)現(xiàn)更多網(wǎng)頁或達(dá)到迭代次數(shù)上限為止。 1.1 路徑判別器 

路徑判別器本質(zhì)上是一個(gè)二分類器：輸入一個(gè)超鏈接 短文本，輸出其是否與要爬取的主題相關(guān)，或沿著該鏈接 是否能找到與主題相關(guān)網(wǎng)頁。在網(wǎng)站群爬蟲這個(gè)具體應(yīng) 用場景中，存在一條從站點(diǎn)根節(jié)點(diǎn)到當(dāng)前頁面的超鏈接路 徑（見圖 1），可利用這條路徑上的前序文本增強(qiáng)當(dāng)前鏈接 短文本的判斷準(zhǔn)確度。因此，本文通過路徑提取將傳統(tǒng)路 徑判別器的單一短文本輸入擴(kuò)充為短文本列表。 在頁面爬取過程中，對每個(gè)待判別的路徑 t 打分，如果 分?jǐn)?shù)大于閾值，則判定為相關(guān)鏈接。計(jì)算公式如下： f (t) = ?w ? tαw 其中，超文本 w 是路徑 t 中的詞，αw 是 w 的權(quán)重，其 初始化使用了樣例庫提供的信息。具體而言，本文把從樣 例網(wǎng)頁中提取的路徑集中起來，分詞后統(tǒng)計(jì)每個(gè)詞的詞 頻，形成各詞的初始權(quán)重。其它詞默認(rèn)初始權(quán)重為-1，以 懲罰路徑中存在過多未知詞。在爬取過程中，αw 采用類似 強(qiáng)化學(xué)習(xí)的策略進(jìn)行更新。每當(dāng)一個(gè)路徑 t 被判定為相 關(guān)，其包含詞的對應(yīng)權(quán)重都消耗 1；每當(dāng)找到一個(gè)目標(biāo)網(wǎng) 頁，其對應(yīng)路徑中的詞權(quán)重獎(jiǎng)勵(lì) 2。

1.2 相似度排序 

在目標(biāo)判別環(huán)節(jié)，本文用排序器替換預(yù)訓(xùn)練的分類 器。

具體而言，爬蟲根據(jù)訪問頁面與示例網(wǎng)頁的相似性對 其進(jìn)行排序，將相似度大于閾值的網(wǎng)頁作為相關(guān)網(wǎng)頁輸 出，并同時(shí)將排名前 p%的網(wǎng)頁添加到示例庫，開始下一輪 迭代。 在計(jì)算網(wǎng)頁相似度時(shí)，采用以下公式： s( x) = -dcos( x x) 其中，dcos 是余弦距離，x 是從待評估網(wǎng)頁標(biāo)題和內(nèi)容 中提取文本的詞袋模型（Bag of Words）向量表示，x 是樣例 網(wǎng)頁整合成單一文檔生成的詞袋模型向量表示。該公式 計(jì)算的相似度是目標(biāo)網(wǎng)頁與樣例庫的總體平均相似性。 

2 爬取效果

2.1 實(shí)驗(yàn)任務(wù)與數(shù)據(jù)集 

本文按照中國大學(xué)排行榜，收集了中國排名前 200 的 大學(xué)官方網(wǎng)站頁面集合作為實(shí)驗(yàn)數(shù)據(jù)集。為檢驗(yàn)爬蟲性 能，定義主題爬取任務(wù)如下：獲取高校歷史錄取分?jǐn)?shù)相關(guān) 頁面。本文手動(dòng)標(biāo)記每個(gè)站點(diǎn)與所需主題相關(guān)頁面（URL） 作為真實(shí)標(biāo)簽，數(shù)據(jù)集頁面總數(shù)為 41 600，其中正樣本數(shù)量 為 1 033。 為得到樣例網(wǎng)頁庫作為算法輸入，本文從 200 個(gè)網(wǎng)站 中隨機(jī)抽取 3 個(gè)網(wǎng)站，并為每個(gè)網(wǎng)站標(biāo)記一個(gè)示例頁面，得 到 3 個(gè)樣例（每個(gè)樣例含有一對數(shù)據(jù)，即目標(biāo)網(wǎng)頁的 URL 以 及所在網(wǎng)站根節(jié)點(diǎn)的 URL）。通過對 4 組使用不同樣例集 的爬蟲計(jì)算平均得分，得到 BFC 性能得分。 

2.2 效果展示 

本 文 選 取 傳 統(tǒng) 聚 焦 爬 蟲（FC）作 為 基 線 算 法 進(jìn) 行 對 比。出于公平性考慮，FC 所需分類器基于樣例網(wǎng)頁庫的少 量正樣本，采用 KNN 算法獲得。本文提出的自舉聚焦爬蟲 （BFC）與基線算法 FC 在高校歷史錄取分?jǐn)?shù)爬取任務(wù)中的 表現(xiàn)對比如表 1 所示。 表 1 BFC 與 FC 在錄取分?jǐn)?shù)爬取任務(wù)中表現(xiàn)對比 FC BFC Precision 0.62 0.35 Recall 0.16 0.62 F1 0.25 0.45 由表 1 可以看到，BFC 的準(zhǔn)確率（Precision）比傳統(tǒng)方法 FC 低很多，其原因是 FC 爬取頁面數(shù)量較少，以極低的召回 率（Recall）為代價(jià)獲得了較高準(zhǔn)確率。然而，在爬蟲實(shí)際 使用過程中，召回率更為重要，因?yàn)橐M可能全面地收集 所需信息，而在自動(dòng)篩選環(huán)節(jié)一旦遺漏相關(guān)信息，就很難 再找到目標(biāo)網(wǎng)頁。在召回率方面，BFC 的表現(xiàn)遠(yuǎn)好于 FC。 綜合準(zhǔn)確率和召回率的指標(biāo) F1-Score 也顯示 BFC 的性能 優(yōu)于 FC。 爬取部分結(jié)果如

圖 3 所示。圖中 name 列輸出爬取站 點(diǎn)，url 列輸出任務(wù)相關(guān)頁面網(wǎng)址，path 列輸出從網(wǎng)站根節(jié) 點(diǎn)到頁面的路徑，score是該頁面相關(guān)性得分

參考文獻(xiàn)： 

［1］ DISHENG Q，LUCIANO B，XIN L，et al. Dexter：large-scale discov? ery and extraction of product specifications on the web［C］. Proceed? ings of the VLDB Endowment，2015：2194-2205. 

［2］ XUEZHI W，CONG Y，SIMON B，et al. Relevant document discovery for fact-checking articles［C］. In Companion Proceedings of the Web Conference，2018：525-533. 

［3］ KARANE V，LUCIANO B，ALTIGRAN S D S，et al. Finding seeds to bootstrap focused crawlers［C］. In The World Wide Web Confer? ence，2016：449-474. 

［4］ LUCIANO B，SRINIVAS B，VIVEK K R S. Crawling back and forth： using back and out links to locate bilingual sites［C］. In Proceedings of 5th International Joint Conference on Natural Language Processing， 2011：429-437. 

［5］ TSUYOSHI M. Finding related web pages based on connectivity infor? mation from a search engine［C］. In WWW Posters，2001. 

［6］ LUCIANO B. Harvesting forum pages from seed sites［C］. In Interna? tional Conference on Web Engineering，2017：457-468. 

［7］ MCCALLUM A，NIGAM K，RENNIE J，et al. A machine learning ap? proach to building domain-specific search engines［C］. Proceedings of the Sixteenth International Joint Conference on Artificial Intelli? gence，1999：662-667. 

［8］ MICHAEL H，MICHAL J，YOELLE S M，et al. The shark-search al? gorithm. An application：tailored Web site mapping［J］. Computer Networks & Isdn Systems，1998，30（1-7）：317-326. ［9］ BERGMARK D，LAGOZE C，SBITYAKOV A. Focused crawls，tun? neling，and digital libraries ［C］. Proceedings of the 6th European Conference on Research and Advanced Technology for Digital Librar? ies，2002. ［10］ MARISTELLA A，COSTANTINO T. Research and Advanced Tech? nology of digital libraries［M］. Springer Berlin Heidelberg，2002： 91-106. 

［11］ 葉勤勇. 基于 URL 規(guī)則的聚焦爬蟲及其應(yīng)用［D］. 杭州：浙江大 學(xué)，2007 

［12］ BRA P M E D，POST R D J. Information retrieval in the World-Wide Web：making client-based searching feasible［J］. Computer Net? works & Isdn Systems，1994，27（2）：183-192. 

［13］ KIEN P，AECIO S，JULIANA F. Bootstrapping domain-specifific con? tent discovery on the Web［C］. In The World Wide Web Conference， 2019：1476-1486. 

［14］ 傅向華，馮博琴，馬兆豐，等. 可在線增量自學(xué)習(xí)的聚焦爬行方法 ［J］. 西安交通大學(xué)學(xué)報(bào)，2004，38（6）：599-602. 

［15］ 劉國靖，康麗，羅長壽. 基于遺傳算法的主題爬蟲策略［J］. 計(jì)算機(jī) 應(yīng)用，2007，27（12）：172-174. 

［16］ 曾廣樸，范會(huì)聯(lián). 基于遺傳算法的聚焦爬蟲搜索策略［J］. 計(jì)算機(jī) 工程，2010，36（11）：167-169. 

［17］ 童亞拉. 自適應(yīng)動(dòng)態(tài)演化粒子群算法在 Web 主題信息搜索中的應(yīng) 用［J］. 武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2008，33（12）：1296-1299. 

［18］ 賀晟，程家興，蔡欣寶. 基于模擬退火算法的主題爬蟲［J］. 計(jì)算機(jī) 技術(shù)與發(fā)展，2009，19（12）：55-58. 

［19］ 宋海洋，劉曉然，錢海俊. 一種新的主題網(wǎng)絡(luò)爬蟲爬行策略［J］. 計(jì) 算機(jī)應(yīng)用與軟件，2011，28（11）：264-267. 

［20］ 謝志妮. 一種新的基于概念樹的主題網(wǎng)絡(luò)爬蟲方法［J］. 計(jì)算機(jī)與 現(xiàn)代化，2010，176（4）：103-106. 

［21］ 左薇，張熹，董紅娟，等. 主題網(wǎng)絡(luò)爬蟲研究綜述［J］. 軟件導(dǎo)刊， 2020，19（2）：278-281. 

［22］ 韓 瑞 昕. 基 于 時(shí) 效 性 的 爬 蟲 調(diào) 度［J］. 軟 件 導(dǎo) 刊 ，2020，19（1）： 108-112.

。轉(zhuǎn)載請注明來源地址：黑帽SEO http://www.790079.com 專注于SEO培訓(xùn)，快速排名
黑帽WiKi_黑帽百科(www.790079.com),8年黑帽SEO優(yōu)化技術(shù),黑帽seo快速排名,黑帽SEO技術(shù)培訓(xùn)學(xué)習(xí),黑帽SEO快速排名程序、泛目錄、寄生蟲技術(shù),贈(zèng)送免費(fèi)黑帽SEO視頻教程

（黑帽seo技術(shù),網(wǎng)站快速排名,蜘蛛池加速收錄,目錄程序定制）

掃一下添加微信：