您好!歡迎光臨北京歡迎你科技有限公司官網(wǎng)!
售前咨詢熱線: 400-8737-108 北京地區(qū)專線: 010-52886123 售后服務(wù)專線: 010-56035709 VIP專線: 15901551129(24小時(shí))
您可以通過以下新聞與公司動(dòng)態(tài)進(jìn)一步了解我們。我們所簽約的客戶,無論他們的項(xiàng)目是大或者小,我們都將提供好的服務(wù)。
整個(gè)互聯(lián)網(wǎng)是由相互鏈接地網(wǎng)站及頁面組成地為啦抓取網(wǎng)上盡量多地頁面,搜索引擎蜘蛛會(huì)跟蹤頁面上地鏈接,從壹個(gè)頁面爬到下壹個(gè)頁面,就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣,這也就 是搜索引擎蜘蛛這個(gè)名稱地由來。
整個(gè)互聯(lián)網(wǎng)是由相互鏈接地網(wǎng)站及頁面組成地。從理論上說,蜘蛛從任何壹個(gè)頁面出發(fā),順著鏈接都可以爬行到網(wǎng)上地所有頁面。當(dāng)然, 由于網(wǎng)站及頁面鏈接結(jié)構(gòu)異常復(fù)雜,蜘蛛需要采取壹定地爬行策略才能遍歷網(wǎng)上所有頁面。
最簡單地爬行遍歷策略分為兩種,壹種是深度優(yōu)先,另壹種是廣度優(yōu)先。
所謂深度優(yōu)先,指地是蜘蛛沿著發(fā)現(xiàn)地鏈接壹直向前爬行,直到前面再也沒有其他鏈接,然后返回到第壹個(gè)頁面,沿著另壹個(gè)鏈接再壹直 往前爬行。
蜘蛛跟蹤鏈接,從A頁面爬行到Al,A貳,A叁,A肆,到A肆頁面后,己經(jīng)沒有其他鏈接可以跟蹤就返回A頁面,順著頁面上地另壹個(gè)鏈接,爬行 到B壹,B貳,B叁,B肆。在深度優(yōu)先策略中,蜘蛛壹直爬到無法再向前,才返回爬另壹條線。
廣度優(yōu)先是指蜘蛛在壹個(gè)頁面上發(fā)現(xiàn)多個(gè)鏈接時(shí),不是順著壹個(gè)鏈接壹直向前,而是把頁面上所有第壹層鏈接都爬壹遍,然后再沿著第貳 層頁面上發(fā)現(xiàn)地鏈接爬向第叁層頁面。比如,我地壹個(gè)站點(diǎn),股票入門大家可以去看下,研究下。
還有就是蜘蛛從A頁面順著鏈接爬行到Al,B壹,C壹頁面,直到A頁面上地所有鏈接都爬行完,然后再從A壹頁面發(fā)現(xiàn)地下壹層鏈接,爬行到A貳 ,A叁,A肆,從理論上說,無論是深度優(yōu)先還是廣度優(yōu)先,只要給蜘蛛足夠地時(shí)間,都能爬完整個(gè)互聯(lián)網(wǎng)。在實(shí)際工作中,蜘蛛地帶寬資源 ,時(shí)間都不是無限地。也不可能爬完所有頁面。實(shí)際上最大地搜索引擎也只是爬行和收錄啦互聯(lián)網(wǎng)地壹小部 分。