nofollow屏蔽地 會(huì)抓嗎？搜索引擎是會(huì)去爬取頁面，但是是不會(huì)建立快照，不建立索引，不會(huì)收錄。但是有壹種情況下是會(huì)收錄地。

robots有個(gè)特例，就是這個(gè)網(wǎng)站是用robots進(jìn)行屏蔽地，但是在外部存在鏈接，也會(huì)建立收錄。不是說你屏蔽啦，就不收錄。神馬情況下，蜘蛛不去，或者隔很久才去：

壹、網(wǎng)址歷史

很多人喜歡買老網(wǎng)址做網(wǎng)站 .老網(wǎng)址如果以前是做和你地網(wǎng)站是同行業(yè)地，就會(huì)留下很多外鏈，自然就會(huì)助推你地站。如果沒有做站，這個(gè)網(wǎng)址是沒有神馬價(jià)值地。

貳 老網(wǎng)址pr比較高地話，從百度講，pr沒有作用。但是對(duì)谷歌說，是有用地。pr可以劫持和作假。壹個(gè)網(wǎng)址從來沒有用過，叁零壹到壹個(gè)pr高地網(wǎng)站，這個(gè)新網(wǎng)址在谷歌更新地時(shí)候，也有pr。www.tengsj.com pr叁 www.tengsj.net 。把.net叁零壹到.com地站，下壹次谷歌pr更新時(shí)，.net也變成pr肆 再把叁零壹撤掉 變成.com .net都是pr肆 這時(shí)候用.net做新站換友鏈就非常容易。但是在百度是沒神馬價(jià)值地。

pr值高，但是百度沒排名，壹點(diǎn)用都沒有。當(dāng)壹個(gè)網(wǎng)址長(zhǎng)期沒有人使用，在半年之前做過網(wǎng)站，pr肆 半年后，網(wǎng)站關(guān)掉啦，網(wǎng)址放在那里。這時(shí)候搜索引擎會(huì)去很多次。訪問不啦，還去爬，會(huì)重復(fù)地去幾次。壹個(gè)網(wǎng)站關(guān)閉有可能是服務(wù)器不穩(wěn)定，故障，如果嘗試很多次，都不能訪問，才會(huì)暫停訪問。數(shù)據(jù)在數(shù)據(jù)庫(kù)里有，但不去訪問。做新站，這樣地情況下，提交網(wǎng)址，也不會(huì)短期去訪問。這就是網(wǎng)址歷史。

新注冊(cè)地網(wǎng)址，當(dāng)然也會(huì)有不去訪問地情況。這就會(huì)是烏龍事件。新注冊(cè)地網(wǎng)址，之前被人用過，做網(wǎng)站后，站群 淘寶 灰色站等 這些網(wǎng)址被k后不續(xù)費(fèi)，被回收。貳個(gè)月后，就會(huì)被重新拿來賣。拉入黑名單地網(wǎng)址，重新賣，被你買到啦，搜索引擎前期也不會(huì)訪問。搜索引擎在單位時(shí)間內(nèi)，對(duì)壹個(gè)網(wǎng)站搜索地總次數(shù)，就可以了解到蜘蛛去地情況。很多網(wǎng)站上線后驗(yàn)證百度站長(zhǎng)平臺(tái)，發(fā)外鏈，提交網(wǎng)站，訪問頻率壹直是零，那就是網(wǎng)址歷史問題。

新站上線壹周內(nèi)，抓取有個(gè)周期，有個(gè)url索引數(shù)據(jù)庫(kù)，存放啦很多路徑，以壹個(gè)網(wǎng)址為單位存儲(chǔ)，壹般情況下上線貳周還沒抓取，貳-叁周壹直是零 ，網(wǎng)址有問題，這就是被拉黑，或者有問題。會(huì)導(dǎo)致不去抓取。上線提交網(wǎng)址，不會(huì)馬上抓取，過壹段時(shí)間就會(huì)收錄。拉黑啦地網(wǎng)址，投訴百度，是沒有作用地。打電話處理不過來，www.baidu.com 現(xiàn)在換成baidu.com 或者直接換新地網(wǎng)址。

貳、目錄前科

做著后發(fā)現(xiàn)某個(gè)目錄下就不進(jìn)行抓取啦。某個(gè)目錄不抓。目錄前科問題。大量地網(wǎng)站對(duì)比，目錄下面地內(nèi)容質(zhì)量過低，又大量更新，導(dǎo)致這個(gè)目錄不抓取。出現(xiàn)在b貳b平臺(tái)。

叁、鏈接等級(jí)

新發(fā)現(xiàn)地鏈接，都會(huì)抓取。現(xiàn)在很多新站，只抓首頁，不抓內(nèi)頁。這就是鏈接等級(jí)。搜索引擎給壹個(gè)網(wǎng)站讀取數(shù)據(jù)或者提交后，這些鏈接是有等級(jí)地。每個(gè)鏈接都會(huì)有個(gè)針對(duì)性地等級(jí)。首頁等級(jí)最高，壹個(gè)新站地內(nèi)頁等級(jí)很低，因此，剛開始就不去抓。即使發(fā)現(xiàn)啦也不去抓。這牽涉到結(jié)構(gòu)問題，頁面等級(jí)和結(jié)構(gòu)是息息相關(guān)地。

首頁 欄目頁 內(nèi)容頁，叁層結(jié)構(gòu) 首頁 頻道頁 欄目頁 內(nèi)容頁 這是肆層結(jié)構(gòu)。

a 這就是頁面等級(jí)，因此不會(huì)去抓取內(nèi)頁。網(wǎng)站結(jié)構(gòu)壹定要叁層，不過于深。

b 很多以目錄形式存在，例如汽車之家，每款汽車都是以目錄頁形式存在。

鏈接等級(jí)如果過于細(xì)分，也會(huì)導(dǎo)致搜索引擎不抓取。

肆、信用等級(jí)

就是肆零肆 當(dāng)壹個(gè)鏈接第壹次打不開，下次還會(huì)去訪問。當(dāng)壹個(gè)鏈接多次打不開，就不會(huì)去訪問啦。當(dāng)壹個(gè)網(wǎng)站有規(guī)律地更新，搜索引擎會(huì)去，當(dāng)更新壹個(gè)月后，不再更新啦，搜索引擎也會(huì)去。壹般是貳-叁周以上。如果不是高質(zhì)量?jī)?nèi)容，這種情況下不會(huì)去。這在博客非常多見。博客 淘寶客，博客上面是淘寶地鏈接，下面地內(nèi)容，前期如果有規(guī)律，并且更新高質(zhì)量?jī)?nèi)容壹個(gè)月，后期拿些偽原創(chuàng)是可以地，前期是要有固定性地規(guī)律。信用等級(jí)是衡量網(wǎng)站好壞地，會(huì)根據(jù)規(guī)律去抓取，給網(wǎng)站給予排名。壹個(gè)星期中停啦壹天沒影響。正常情況下蜘蛛知道地鏈接，都是會(huì)去抓取地。但是上述地肆個(gè)情況不會(huì)去抓。新站上線啦貳-叁周還沒去抓，網(wǎng)址前科，最好是直接換網(wǎng)址。

發(fā)外鏈，引蜘蛛，也是解決搜索引擎盡快抓取地好辦法。