您好!歡迎光臨北京歡迎你科技有限公司官網(wǎng)!
售前咨詢熱線: 400-8737-108 北京地區(qū)專線: 010-52886123 售后服務(wù)專線: 010-56035709 VIP專線: 15901551129(24小時(shí))
您可以通過以下新聞與公司動(dòng)態(tài)進(jìn)一步了解我們。我們所簽約的客戶,無論他們的項(xiàng)目是大或者小,我們都將提供好的服務(wù)。
神馬是robots.txt文件?
搜索引擎使用spider程序自動(dòng)訪問互聯(lián)網(wǎng)上地網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問壹個(gè)網(wǎng)站時(shí),會(huì)首先會(huì)檢查該網(wǎng)站地根域下是否有壹個(gè)叫做 robots.txt地純文本文件,這個(gè)文件用于指定spider在您網(wǎng)站上地抓取范圍。您能在您地網(wǎng)站中創(chuàng)建壹個(gè)robots.txt,在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄地部分或者指定搜索引擎只收錄特定地部分。
請(qǐng)注意,僅當(dāng)您地網(wǎng)站包含不希望被搜索引擎收錄地內(nèi)容時(shí),才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請(qǐng)勿建立robots.txt文件。