專(zhuān)業(yè)網(wǎng)站建設(shè)B/S軟件開(kāi)發(fā)專(zhuān)業(yè)微信營(yíng)銷(xiāo)專(zhuān)業(yè)技術(shù)建設(shè)團(tuán)隊(duì)做客戶(hù)滿(mǎn)意度最高的軟件公司
網(wǎng)站后臺(tái)里面的robots文件的作用是可以像搜索引擎反映哪些頁(yè)面是我不想被收錄的頁(yè)面，一般來(lái)說(shuō)網(wǎng)站或多或少都存在一些對(duì)排名沒(méi)多大幫助反而還有害的頁(yè)面。所以這個(gè)時(shí)候就需要用到robots文件。
一.robots的原理
robots文件的作用剛也說(shuō)到了，一般搜索引擎蜘蛛會(huì)優(yōu)先訪問(wèn)網(wǎng)站內(nèi)部的robots文件，根據(jù)文件內(nèi)設(shè)置的規(guī)則不再去抓取那些你像要屏蔽的網(wǎng)頁(yè)網(wǎng)址。
二.robots的文件格式
1.Disallow:該項(xiàng)的值用于描述不希望被抓取的URL鏈接
2.Allow:該項(xiàng)的值用于描述希望被抓取的URL鏈接
3.User-agent:該項(xiàng)的值用于描述搜索引擎robot的名字
三.robots的文件存放位置
通常robots文件直接存放于網(wǎng)站ftp后臺(tái)的根目錄路徑即可，一般搜索引擎蜘蛛優(yōu)先發(fā)文的也是網(wǎng)站的根目錄下的robots。
四.robots的文件格式
通常robots的文件格式用一般的txt文本格式即可，保存的字符編碼為utf-8標(biāo)準(zhǔn)字符即可。
五.robots的通配符介紹
星號(hào)*，表示匹配0個(gè)或多個(gè)任意字符；美元符號(hào)$，表示行結(jié)束符；
注：404和503的區(qū)別，404表示頁(yè)面丟失，503表示頁(yè)面訪問(wèn)不了，503短期內(nèi)，搜索引擎不會(huì)去抓取。
豫公網(wǎng)安備41018402000614號(hào)