1. 什么是robots.txt?
robots.txt 是網(wǎng)站和搜索引擎的協(xié)議的純文本文件。當一個搜索引擎蜘蛛來訪問站點時，它首先爬行來檢查該站點根目錄下是否存在robots.txt？如果存在，根據(jù)文件內(nèi)容來確定訪問范圍，如果沒有，蜘蛛就沿著鏈接抓取。robots.txt 放在項目的根目錄下。
2. robots.txt語法

1) 允許所有搜索引擎訪問網(wǎng)站的所有部分
robots.txt寫法如下：
User-agent:  *
Disallow:
或者
User-agent:  *
Allow:  /

注意： 1. 第一個英文要大寫，冒號是英文狀態(tài)下，冒號后面有一個空格，這幾點一定不能寫錯。

2) 禁止所有搜索引擎訪問網(wǎng)站的所有部分
robots.txt寫法如下：
User-agent:  *
Disallow:  /

3) 只需要禁止蜘蛛訪問某個目錄，比如禁止admin、css、images等目錄被索引
robots.txt寫法如下：
User-agent:  *
Disallow:  /css/
Disallow:  /admin/
Disallow:  /images/

注意：路徑后面有斜杠和沒有斜杠的區(qū)別：比如Disallow: /images/ 有斜杠是禁止抓取images整個文件夾，Disallow: /images 沒有斜杠意思是凡是路徑里面有/images關鍵詞的都會被屏蔽

4）屏蔽一個文件夾/templets，但是又能抓取其中一個文件的寫法:/templets/main
robots.txt寫法如下：
User-agent:   *
Disallow:  /templets
Allow:  /main

5)  禁止訪問html/目錄下的所有以”.php”為后綴的URL(包含子目錄)

robots.txt寫法如下：
User-agent:  *
Disallow: html/*.php

6) 僅允許訪問某目錄下某個后綴的文件,則使用“$”
robots.txt寫法如下：
User-agent:  *
Allow:  .html$
Disallow:  /

7）禁止索引網(wǎng)站中所有的動態(tài)頁面
比如這里限制的是有“?”的域名，例如index.php?id=1
robots.txt寫法如下：
User-agent:  *
Disallow:  /*?*
         
8) 禁止搜索引擎抓取我們網(wǎng)站上的所有圖片(如果你的網(wǎng)站使用其他后綴的圖片名稱，在這里也可以直接添加)
有些時候，我們?yōu)榱斯?jié)省服務器資源，需要禁止各類搜索引擎來索引我們網(wǎng)站上的圖片，這里的辦法除了使用“Disallow: /images/”這樣的直接屏蔽文件夾的方式之外，還 可以采取直接屏蔽圖片后綴名的方式。
robots.txt寫法如下：
User-agent: *
Disallow:  .jpg$
Disallow:  .jpeg$
Disallow:  .gif$
Disallow:  .png$
Disallow:  .bmp$

寫robots.txt要注意的地方
1. 第一個英文要大寫，冒號是英文狀態(tài)下，冒號后面有一個空格，這幾點一定不能寫錯。
2. 斜杠：/ 代表整個網(wǎng)站
3.如果“/”后面多了一個空格，則屏蔽整個網(wǎng)站
4.不要禁止正常的內(nèi)容
5.生效時間是幾天到兩個月 

百度搜索資源平臺鏈接：

https://ziyuan.baidu.com/college/courseinfo?id=267&page=13

上一篇：網(wǎng)站優(yōu)化排名中核心關鍵詞的選擇方向與建議

下一篇：網(wǎng)站優(yōu)化中哪些操作會影響網(wǎng)站排名？