Robots.txt作為每一個搜索引擎蜘蛛訪問網站的第一個文件，它的規范書寫，直接影響著網站優化的結果，今天分享一下規范搜索引擎抓取的書寫。

首先我們一起來了解一下Robots.txt的作用。

1.死鏈接

當我們的網站頁面被百度收錄之后，又不小心出現死鏈接的時候，這時候就可以通過Robots.txt把死鏈接全部寫上，然后就等待快照刪除，以免對網站優化的排名造成不好的影響。

2.屏蔽隱私頁面

我們的網站總是不可避免的需要網站后臺，css文件，js文件以及一些不想被搜索引擎抓取到的文件，這時候就可以通過Robots文件進行屏蔽，具體寫法參考下面規則。

3.屏蔽重復頁面

我們的網站基本上都是使用動態的網站程序，一般的網站路徑都是動態路徑，但我們為了使是搜索引擎對網站路徑更加友好，通常都會通過技術手段把動態路徑變成靜態路徑或者偽靜態路徑，這時候實際上網站相同的頁面已經產生兩個不同的路徑了，這樣是不利于網站優化排名的，所以我們需要通過Robots把動態路徑進行屏蔽掉。

因此可見我們是需要建立屬于自己的robots.txt文件的，不僅要解決網站的404頁面，而且還要屏蔽掉重復的內容，才更有利于網站優化排名。

而它的寫法只有三條：1.User-agent，即搜索引擎蜘蛛的名稱；2.Disallow，即要攔截的部分；3.Allow，不允許的目錄下單獨允許的部分。

示例如下：

1.User-agent: *

允許所有搜索引擎進行抓取

2.Disallow: /css/

禁止抓取css文件下所有文件

3.Allow: /css/seo.jpg

單獨允許css目錄下的seo.jpg被搜索引擎抓取

需要注意的事項有三點：

1.文件位置必須放在站點根目錄；

2.2.除規則大寫外，其他全部都是使用小寫英文字母。

3.規則與文件名稱之間存在空格，必須是輸入法英文狀態下的空格，否則不起作用。

好了，以上為你介紹的助推網站優化的Robots.txt寫法，希望對制作Robots.txt有所幫助。

上一篇：2016百度搜索算法大盤點

下一篇：影響搜索引擎排名的6大因素