seo優化中robots協議應該如何書寫
2020-09-02 16:51:37
? ? ? ?在做網站的seo優化的過程中，robots協議是一個很重要的部分！蜘蛛在抓取你網站之前，都會先去訪問robots協議，蜘蛛將會根據robots協議所寫的規則，進行合理的抓取網站頁面。
什么是robots協議呢？
? ? ? ?簡單的來說robots協議是你網站跟搜索引擎爬蟲程序之間的一個協議。通過這個文件告訴搜索引擎的蜘蛛，你的網站哪些文件是允許它抓取收錄的，哪些文件我們不想讓搜索引擎抓取收錄的。切記，只是一種協議，并非是命令。當搜索引擎的蜘蛛在抓取網頁的時候，首先就會檢測網站有沒有這個robots文件，如果有這個文件，就會根據這個文件的協議來抓取網頁，如果網站沒有這個文件，就表明它隨意抓取你的網站任何頁面。這個文件的全拼是robots.txt 存放在網站的根目錄里面。
一般書寫robots文件的時候我們會用到一個蜘蛛名稱的通配符*，代表了是所有搜索引擎蜘蛛的名稱。
User-agent: 后面跟的是蜘蛛的名稱 ，一般我們的網站都用*代替所有蜘蛛的名稱。
Disallow: 后面跟的你網站禁止抓取收錄的文件名
Allow： 后面跟的是允許抓取收錄的文件名。
? ? ? ?我們在做搜索引擎優化的時候都希望網站被收錄的頁面都是有實際內容的頁面，可以參與排名為用戶解決問題的頁面。我們網站也有很多文件其實是不需要它用來參與排名的，例如網站的css文件。js文件等等。把不需要的文件給屏蔽掉其實也是為了提高蜘蛛抓取網站重點頁面的效率。
在書寫robots文件的時候一定要結合自己的網站文件來書寫，這個不是每個網站的目錄名稱都一樣的。
robots文件寫法參考
–指定蜘蛛
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符。
–禁止寫法
Disallow: /admin 這里定義是禁止爬尋admin目錄。
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下所有以“.htm”為后綴URL（包含子目錄）。
Disallow: /*？* 禁止訪問網站中所有包含問號（？）的網址。
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
–允許寫法
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄。
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄。
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片。
不同的搜索引擎，探測器（Robot）名稱也是不同的。以下是我們常見的爬蟲名稱。
谷歌：googlebot
百度：baiduspider
MSN：MSNbot
雅虎：Slurp
有道：YoudaoBot
搜搜：Sosospider
搜狗：sogou spider
360：360Spider (haosouSpider)
alexa：ia_archiver
