做網站優化這些年遇到過形形色色的robots協議的寫法，有的站長還會利用botots屏蔽對方的友情連接，不是沒有是你還沒遇到。或許有一天你會無意間發現。robots協議做為做網站優化基礎知識是一個告訴搜索引擎蜘蛛或機器人來到網站內，哪些內容是可以檢索，哪些內容是禁止抓取的。任何一個網站都必須有robots協議，不僅可以保證蜘蛛來一趟能夠很好的檢索你想暴漏的內容，還會減輕蜘蛛不必要的工作量，一個合格robots協議蜘蛛還是很喜歡的，原因很簡單蜘蛛的來訪第一個爬行的就是你的robots文件。
說的直白一點robots協議就是放出你想放出的內容，禁止你要禁止的內容。對于新人剛接觸到做網站優化，剛認識到robots都不清楚如何編寫，這里給大家具體分析一下robots的編寫格式與方式。
robots.txt怎么寫
User-agent: * 這個口令的意思是說允許所有搜索引擎來訪抓取
Disallow: /wp-* 由于wordpress內wp開頭的文件和文件夾交多，這里是禁止抓去以wp開始 或者wp目錄下的內容
Allow: /wp-content/uploads/ 由于這個目錄下有一些站內的圖片，大家都知道百度圖片也是 可以被收錄并有所排名，所以我把這一塊想的放出來，意思 就是允許抓去這個目錄下的內容。
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
這些是禁止抓去所有以這些格式結尾的文件
Disallow: /?* 禁止抓取?后一些以來源的RUL，減少重復收錄
Disallow: /feed
Disallow: /*/feed 訂閱頁面禁止抓去收錄
Disallow: /rukou.htm 禁止蜘蛛爬行這個頁面 ，由于里面寫入了大量的Nofollow,并且頁面 也無關鍵詞切入。
Sitemap:http://www.seolseo.com/sitemap.xml 提示蜘蛛抓取 網站地圖。
robots的運用關系網站的安全性，上次就遇到一個，一個網友在網上投的簡歷竟然被釋放出來，從而被百度收錄，這是一個極度需要安全的頁面，該招聘網站這里就不說了，總之我是不會去那個網站去投簡歷找工作的。連最基本的robots協議都不寫好，還造成用戶的個人信息流到網上。robots協議對于一個網站是非常重要的，做的好會有效的屏蔽保密或者不想被搜索抓取的頁面，從而也可以促進我們網站的關鍵詞排名。來自seolseo博客。