前段時間我利用robots.txt做了一個實驗，看看robots對百度優化排名有利嗎，結果給我2個答案，有一個網站排名不好，有一個網站排名上升，最近我也不知道robots對百度優化排名有利嗎，現在也是非常時期不會長時間拿著自己的網站做這實驗，還請江湖人們告訴我有沒用吧。

搜索引擎蜘蛛在訪問一個網站時，會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件。robots.txt文件作用是禁止搜索引擎抓取網站中某些內容。文件名必須是robots.txt（小寫字母）。存放位置必須在空間根目錄下，百度的robots.txt文件允許百度蜘蛛抓取網站部分頁面。如網站允許抓取所有文件，可以不需要使用此文件。