robots.txt 的文字檔裡面，可以設定哪些可以爬、哪些不要爬，大多數的搜尋引擎爬蟲都會遵守這個規範。
robots.txt 起源：Martijn Koster 在 1994年 建立 REP 的初期標準，再加上其它網站管理員的補充後，REP 已經成為產業標準，但是還沒成為官方的網路標準。
- robots.txt RFC：A Method for Web Robots Control
Google 開源 robots.txt 解析器 並推 REP 為正式標準
Google 將 robots.txt 稱為 REP (Robots Exclusion Protocol)，希望推動成為正式的標準協定，目前已經連同各大業者向 IETF 提交 REP 草案(draft-rep-wg-topic-00)，希望讓 REP 成為正式標準。
Google 同時 Open Source 自己的 robots.txt 解析器：
新聞可見：
- Official Google Webmaster Central Blog: Formalizing the Robots Exclusion Protocol Specification
- Official Google Webmaster Central Blog: Google’s robots.txt parser is now open source
- Google 將推動 REP 成為正式標準，開源 robots.txt 解析器
