《Predator: Hunting Grounds》八月份更新   PlayStation Black Friday優惠公布   NVIDIA與ROG發表共同開發的史上最快電競螢幕「ASUS ROG Swift 360」   Nifty Games 宣布 Peter Moore 加入董事局   PlayStation 5 將於 2020年11月19日上市,PS5數位版售價US$399、搭載Ultra HD Blu-ray™光碟機的PS5售價US$499   伊織萌代言電競家具品牌Bauhutte推出電競棉被 「棉花坦克BHB-1600」   TGS2020圓滿落幕!日本知名Youtuber Hajime社長、整場記憶最深刻的是「萊莎的cosplay」!   夏普在台灣推出SHARP AQUOS zero2!同時宣布贊助ahq e-Sports Club 電競團隊 

Google 開源 robots.txt 解析器 並推 REP 為正式標準

商業

robots.txt 的文字檔裡面,可以設定哪些可以爬、哪些不要爬,大多數的搜尋引擎爬蟲都會遵守這個規範。

robots.txt 起源:Martijn Koster 在 1994年 建立 REP 的初期標準,再加上其它網站管理員的補充後,REP 已經成為產業標準,但是還沒成為官方的網路標準。

Google 開源 robots.txt 解析器 並推 REP 為正式標準

Google 將 robots.txt 稱為 REP (Robots Exclusion Protocol),希望推動成為正式的標準協定,目前已經連同各大業者向 IETF 提交 REP 草案(draft-rep-wg-topic-00),希望讓 REP 成為正式標準。

Google 同時 Open Source 自己的 robots.txt 解析器:

新聞可見:

Tsung
Addidas

隨機商業新聞