《Disney +》 迪士尼、Marvel、彼思、星球大戰…  《暗黑破壞神 II:獄火重生》打造控制器體驗   CAPCOM官方節目將在東京電玩展首日登場!CAPCOM TGS2021 Online網站開幕!   設計《DEATHLOOP》的寇特與茱莉安娜   《仙境傳說 ORIGIN》日區6月28日開服!「Nijisanji」VTuber確定直播遊玩實況!   一番賞「集合啦!動物森友會~無憂無慮的海島生活每天都開心無比~」12月8日發售!   銀座LOFT裡「PJS追憶商品特區」登場!曾完售的那個超人氣商品也以數量限定進行販售囉!   「Pokémon GO」4月的社群日主角是「藤藤蛇」!另外「天氣週」活動現正舉行中!   X JAPAN、LUNA SEA、GLAY 三大天團聯手!【音樂人官方認證】視覺系音樂節奏遊戲《EXTASY VISUAL SHOCK》正式公開! 

Google 開源 robots.txt 解析器 並推 REP 為正式標準

商業

robots.txt 的文字檔裡面,可以設定哪些可以爬、哪些不要爬,大多數的搜尋引擎爬蟲都會遵守這個規範。

robots.txt 起源:Martijn Koster 在 1994年 建立 REP 的初期標準,再加上其它網站管理員的補充後,REP 已經成為產業標準,但是還沒成為官方的網路標準。

Google 開源 robots.txt 解析器 並推 REP 為正式標準

Google 將 robots.txt 稱為 REP (Robots Exclusion Protocol),希望推動成為正式的標準協定,目前已經連同各大業者向 IETF 提交 REP 草案(draft-rep-wg-topic-00),希望讓 REP 成為正式標準。

Google 同時 Open Source 自己的 robots.txt 解析器:

新聞可見:

Tsung

隨機商業新聞

Disney+