專業的油漆工程,裝潢設計之首選,室內外油漆粉刷
外牆防水施工等服務,20年經驗有口皆碑
新竹拆除專業鐵工團隊,給你一流品質,鐵皮屋、鐵厝、鋼構屋
免費諮詢、價格合理、免費估價

首頁  •  j2h 論壇 • 網路行銷     • 

設定 robots.txt 教學

房東:孤少爺
發表時間:2006-07-25
[檢舉]


robots.txt 樣本:

User-agent: {Spider名}
Disallow: {File位置}

例:設定所有 robot 不能夠收集 /tmp/ 和 /download/ 目錄中的資料。

User-agent: *
Disallow: /tmp/
Disallow: /download/

例:設定所有 robot 不能夠收集 etc.htm 和 /index/work.html 中的資料。

User-agent: *
Disallow: /etc.htm
Disallow: /index/work.html

例:設定所有 robot 不能夠收集所有網頁資料。

User-agent: *
Disallow: /

例:設定 Google 不能夠收集 /tmp/ 目錄中的資料。

User-agent: Googlebot
Disallow: /tmp/

例:設定 Google 和 Excite 不能夠收集 /tmp/ 和 /index/work.html 目錄中的資料。

User-agent: Googlebot
User-agent: ArchitextSpider
Disallow: /tmp/
Disallow: /index/work.html

對應表:

搜尋引擎Robot 名稱
AltaVista
Scooter
InfoseekInfoseek
HotbotSlurp
AOL SearchSlurp
ExciteArchitextSpider
GoogleGooglebot
GotoSlurp
LycosLycos
MSNSlurp
NetscapeGooglebot
NorthernLightGulliver
WebCrawlerArchitextSpider
IwonSlurp
FastFast
DirectHitGrabber
Yahoo Web PagesGooglebot
Looksmart Web PagesSlurp




  • 贊助網站       

    明日黃金屋
    租屋就找明日黃金屋
    明日黃金屋
    提供租屋廣告刊登與租屋查詢,有實景照片、電子地圖、租屋配對等功能。
    易祺清潔公司
    年終大掃除,解決您清潔的困擾,由我們專業的清潔服務員到府提供完善的清潔服務。



  •  共 0 人回應

    姓名:
    佈告內容: