User-agent: 검색 엔진의 유형을 정의Disallow: 검색 엔진 수록된 주소 정의Allow: 검색 엔진 수록된 주소 정의Sitemap: http://xxxx.xx/sitemap.xml
자주 사용하는 검색 엔진 유형:
google蜘蛛:googlebot
百度蜘蛛:baiduspider
神马:Yisouspider
搜狗:sogou spider | Sogou web spider
360:网页搜索 360Spider | 网页搜索 HaoSouSpider | 图片搜索 360Spider-Image | 视频搜索 360Spider-Video
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛:lycos_spider_(t-rex)
alltheweb蜘蛛:fast-webcrawler