User-agent: определение типа поисковых двигателейDisallow: определение адреса, запрещенного поисково - поисковыми двигателямиAllow: определение адреса, позволяющего получить доступ к поисковому движению.Sitemap: http://xxxx.xx/sitemap.xml 
                

часто используемый поиск：
google蜘蛛：googlebot
百度蜘蛛：baiduspider
神马：Yisouspider
搜狗：sogou spider |  Sogou web spider
360：网页搜索 360Spider | 网页搜索 HaoSouSpider |  图片搜索 360Spider-Image | 视频搜索 360Spider-Video
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
altavista蜘蛛：scooter
lycos蜘蛛：lycos_spider_(t-rex)
alltheweb蜘蛛：fast-webcrawler