Détection de ligne de robots - Toolnb online toolbox

Outil de détection de robottes

Il s' agit de savoir si le site Web robots est correct et s' il est normal et que l 'adresse est ouverte.S' il vous plaît, saisissez le nom de domaine du site Web sans http: / / /.

Robots.txt est le premier document à consulter lors de l 'accès au site Web.Lorsque l 'araignée effectue une recherche d' une araignée dans un site, elle vérifie d 'abord si le robots.txt est disponible sous la table du site.Page

User-agent: Type de moteur de rechercheDisallow: Définir l 'adresse du moteur de rechercheAllow: Définir l 'adresse du moteur de rechercheSitemap: http://xxxx.xx/sitemap.xml

Moteur de recherche：
google蜘蛛：googlebot
百度蜘蛛：baiduspider
神马：Yisouspider
搜狗：sogou spider |  Sogou web spider
360：网页搜索 360Spider | 网页搜索 HaoSouSpider |  图片搜索 360Spider-Image | 视频搜索 360Spider-Video
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
altavista蜘蛛：scooter
lycos蜘蛛：lycos_spider_(t-rex)
alltheweb蜘蛛：fast-webcrawler

Outil de détection de robottes

Il s' agit de savoir si le site Web robots est correct et s' il est normal et que l 'adresse est ouverte.S' il vous plaît, saisissez le nom de domaine du site Web sans http: / / /.

Outil de description：

Outils de recommandation：

Outil d'étiquetage：

开启关闭背景

开启关闭搜索

开启关闭热词

设置背景CSS(开启背景图失效)