Générateur de Robots.txt

Améliorez votre <span class='underline-title'>visibilité en ligne</span>

Générateur de Robots.txt


Par Défaut l'accès aux bots est:  
    
Délai d'Exploration:
    
Sitemap.xml: (laissez vide si vous n'en avez pas) 
     
Bots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Répertoires restreints: Le chemin est relatif par rapport à la racine du site web (https://example.com) et doit contenir une barre oblique à la fin. "/"
 
 
 
 
 
 
   




⚒ Infos : Générateur de Robots.txt

Un outil qui s'avérera certainement extrêmement utile aux propriétaires de sites Web pour rendre leurs sites accessibles aux robots de Google. Fondamentalement, ce que fait cet outil génial est de générer des fichiers robot.txt.

Cet utilitaire d'analyse de robots.txt a rendu la vie des propriétaires de sites Web plus facile en accomplissant par eux-même une tâche complexe. En quelques clics de souris, notre outil produira un fichier robots.txt adapté aux bots de Google. Cet outil est doté d'une interface conviviale où vous pourrez choisir les éléments qui doivent être couverts par le fichier robots.txt et ceux qui ne le sont pas.

En utilisant le générateur de Robots.txt, les propriétaires de sites Web peuvent notifier à n'importe quel robot les fichiers ou les données de votre site qui doivent être explorés ou non par le robot Google. 

La syntaxe du robots.txt est donc de la plus haute importance pour tout site. Chaque fois qu'un moteur de recherche parcourt un site, il recherche d'abord le fichier robots.txt qui se trouve au niveau de la racine du domaine. Une fois identifié, le robot d'exploration lit le fichier et identifie ensuite les répertoires et les fichiers qui peuvent être accessibles ou non.

Il s'agit d'un outil extrêmement précieux qui a facilité la vie de certains webmasters en les aidant à rendre leurs sites compatibles avec les robots Google.

Notre outil moderne peut produire le fichier requis en effectuant cette tâche complexe en un clin d'œil et de manière 100% gratuite.

Notre générateur de fichiers robots.txt est doté d'une interface facile à utiliser qui vous offre la possibilité d'exclure ou d'inclure des éléments dans le fichier robots.txt.

Grâce à notre outil génial, vous pourrez produire des fichiers robots.txt pour vos sites en suivant ces quelques étapes simples et faciles :

  • Par défaut, tous les outils de génération de robots.txt de Google sont autorisés à accéder aux fichiers de votre site Web ; vous pouvez sélectionner les robots dont vous souhaitez refuser ou autoriser l'accès.
  • Sélectionnez crawl-delay qui indique le délai d'attente entre les recherches, ce qui vous permet de sélectionner la durée de délai souhaitée entre 5 et 100 secondes. Par défaut, il est réglé sur "No Delay".
  • Si un sitemap existe déjà pour votre site Web, vous pouvez le coller dans le champ de texte. Au contraire, vous pouvez le laisser vide au cas où vous n'en auriez pas.
  • Une liste de robots de recherche est fournie. Vous pouvez interdire les robots que vous ne souhaitez pas voir explorer vos fichiers.
  • L'étape finale consiste à confiner les répertoires. Le chemin d'accès doit être dépourvu d'une barre oblique "/", car il resprésente la racine de votre site web

Vous pouvez facilement générer un nouveau fichier robots.txt ou modifier un fichier robots.txt existant pour votre site à l'aide d'un outil de génération de fichiers robots.txt.

Pour modifier un document actuel et préremplir l'outil générateur de robots.txt, collez l'URL (exemple : https///monsite.com/robots.txt) dans la zone de texte supérieure et cliquez sur Ajouter.

Utilisez notre générateur de robots.txt pour générer des directives avec des instructions Disallow ou Allow pour les utilisateurs de votre site Web.

Dans l'outil de génération du fichier robot.txt, Google et de nombreux moteurs de recherche différents comme Yahoo peuvent être désignés dans vos critères.

Enfin, lorsque vous avez terminé de produire des fichiers robots.txt, vous pouvez les télécharger dans le répertoire racine du site Web. Si vous souhaitez explorer notre outil avant de l'utiliser, n'hésitez pas à faire des tests en générant des fichiers robots.txt d'exemple.