empêcher tous les robots sauf Googlebot d'accéder à un dossier en particulier de votre site web

by taatjene

L'usage de robots.txt permet d'éviter que des ressources sans intérêt public se retrouvent dans la page de résultats d'un moteur de recherche. En outre, le fait que les robots n'accèdent pas à ces ressources allège le travail du serveur HTTP et le trafic sur le réseau informatique.
Il est important de comprendre qu’il ne s’agit là que d’une indication sur ce que doivent faire les robots bienveillants, ce n’est en aucun cas un élément de sécurité. En effet, certains robots ignorent ce fichier, soit délibérément parce qu’ils cherchent des informations privées (des adresses électroniques par exemple, pour y envoyer du courrier indésirable), soit parce que le robot est trop simple pour gérer ce standard.
Pour empêcher tous les robots sauf Googlebot d'accéder à un dossier en particulier,

User-agent: *
Disallow: /forum
 
User-agent: googlebot
Disallow:
by taatjene