Via het bestand Robots.txt kan je zoekmachines zo sturen dat bepaalde bestanden niet toegankelijk zijn voor hen. Anderzijds kan je ook instellen welke wel toegankelijk zijn voor hen. Deze how-to leert je hoe je dit bestand kan aanmaken en wijzigen.
De stappen:
1. Ga naar Start > Alle programma’s > Burreau-accesoires > Kladblok.
2. Typ daar in:
User-agent: *
Disallow:
3. Via de voorgaande code heb je zoekmachines toegang gegeven aan alle bestanden van je website. Als je echter bepaalde webpagina’s wilt afschermen voor hen, doe je het volgende:
User-agent: *
Disallow: /pagina.html
De ‘pagina.html’ stelt de pagina voor waarop zoekmachines geen toegang mogen krijgen. Daarnaast zullen zoekmachines de links die daar staan ook niet volgen. Dit kan naast het privé-zijn ook zorgen voor minder verbruik van breedband.
4. Naast deze ene pagina.html, kan je ook verscheidene andere webpagina’s daaraan toevoegen. Bijvoorbeeld:
User-agent: *
Disallow: /pagina1.html
Disallow: /pagina2.html
Disallow: /pagina3.php
Daarbij wordt zowel de toegang tot pagina1.html, pagina2.html als pagina3.php geweigerd.
5. Wanneer de webpagina in een submap staat, kan je deze toewijzen via:
Disallow: /map/pagina1.html
Daarbij wordt de toegang geweigerd tot pagina1.html die in die bepaalde map aanwezig is.
6. Ten slotte kan je ook de toegang tot een hele map weigeren. Dit doe je alsvolgt:
User-agent: *
Disallow: /map/
Alleen bepaalde zoekmachines weigeren:
Wanneer je bijvoorbeeld alleen de zoekrobot van Yahoo wilt weigeren tot een bepaald bestand, doe je alsvolgt:
User-agent: yahoobot
Disallow:
User-agent: *
Disallow: /
Opgelet: User-agent: * moet altijd als laatste komen!
