Robots.txt

Wanneer je wilt dat bepaalde pagina’s niet worden geïndexeerd, kun je een robots.txt bestand maken. In het Robots.txt bestand kun je aangeven welke pagina’s je niet wilt indexeren via een nofollow regel.

  1. Waarom Robots.txt?
  2. Crawlbudget
  3. Zoekrobots van Google
  4. Marketingles

Waarom Robots.txt?

Voeg nofollow links toe aan het robots.txt pagina’s die je niet wilt indexeren. Waarom is dat belangrijk? Omdat Google en andere zoekmachines maar beperkt crawlbudget hebben.

Crawlbudget

Dit betekent dat als je te veel onbelangrijke pagina’s hebt, je belangrijke pagina’s misschien niet vaak genoeg worden gescand door de zoekmachines, of nieuwe pagina’s niet snel worden geïndexeerd.

Dit heeft als gevolg dat je rankings in Google averij oplopen voor je écht belangrijke pagina’s.

Zoekrobots van Google

De zoekrobots van Google scannen het internet op zoek naar nieuwe websites en webpagina’s.

Omdat de robots niet je hele site in een keer kunnen scannen, kan het soms langer duren voordat een bepaalde pagina wordt getoond in de zoekresultaten. Het is daarom slim om sommige pagina’s niet te laten indexeren.

Zo houdt je crawlbudget over voor je belangrijkste pagina’s.

Google heeft uitgebreide documentatie als meer wilt weten over robots.txt, en hoe je een robots.txt bestand aanmaakt.

Als je niet heel handig bent, kun je dit overlaten aan je online marketeer of web developer.

Marketingles vanaf €210

Voor slechts €210 euro krijg je 3 uur les in het onderwerp naar keuze. Geheel maatwerk en als je niet tevreden bent, betaal je niets. Zo zijn we nu eenmaal.

    Bij Marquant willen we onze 25+ jaar ervaring inzetten om MKB ondernemers te helpen succesvol te zijn in B2B online marketing. Wil je meer weten over zaken als freelance online marketeeruurtarief online marketeer of Online Marketing cases? Houd dan ons blog in de gaten!