budgetWat doet robots.txt?
Robots.txt vertelt crawlers welke URL’s ze wel of niet mogen opvragen. Google waarschuwt dat een geblokkeerde URL nog steeds als URL in zoekresultaten kan verschijnen wanneer andere bronnen ernaar verwijzen.
Gebruik robots.txt dus niet als privacymechanisme.
Wanneer gebruikt u noindex?
Een noindex-instructie vraagt zoekmachines om een pagina niet in zoekresultaten op te nemen. De crawler moet de instructie wel kunnen zien. Een pagina tegelijk blokkeren in robots.txt en noindex geven kan daarom tegenstrijdig werken.
Privé betekent achter authenticatie
Klantendossiers, offertes, concepten en andere vertrouwelijke inhoud horen achter toegangscontrole. Vertrouw nooit op een zoekmachine-instructie als beveiliging.
Wat gebeurt er technisch - en waarom merkt u daar iets van?
Onder de motorkap
robots.txt stuurt crawling; een noindex-directief stuurt indexering. Dat zijn verschillende mechanismen. Een URL blokkeren in robots.txt is niet hetzelfde als vragen om ze niet in de zoekindex te tonen.
Een noindex werkt alleen wanneer Google de pagina kan crawlen en het directief kan zien.
Wat betekent dit voor uw zaak?
Een verkeerde regel kan ervoor zorgen dat een belangrijke dienstpagina niet verschijnt in Google, of dat een private pagina juist te veel blootligt.
Technische SEO begint dus ook met uitsluiten wat niet publiek hoort te zijn.
Wat minder zorgvuldige aanbieders soms doen
Niet elke goedkope of dure webbouwer werkt zo. Dit zijn controlepunten die u zelf kunt gebruiken wanneer u offertes vergelijkt.
- Let op: Een leverancier zet hele sites noindex tijdens ontwikkeling en vergeet het bij livegang weg te halen.
- Let op: Private of klantpagina’s vertrouwen alleen op robots.txt voor beveiliging.
- Let op: Er worden brede disallow-regels toegevoegd zonder impactanalyse.
Waarom dat ertoe doet
- Uw site kan live staan maar praktisch onvindbaar blijven.
- Gevoelige URL’s kunnen nog steeds bekend raken omdat robots.txt geen toegangscontrole is.
- Een kleine configfout kan weken SEO-impact veroorzaken.
Praktische checklist
- ✓ Privépagina’s vereisen login
- ✓ Staging is afgeschermd of noindex
- ✓ robots.txt blokkeert geen noodzakelijke assets
- ✓ noindex wordt niet verborgen achter robots-blokkade
- ✓ Publieke SEO-pagina’s blijven crawlbaar
Hoe kunt u dit zelf controleren?
- ✓ Bekijk de HTML-head van belangrijke pagina’s op noindex.
- ✓ Controleer robots.txt op brede blokkades.
- ✓ Test private pagina’s zonder sessie: echte beveiliging moet toegang weigeren, niet alleen crawlers ontmoedigen.
Hoe BudgetWebsite dit aanpakt
- BudgetWebsite scheidt privacy/beveiliging van zoekmachine-instructies en gebruikt noindex bewust voor private flows.
We vragen u niet dit op ons woord te geloven. Eigendom, prijs, scope en beperkingen moeten terug te vinden zijn in de site, voorwaarden of uw voorstel.
Verder lezen bij de bron
Google Search Central - robots.txt introduction
Google legt uit dat robots.txt geen betrouwbare methode is om webpagina’s uit de index te houden.