CHANDANE
Crawlen: een pagina ophalen
Een zoekmachine ontdekt URL’s via onder meer links en sitemaps. Tijdens het crawlen haalt hij een pagina op. Dat een URL gevonden is, betekent nog niet dat hij daadwerkelijk wordt opgehaald of geïndexeerd.
Indexeren: informatie opnemen
Na het ophalen beoordeelt een zoekmachine de inhoud. Een noindex-instructie kan opname tegengaan. Ook duplicatie, kwaliteit en andere factoren spelen mee. Een sitemap is een hulpmiddel om URL’s aan te bieden, geen garantie op indexatie.
Canonical: een voorkeur aangeven
Met een canonical verwijs je naar de voorkeursversie van vergelijkbare inhoud. Zoekmachines behandelen dit als een signaal. Zorg dat interne links, redirects en sitemaps dezelfde richting ondersteunen; tegenstrijdige signalen maken de situatie minder duidelijk.
Robots.txt is geen verwijderknop
Als een crawler een pagina niet mag ophalen, kan hij een noindex-instructie op die pagina ook niet lezen. Gebruik robots.txt daarom bewust voor crawlbeheer. Het is niet de algemene oplossing om een bestaande URL uit de zoekresultaten te verwijderen.
Controleer een concreet voorbeeld
Kies een belangrijke URL en controleer de statuscode, robots-instructies, canonical en de links ernaartoe. Vergelijk dit met de URL-inspectie in Search Console. Werk vanuit bewijs in plaats van alleen een algemene foutmelding.
Bron: Google Search Central: crawling and indexing.
Hulp bij het uitzoeken?
Met technische SEO onderzoek ik hoe je paginatypen samenhangen en welke aanpassing nodig is.