Gelaagde navigatie: van miljoenen URL's naar een beheersbare crawl
Een categorie met tien filters van elk tien waarden, drie sorteeropties, drie weergavemodi en vier pagina-limieten produceert theoretisch meer URL's dan Google ooit gaat crawlen. In de praktijk zien we in logbestanden dat Googlebot een groot deel van zijn tijd besteedt aan sorteer- en limietparameters en filtercombinaties zonder enige zoekvraag, terwijl nieuwe producten dagen wachten op indexatie.
We stellen per parameter een regel in: sorteer- en weergaveparameters uit de crawl via robots, filterpagina's canoniek naar de categorie, en de filtercombinaties die wél zoekvraag hebben (merk plus categorie is de klassieker) als eigen geïndexeerde landingspagina met content, via een extensie of een aangepaste categorie. Daarna volgen we in de logs of het crawlpatroon verschuift naar de pagina's die ertoe doen. Meer over crawlbudget en indexatiebeheer.