Crawl budget och när det faktiskt spelar roll för SEO

Crawl budget är ett av de SEO-begrepp som oftast överskattas. För de flesta sajter är det inget problem alls. För stora sajter med många URL:er kan det däremot avgöra hur snabbt nya sidor hittas. Här går jag igenom vad det är, när det spelar roll och vad som faktiskt hjälper, med Googles egen dokumentation som grund.

Det viktigaste i korthet

• Crawl budget är de URL:er Google kan och vill crawla på din sajt under en viss tid.
• Enligt Google är det i första hand stora sajter som behöver bry sig.
• Crawling är inte en rankningsfaktor. Mer crawling ger inte bättre positioner i sig.
• Det som slösar budget är onödiga URL:er, fel, omdirigeringskedjor och långsamma svar.

Vad crawl budget är

Google definierar crawl budget som mängden URL:er som Googlebot kan och vill crawla på en sajt. Den styrs av två saker:

• Crawlkapacitet (crawl capacity limit) — hur mycket servern tål. Svarar sajten snabbt och stabilt ökar gränsen. Blir svaren långsamma eller kommer det serverfel sänker Google takten för att inte överbelasta sajten.
• Crawlbehov (crawl demand) — hur mycket Google vill crawla. Det styrs av hur populära sidorna är, hur ofta de ändras och hur många URL:er Google känner till.

Crawl budget är alltså inte en fast kvot du tilldelas. Den ändras med hur sajten beter sig.

När det spelar roll

Googles guide om crawl budget riktar sig till:

• stora sajter med över 1 miljon unika sidor vars innehåll ändras ungefär varje vecka,
• medelstora sajter med över 10 000 unika sidor vars innehåll ändras dagligen,
• sajter där en stor del av URL:erna ligger under Discovered – currently not indexed i Search Console.

Har du en företagssajt med några hundra sidor behöver du inte tänka på crawl budget. Indexeras dina sidor inte beror det nästan alltid på något annat, och då är rapporten Sidindexering rätt ställe att börja. Den går jag igenom i indexeringsproblem i Google Search Console.

Där jag oftast stöter på det i praktiken är e-handel med filter och sortering. Varje kombination av filter kan skapa en ny URL, och plötsligt har butiken många gånger fler crawlbara adresser än den har produkter.

Vad som slösar crawl budget

• Onödiga URL-varianter. Filterkombinationer, sorteringsparametrar och sessions-ID:n som ger samma innehåll på nya adresser.
• Duplicerat innehåll. Flera URL:er med samma innehåll tar tid från de unika sidorna.
• Omdirigeringskedjor. Varje extra steg är ett extra anrop.
• Fel statuskoder. Borttagna sidor som svarar 200 (soft 404) fortsätter att crawlas.
• Långsam server. Långsamma svar sänker crawlkapaciteten.
• Resurser. Enligt Google räknas även alternativa URL:er (som hreflang-varianter) och inbäddat innehåll som CSS och JavaScript in i crawl budget.

Så optimerar jag crawl budget

1. Rensa URL-inventeringen. Konsolidera dubbletter och blockera URL:er du aldrig vill få crawlade, som oändliga filterkombinationer, i robots.txt.
2. Svara med rätt statuskod. Borttagna sidor ska svara 404 eller 410, inte 200.
3. Ta bort omdirigeringskedjor. Peka gamla adresser direkt mot slutmålet och uppdatera interna länkar.
4. Håll sitemapen uppdaterad. Bara indexerbara sidor med rätt statuskod, och korrekt lastmod när innehållet ändras.
5. Gör sidorna snabba. Google skriver att ju snabbare sidor laddar och renderas, desto mer kan Google crawla.
6. Bygg en tydlig struktur. Viktiga sidor ska ligga nära startsidan och ha interna länkar. Mer om det i webbplatsarkitektur och SEO.

En sak jag ofta ser fel: att använda noindex för att spara crawl budget. Google avråder från det i guiden, eftersom Googlebot fortfarande måste hämta sidan för att se taggen. Noindex styr indexering, inte crawling. Vill du stoppa crawling är robots.txt rätt verktyg. Samma sak med nofollow: en URL med nofollow-länk kan fortfarande crawlas.

Följ upp i Search Console

Rapporten Crawlstatistik (Crawl stats) under Inställningar i Search Console visar hur många anrop Googlebot gör per dag, genomsnittlig svarstid, vilka statuskoder den får och vilka filtyper som hämtas. Det är där du ser om serverfel eller långsamma svar drar ner crawltakten, och om Googlebot lägger tid på fel sorts URL:er.

Kombinera med rapporten Sidindexering. Växer Discovered – currently not indexed över tid samtidigt som crawlstatistiken visar många anrop mot parameter-URL:er, har du hittat problemet.

De tekniska grunderna som påverkar crawlingen, som robots.txt, statuskoder och sitemap, går jag igenom i teknisk SEO: 11 grundläggande aspekter.

Vanliga frågor

Påverkar serverns svarstid crawl budget?

Ja. Svarar servern långsamt eller med fel sänker Google crawltakten för att inte överbelasta sajten. En snabb och stabil server låter Google crawla mer.

Kan trasiga interna länkar påverka crawl budget?

Ja. Varje länk till en trasig adress är ett anrop som inte ger något. Rätta länkarna så att Googlebot lägger tiden på sidor som finns.

Rankar sajter med större crawl budget bättre?

Nej. Google skriver uttryckligen att crawling inte är en rankningssignal. En sida måste crawlas för att kunna indexeras och ranka, men mer crawling förbättrar inte positionen i sig.

Crawlar Google små sajter mer sällan?

Inte nödvändigtvis. Enligt Google crawlas viktigt innehåll som ändras ofta också ofta, oavsett hur stor sajten är.

Fungerar crawl-delay i robots.txt?

Inte för Google. Googles crawlers bryr sig inte om regeln crawl-delay.

Har du en stor sajt där nya sidor tar lång tid att komma in i Google hjälper jag till som SEO-konsult.

Alexis PiippoGrundare TropSe · Höör