Blokerings-URLs med robots.txt: Googles anbefalinger

Google’s Gary Illyes har understreget vigtigheden af at bruge **robots.txt** til at forhindre søgemaskinecrawlere i at få adgang til URLs, der udløser handlinger som at tilføje varer til kurve eller ønskelister. I et LinkedIn-opslag bemærkede Illyes, at mange websites kæmper med unødvendig crawlertrafik på grund af disse handling-URLs, hvilket kan overbelaste servere og spilde ressourcer.

Hvorfor Bruge Robots.txt til Handling-URLs?

**Robots.txt** er en standardfil, der bruges til at kontrollere, hvordan søgemaskinecrawlere interagerer med websites. Ved at inkludere specifikke direktiver i denne fil kan webstedsejere instruere crawlere om at udelukke URLs, der ikke behøver at blive indekseret eller crawlet. I tilfældet med handling-URLs er disse URLs beregnet til brugerhandlinger såsom at tilføje varer til kurve eller ønskelister og behøver ikke at blive crawlet af søgemaskiner.

Eksempel på Robots.txt Direktiv

For at blokere sådanne URLs kan du bruge et **disallow-direktiv** i din robots.txt-fil. For eksempel, hvis du har URLs som:

• https://example.com/product/scented-candle-v1?add_to_cart
• https://example.com/product/scented-candle-v1?add_to_wishlist

Du kan inkludere følgende **disallow-regel**:

“`plaintext
User-agent: *
Disallow: /*add_to_cart
Disallow: /*add_to_wishlist
“`

Dette direktiv vil instruere crawlere til at undgå enhver URL, der indeholder `add_to_cart` eller `add_to_wishlist` parametrene.

Fordele ved at Blokere Handling-URLs

Ved at bruge **robots.txt** til at blokere handling-URLs, kan du:

1. Reducere Serverbelastning: Ved at forhindre crawlere i at ramme handling-URLs vil du reducere serverforespørgsler og båndbreddeforbrug.
2. Forbedre Crawler Effektivitet: Ved at give eksplicitte instruktioner i robots.txt hjælper du crawlere med at fokusere på de sider, du ønsker indekseret, hvilket fører til mere effektiv crawling.
3. Forbedre Brugeroplevelse: Med serverressourcer fokuseret på faktiske brugerhandlinger er slutbrugerne mere tilbøjelige til at opleve hurtigere indlæsningstider og mere smidig funktionalitet.
4. Holde dig på linje med Standarder: Denne bedste praksis sikrer overholdelse af den bredt vedtagne robots.txt-protokol.

Overholdelse og Undtagelser

Googles crawlere adlyder fuldt ud **robots.txt-regler**, med sjældne undtagelser dokumenteret for brugerudløste eller kontraktmæssige forespørgsler. Denne overholdelse har været et nøgleelement i Googles webcrawling-politikker.

Ved at følge Gary Illyes’ vejledning og bruge **robots.txt** til at blokere handling-URLs, kan websites effektivt styre crawleraktivitet, optimere serverydelse og følge veletablerede webstandarder.