Robots.txt är en fil som ger instruktioner till sökmotorers crawlers. Den kan vara användbar, men den är också lätt att missförstå. Fel rad i filen kan göra viktiga sidor svårare att crawla.
Varför är detta viktigt?
Robots.txt i wordpress påverkar hur besökaren uppfattar sidan, hur enkelt det är att ta nästa steg och hur tydligt innehållet blir för sökmotorer. När detta planeras från början blir webbplatsen mer användbar och lättare att utveckla över tid.
För små och medelstora företag är det extra viktigt att varje sida har ett tydligt syfte. Besökaren ska snabbt förstå vad som erbjuds, vad nästa steg är och varför företaget är ett tryggt val.
Viktiga delar att tänka på
| Del | Rekommendation |
|---|---|
| Crawling | Robots.txt styr vad sökmotorer får crawla, inte vad som garanterat indexeras. |
| Adminytor | WordPress kan blockera adminrelaterade delar som inte ska synas. |
| Viktiga sidor | Blockera aldrig tjänstesidor, artiklar eller webbutikssidor som ska synas. |
| Sitemap | Lägg gärna till länk till sitemap om den inte redan finns. |
| Test | Kontrollera filen efter stora ändringar eller plugin-installationer. |
Vanliga misstag
De flesta problem uppstår inte för att företaget saknar innehåll, utan för att innehållet är otydligt, felplacerat eller inte leder besökaren vidare.
- Att blockera hela webbplatsen av misstag.
- Att använda robots.txt istället för noindex.
- Att blockera CSS och JavaScript som behövs för rendering.
- Att glömma sitemap.
- Att kopiera regler från en annan webbplats.
Praktisk checklista
- Öppna robots.txt.
- Kontrollera att viktiga sidor inte blockeras.
- Lägg till sitemap vid behov.
- Använd noindex för sidor som inte ska indexeras.
- Testa efter ändringar.
- Dokumentera vad som ändrats.
Så hänger detta ihop med SEO
När en sida är tydlig för besökaren blir den ofta tydligare även för Google. Bra rubriker, logisk struktur, relevanta interna länkar och innehåll som svarar på riktiga frågor gör att sidan får bättre förutsättningar att ranka.
Det är också viktigt att koppla artiklar till rätt tjänstesidor. På så sätt blir innehållet inte bara informativt, utan hjälper också webbplatsens viktigaste sidor att bli starkare.
Vill du ha hjälp?
Vill du ha hjälp med planering, design, SEO eller teknisk uppsättning? Då kan Interwebsite hjälpa dig att ta fram en tydlig lösning från struktur till färdig webbplats.
Läs mer om sökmotoroptimering, Google Search Console, serviceavtal för WordPress och uppdatera en gammal hemsida.
Vanliga frågor
Kan robots.txt ta bort en sida från Google?
Inte på ett säkert sätt. För att hindra indexering används normalt noindex, inte robots.txt.
Behöver alla WordPress-sidor robots.txt?
De flesta har en automatiskt skapad eller enkel robots.txt, men den bör inte innehålla felaktiga blockeringar.
Vad är vanligaste felet?
Att man blockerar viktiga delar av webbplatsen utan att förstå konsekvensen.
