Kas ir robots.txt fails?

Ievads

robots.txt fails ir vienkārša teksta fails, kas ir daļa no Robotu izslēgšanas protokola (REP). Tas satur norādījumus meklētājprogrammām par to, kā piekļūt un indeksēt vietni. Lai būtu efektīvs, robots.txt fails jānovieto vietnes saknes mapē (piemēram, https://domeniu.ro/robots.txt).

Robots.txt faila nozīme

robots.txt fails ir būtisks, lai pārvaldītu botu mijiedarbību ar vietni. Ir daudz botu, kas var agresīvi indeksēt vietni, kas var ietekmēt tās veiktspēju. Izmantojot šo failu, jūs varat:

• Kontrolējiet meklētājprogrammu piekļuvi vietnes saturam.
• Atļauj indeksēt tikai vēlamajiem robotiem (piemēram, Google, Bing).
• ierobežot piekļuvi sensitīvām mapēm vai failiem.

Izmantošanas piemēri

1. Konkretas meklētājprogrammas bloķēšana

Lai bloķētu piekļuvi Bing meklētājam (bingbot), iekļaujiet šādas rindas robots.txt failā:

User-agent: bingbotAizliegts: /

Skaidrojums:
Lietotāja aģents: Norāda meklētājprogrammu, kurai attiecas iestatījumi.
Noraidīt: Definē vietnes sadaļas, kurām robots nav piekļuves. Simbols / bloķē piekļuvi visai vietnei.

2. Bloķējot visus meklētājus

Lai novērstu, ka visas meklētājprogrammas piekļūst vietnei, izmantojiet:

Lietotāja aģents: *Aizliegts: /

Skaidrojums: Simbols * (viettura zīme) laukā lietotāja aģents attiecas uz visiem meklētājiem, un / bloķē piekļuvi visai vietnei.

3. Pieeju ierobežošana noteiktām mapēm vai failiem

Lai bloķētu piekļuvi mapei un konkrētai failam, konfigurējiet:

Lietotāja aģents: *Aizliegts: /blog/Disallow: /newsletter.php

Skaidrojums: Visas meklētājprogrammas tiks bloķētas no mapes /blog/ un faila newsletter.php indeksēšanas.

Robots.txt faila izveide

Lai izveidotu robots.txt failu, jūs varat izmantot tiešsaistes ģeneratoru, kas palīdz ātri un bez kļūdām pielāgot noteikumus. Tiešsaistes ģeneratoru piemērus var atrast, veicot meklēšanu: Robots.txt ģenerators.

Pēc tam, kad esat izveidojis failu, augšupielādējiet to uz vietnes saknes direktoriju, izmantojot failu pārvaldnieku vai FTP klientu.