Robot txt za WordPress. Na osnovu ovih izmjena, ispravan kod bi trebao izgledati ovako

(Posljednje ažuriranje: 31.05.2019)

Zdravo svima! Danas je tema veoma bitna - robots.txt za WordPress stranicu. Kada roboti za pretraživanje uđu na web stranicu ili blog, prvo traže datoteku robots.txt. Šta je robots.txt? Robots.txt je servisna datoteka koja se nalazi u korijenskom direktoriju stranice i sadrži skup direktiva koje vam omogućavaju da upravljate indeksiranjem stranice. Omogućava vam da kažete tražilicama koje stranice ili datoteke web-mjesta trebaju biti uključene u pretragu, a koje ne. Kada je u pitanju hosting, datoteka robots.txt je jedan od prvih dokumenata kojem pristupa.

Kreiranje robots.txt za WordPress stranicu

Kako kreirati datoteku Robots.txt za WordPress

Robots.txt se u većini slučajeva koristi za isključivanje duplikata, servisnih stranica, obrisane stranice i druge nepotrebne stranice iz indeksa tražilice. Osim toga, putem robots.txt možete odrediti adresu PS sitemapa.

Koristite bilo koji uređivač teksta(na primjer, notepad), kreirajte datoteku pod nazivom robots.txt i popunite je kao što je prikazano ispod. Datoteka bi se trebala zvati robots.txt, a ne Robots.txt ili ROBOTS.TXT.

Nakon toga, trebate prenijeti datoteku u korijenski direktorij vaše stranice.

Datoteka robots.txt mora se nalaziti striktno u korijenu stranice i mora biti jedina.

Optimalan, ispravan robots.txt za WordPress stranicu. Uobičajeno za i Yandex. Imam ovaj robots.txt na svim stranicama:

Korisnički agent: * Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /core/ Disallow: */feed Disallow: *?s= Disallow: *&s= Disallow: /search Disallow: */embed Disallow: *?attachment_id= Disallow: /id_date Disallow: */page / Disallow: *?stats_author Disallow: *?all_comments Disallow: *?post_type=func Disallow: /filecode Disallow: /profile Disallow: /qtag/ Disallow: /articles/ Disallow: /artictag/ Dozvoli: */uploads Dozvoli: /* /*.js Dozvoli: /*/*.css Dozvoli: /wp-*.png Dozvoli: /wp-*.jpg Dozvoli: /wp-*.jpeg Dozvoli: /wp-*.gif Dozvoli: /*ajax Mapa sajta : http://example.com/sitemap.xml

Standardni robots.txt WordPress

Odvojeno za Google i Yandex:

Korisnički agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-json/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */embed Disallow: */page/ Disallow: /cgi-bin Disallow: *?s= Dozvoli: /wp-admin/admin-ajax.php Host: site.ru Korisnički agent: * Disallow: /wp-admin Disallow : /wp-includes Disallow: /wp-content/plugins Disallow: /wp-json/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */embed Disallow: */page/ Disallow: / cgi-bin Disallow: *?s= Dozvoli: /wp-admin/admin-ajax.php Mapa sajta: http://site.ru/sitemap.xml

Zamijenite site.ru svojim URL adresa blog. Možete bezbedno ubaciti ovu datoteku u pretraživače Yandex i Google.

Kako individualno prilagoditi važnu datoteku robots.txt čitanjem ovih referenci:

Na stranici pomoći Yandexa. Ispravnost datoteke možete provjeriti u webmaster.yandex - Postavke indeksiranja - Robots.txt analiza. Zatim možete provjeriti Google robots.txt koristeći ovo veza. Ne zaboravite da blog koji provjeravate mora biti dodat Google Webmaster Tools i Yandex.

Imajte na umu da se za Yandex i Google pravila za kompajliranje robots.txt malo razlikuju. Evo još jednog korisnog izvora za proučavanje robotstxt.org.ru. To je sve.

Sada ostaje samo da učitate kreiranu datoteku u korijenski direktorij vašeg bloga. Koren bloga je public_html folder, gde se nalaze fajlovi config.php, index.php i tako dalje.

Konačno

Kreiranje i pažljivo pripremanje robots.txt je izuzetno važno. U nedostatku, roboti za pretraživanje prikupljaju sve informacije vezane za stranicu. U pretrazi se mogu pojaviti prazne stranice, servisne informacije ili probna verzija stranice.

Sa ovim, dozvolite mi da se na kratko oprostim od vas. Sretno. Vidimo se ponovo na stranicama bloga.

(funkcija(w, d, n, s, t) ( w[n] = w[n] || ; w[n].push(function() ( Ya.Context.AdvManager.render(( blockId: "R-A -292864-4", renderTo: "yandex_rtb_R-A-292864-4", async: true )); )); t = d.getElementsByTagName("script"); s = d.createElement("script"); s .type = "text/javascript" = "//an.yandex.ru/system/context.js";

Robots.txt je kreiran da reguliše ponašanje robota za pretraživanje na stranicama, odnosno gdje mogu ići i pretraživati, a gdje ne. Prije 10-ak godina snaga ovog fajla je bila velika, svi pretraživači su radili po njegovim pravilima, ali sada je više kao preporuka nego pravilo.

Ali dok se ne poništi, webmasteri to moraju učiniti i ispravno konfigurirati na osnovu strukture i hijerarhije web stranica. WordPress je posebna tema, jer CMS sadrži mnogo elemenata koje ne treba skenirati i indeksirati. Hajde da shvatimo kako pravilno sastaviti robots.txt

Gdje je datoteka robota u WordPressu?

Na bilo kom resursu, robots.txt bi trebao biti u root folderu. U slučaju WordPress-a, gdje se nalazi wp-admin folder i slično.

Lokacija servera

Ako ga nije kreirao i preuzeo administrator stranice, tada se prema zadanim postavkama ne može pronaći na serveru. Standardna verzija WordPress-a ne pruža takav objekat.

Kako napraviti ispravan txt robota

Kreiranje ispravnog robotskog txt-a nije težak zadatak; teže je napisati ispravne direktive u njemu. Prvo kreirajte dokument, otvorite Notepad i kliknite na Spremi kao.


Sačuvajte dokument

U sljedećem prozoru postavite ime robots, ostavite txt ekstenziju, ANSI kodiranje i kliknite na Spremi. Objekt će se pojaviti u folderu u kojem je došlo do snimanja. Dok je dokument prazan i ne sadrži ništa, hajde da shvatimo koje tačno direktive može da podrži.

Ako želite, možete ga odmah preuzeti na server u root-u putem .


Spasavanje robota

Postavljanje komandi

Istaknut ću četiri glavne komande:

  • Korisnički agent: prikazuje pravila za različite robote za pretraživanje, bilo za sve ili za pojedinačne
  • Disalow: odbija pristup
  • Dozvoli: dozvoli pristup
  • Sitemap: adresa na XML kartu

Zastarjele i nepotrebne konfiguracije:

  1. Host: označava glavno ogledalo, koje više nije potrebno, jer će sama pretraga odrediti ispravnu opciju
  2. Kašnjenje puzanja: ograničava vrijeme dok robot ostaje na stranici, sada su serveri moćni i nema potrebe za brigom o performansama
  3. Clean-param: ograničava učitavanje dupliciranog sadržaja, možete ga registrirati, ali neće biti dobro, tražilica će indeksirati sve što je na stranici i uzeti što više stranica

Radni primjeri instrukcija za WordPress

Činjenica je da robot za pretragu ne voli direktive koje zabranjuju, a ipak će uzeti u obzir ono što mu treba. Trebalo bi da postoji zabrana indeksiranja objekata koji 100% ne bi trebali biti u pretraživanju i u Yandex i Google bazama podataka. Ovaj primjer radnog koda stavljamo u robots txt.

Korisnički agent: * Disallow: /wp- Disallow: /tag/ Disallow: */trackback Disallow: */page Disallow: /author/* Disallow: /template.html Disallow: /readme.html Disallow: *?replytocom Dozvoli: */uploads Dozvoli: *.js Dozvoli: *.css Dozvoli: *.png Dozvoli: *.gif Dozvoli: *.jpg Mapa sajta: https://vaša domena/sitemap.xml

Pogledajmo tekst i vidimo šta smo tačno dozvolili, a šta zabranili:

  • Korisnički agent, stavite znak *, čime se označava da svi pretraživači moraju poštovati pravila
  • Blok sa Disallow zabranjuje sve tehničke stranice i duplikate iz indeksa. Imajte na umu da sam blokirao foldere koji počinju sa wp-
  • Blok Dozvoli vam omogućava skeniranje skripti, slika i css datoteka, to je neophodno za ispravnu prezentaciju projekta u pretrazi, inače ćete dobiti krpu za noge bez registracije
  • : pokazuje putanju do XML sitemapa, morate je napraviti, a također zamijeniti natpis "vaša domena"

Preporučujem da ne dodajete preostale direktive nakon spremanja i unošenja izmjena, otpremite standardni robots txt u root WordPress. Da provjerite dostupnost, otvorite sljedeću adresu https://your-domain/robots.txt, zamijenite domen svojom, trebalo bi izgledati ovako.


Adresa u nizu upita

Kako provjeriti rad robots.txt

Standardna metoda provjerite putem usluge webmastera Yandexa. Za bolju analizu potrebno je da se registrujete i instalirate servis na sajtu. Na vrhu vidimo učitane robote, kliknite na provjeru.


Provjera dokumenta u Yandexu

Blok sa greškama će se pojaviti ispod;


Nema grešaka u validatoru

Provjerimo da li Yandex ispravno obrađuje komande, spustimo se malo niže, unesite dvije zabranjene i dozvoljene adrese, ne zaboravite kliknuti na provjeru. Na slici vidimo da je instrukcija proradila, crvenom bojom je označeno da je unos zabranjen, a zelenom kvačicom da je indeksiranje zapisa dozvoljeno.


Provjera foldera i stranica u Yandexu

Provjerili smo, sve radi, idemo na sljedeću metodu - postavljanje robota pomoću dodataka. Ako proces nije jasan, pogledajte naš video.

Plugin-generator Virtual Robots.txt

Ako ne želite da se bavite FTP vezom, onda u pomoć dolazi jedan odličan WordPress plugin-generator pod nazivom Virtual Robots.txt. Instaliramo ga standardno sa WordPress admin panela pretraživanjem ili preuzimanjem arhive, to izgleda ovako.


Kako izgleda Virtual Robots.txt

Postavke > Virtual Robots.txt, vidimo poznatu konfiguraciju, ali moramo je zamijeniti našom iz članka. Kopirajte i zalijepite, ne zaboravite sačuvati.


Postavljanje Virtual Robots.txt

Roboti će se automatski kreirati i postati dostupni na istoj adresi. Ako želite provjeriti da li se nalazi u WordPress datotekama, nećemo vidjeti ništa, jer je dokument virtuelan i može se uređivati ​​samo iz dodatka, ali će ga Yandex i Google vidjeti.

Dodajte uz Yoast SEO

Čuveni Yoast SEO dodatak pruža mogućnost dodavanja i uređivanja robots.txt sa WordPress kontrolne table. Štoviše, kreirana datoteka se pojavljuje na serveru (a ne virtualno) i nalazi se u korijenu stranice, odnosno nakon brisanja ili deaktivacije roboti ostaju. Idite na Tools > Editor.


Yoast SEO uređivač datoteka

Ako postoje roboti, to će biti prikazano na stranici, ako nema, postoji dugme „napravi“, kliknite na njega.


Dugme za kreiranje robota

Pojavit će se polje za tekst, zapišite postojeći tekst iz univerzalne konfiguracije i spremite ga. Možete provjeriti da li će se dokument pojaviti putem FTP veze.

Uredite po modulu u All in One SEO

Stari dodatak za sve u jednom SEO može promijeniti robotski txt da biste aktivirali funkciju, idite na odjeljak modula i pronađite stavku istog imena, kliknite na Aktiviraj.


Moduli u All In One SEO

Nova sekcija će se pojaviti u All in One SEO meniju, uđite i pogledajte funkcionalnost konstruktora.


Rad u AIOS modulu
  1. Zapišite ime agenta, u našem slučaju * ili ostavite prazno
  2. Dozvolite ili onemogućite indeksiranje
  3. Direktorij ili stranica na koju ne morate ići
  4. Rezultat

Modul nije zgodan; teško je kreirati validan i ispravan robots.txt koristeći ovaj princip. Bolje je koristiti druge alate.

Ispravno podešavanje za WooCommerce dodatak

Uraditi ispravno podešavanje za dodatak za online prodavnicu na WordPress WooCommerce, dodajte ove redove na ostatak:

Disallow: /cart/ Disallow: /checkout/ Disallow: /*add-to-cart=*

Mi radimo isto i učitavamo ga na server preko FTP-a ili dodatka.

Zaključak

Hajde da sumiramo šta je potrebno učiniti kako bi se osiguralo da WordPress stranica ima ispravan fajl za pretraživače:

  • Kreirajte datoteku ručno ili pomoću dodatka
  • U njega zapisujemo upute iz članka
  • Učitavanje na server
  • Provjeravamo u Yandex validatoru
  • Ne koristite robote txt generatore na internetu, pomaknite malo ruke

Poboljšajte svoje blogove na WordPress-u, promovirajte se i ispravno konfigurišite sve parametre, a mi ćemo vam pomoći u tome, sretno!

Pozdrav, prijatelji! U ovom vodiču ćemo govoriti o kreiranju datoteke robots.txt, koji robotima pretraživača pokazuje koje dijelove vaše stranice treba posjetiti, a koje ne.

U stvari, sa ovom servisnom datotekom možete odrediti koje će particije biti indeksirane tražilice, a koje nisu.

Kreiranje datoteke robots.txt

1. Kreirajte običnu tekstualnu datoteku s imenom roboti u formatu .poruka.

2. Dodajte mu sljedeće informacije:

Korisnički agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-comments Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: / wp-login.php Disallow: /wp-register.php Disallow: */trackback Disallow: */feed Disallow: /cgi-bin Disallow: /tmp/ Disallow: *?s= User-agent: * Disallow: /wp- admin Disallow: /wp-includes Disallow: /wp-comments Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /wp-login.php Disallow: /wp- register.php Disallow: */trackback Disallow: */feed Disallow: /cgi-bin Disallow: /tmp/ Disallow: *?s= Host: site.com Sitemap: http://site.com/sitemap.xml

3. Zamijenite u u tekstualnoj datoteci line site.com na adresu vaše web stranice.

4. Sačuvajte promjene i otpremite robots.txt() datoteku u korijenski folder vaše stranice.

5. Gotovo.

Za pregled i preuzimanje primjera kliknite na dugme ispod i sačuvajte datoteku (Ctrl + S na tastaturi).

Razumijevanje datoteke robots.txt (smjernice)

Pogledajmo sada pobliže šta smo tačno i zašto dodali u datoteku robots.txt.

Korisnički agent— direktiva koja se koristi za specificiranje imena robota za pretraživanje. Koristeći ovu direktivu, možete blokirati ili dozvoliti robotima za pretraživanje da posjete vašu web lokaciju. primjeri:

Zabranjujemo Yandex robotu da pregleda mapu keša:

Korisnički agent: Yandex Disallow: /wp-content/cache

Dozvolite Bing robotu da pregleda mapu tema (sa temama stranice):

Korisnički agent: bingbot Dozvoli: /wp-content/themes

Dozvoli i Disallow- dopuštena i zabrana direktiva. primjeri:

Hajde da rešimo Yandex bot pregledajte folder wp-admin:

Korisnički agent: Yandex Dozvoli: /wp-admin

Zabranimo svi botovi pregledavaju folder wp-content:

Korisnički agent: * Disallow: /wp-content

U našem robots.txt ne koristimo direktivu Allow, jer će sve što nije zabranjeno botu pomoću Disallow biti dozvoljeno po defaultu.

Domaćin— direktiva s kojom trebate navesti glavno ogledalo stranice, koje će robot indeksirati.

Sitemap— koristeći ovu direktivu, morate navesti putanju do . Dozvolite mi da vas podsjetim da je mapa sajta vrlo važan alat prilikom promocije web stranice! Obavezno ga uključite u ovu direktivu!

Ako imate bilo kakvih pitanja, postavite ih u komentarima. Ako vam informacije u ovoj lekciji nisu bile dovoljne, preporučujem da pročitate detaljnije o svim direktivama i kako ih koristiti slijedeći ovaj link.

Pozdrav, prijatelji! U ovom vodiču ćemo govoriti o kreiranju datoteke robots.txt, koja robotima pretraživača pokazuje koje dijelove vaše stranice treba posjetiti, a koje ne. Zapravo, uz pomoć ovog servisnog fajla možete odrediti koji će odjeljci biti indeksirani u tražilicama, a koji ne. Kreiranje datoteke robots.txt 1. Kreirajte običan tekstualni fajl koji se zove robots u .txt formatu. 2. Dodajte mu sljedeće informacije: User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-comments Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: / wp-content/cache Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */trackback Disallow: */feed Disallow: /cgi-bin Disallow: /tmp/ Disallow: *?s= Korisnik - agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-comments Disallow: /wp-content/plugins Disallow: /wp-content/themes…

Od autora: Jedna od datoteka koju pretraživači koriste prilikom indeksiranja vaše stranice je datoteka robots.txt. Iz naziva datoteke nije teško shvatiti da se koristi za robote. Zaista, ova datoteka vam omogućava da kažete robotu za pretraživanje šta se može indeksirati na vašoj web-lokaciji, a šta ne želite vidjeti na indeks pretraživanja. Pa hajde da vidimo kako da podesite robote txt za WordPress sajt.

Na internetu postoji mnogo članaka na ovu temu. U skoro svakom od ovih članaka možete pronaći svoju verziju robots txt datoteke, koju možete uzeti i koristiti bez ikakvih promjena na vašoj WordPress stranici. Neću ponovo pisati jednu od ovih opcija u ovom članku, jer u tome nema posebne svrhe - sve ove opcije možete lako pronaći na Internetu. U ovom članku ćemo jednostavno pogledati kako napraviti robote txt za WordPress i koja minimalna pravila treba da postoje.

Počnimo s tim gdje se datoteka robots.txt treba nalaziti i šta u njoj napisati. Ovaj fajl, kao i fajl sitemap.xml, treba da se nalazi u korenu vaše stranice, tj. trebao bi biti dostupan na http://site/robots.txt

Pokušajte kontaktirati ovu adresu, zamjenjujući riječ web mjesto adresom vaše web stranice. Možete vidjeti nešto ovako:

Iako možete vidjeti ovu sliku:

Čudna situacija, kažete. Zaista, adresa je ista, ali u prvom slučaju fajl je dostupan, u drugom nije. Štaviše, ako pogledate korijen stranice, tamo nećete pronaći robots.txt datoteku. Kako i gdje se robots.txt nalazi u WordPressu?

Sve je u jednostavnom podešavanju - to je CNC podešavanje. Ako je CNC omogućen na vašoj web lokaciji, vidjet ćete robots.txt dinamički generiran od strane motora. U suprotnom će biti vraćena greška 404.

Uključimo CNC u meniju Settings - Permalinks tako što ćete provjeriti postavku Record Name. Sačuvajmo promene - sada će robots.txt fajl biti dinamički generisan od strane motora.

Kao što možete vidjeti na prvoj slici, ovaj fajl koristi određene direktive koje postavljaju određena pravila, naime, dozvoljavaju ili zabranjuju indeksiranje nečega na datoj adresi. Kao što možete pretpostaviti, direktiva Disallow onemogućava indeksiranje. U ovom slučaju, ovo je cijeli sadržaj foldera wp-admin. Pa, direktiva Allow dozvoljava indeksiranje. U mom slučaju je dozvoljeno indeksiranje fajla admin-ajax.php iz foldera wp-admin, što je gore zabranjeno.

Općenito, pretraživači, naravno, nemaju potrebu za ovom datotekom, ne mogu ni zamisliti zašto je WordPress propisao ovo pravilo. Pa da, nije mi žao, u principu

Inače, gore sam posebno dodao frazu "u mom slučaju", jer u vašem slučaju sadržaj robots.txt može već biti drugačiji. Na primjer, folderu wp-includes može biti zabranjeno indeksiranje.

Pored direktiva Disallow i Allow, u robots.txt vidimo direktivu User-agent, za koju je kao vrijednost navedena zvjezdica. Zvjezdica znači da se sljedeći skup pravila primjenjuje na sve tražilice. Također možete naznačiti nazive određenih pretraživača umjesto zvjezdice. Datoteka robots.txt također podržava druge direktive. Neću se zadržavati na njima, a sve ih možete pogledati na webmasterskoj konzoli Google ili Yandex. Informacije možete pročitati i na ovoj web stranici.

Kako napraviti robotski txt za WordPress

Dakle, imamo fajl za robote za pretraživanje, ali je vjerovatno da vam neće odgovarati u sadašnjem obliku. Kako da kreirate sopstveni fajl. Ovdje postoji nekoliko opcija. Počnimo s prvim - ručno kreiranje datoteke. Napravite običan Tekstualni dokument u notepad i sačuvajte ga kao robote sa txt ekstenzijom. U ovoj datoteci zapišite potreban skup pravila i jednostavno ga sačuvajte u korijenu vaše WordPress stranice, pored konfiguracijske datoteke wp-config.php.

Za svaki slučaj provjerite da li je datoteka preuzeta i da li je dostupna tako što ćete joj pristupiti iz vašeg pretraživača. Ovo je bio prvi način. Druga metoda je ista dinamička generacija datoteka, samo što će to sada učiniti dodatak. Ako koristite popularni sve u jednom SEO dodatak, onda možete koristiti jedan od njegovih modula.

Robots.txt- tekstualni fajl koji robotima za pretraživanje govori koje datoteke i fascikle treba skenirati (indeksirati), a koje ne.

Pretraživači kao što su Yandex i Google prvo provjeravaju robots.txt datoteku, nakon čega počinju indeksirati uz pomoć web robota koji arhiviraju i kategoriziraju web stranice.

Datoteka robots.txt sadrži skup instrukcija koje govore botu da ignoriše određene datoteke ili direktorijume. Ovo se može učiniti iz razloga privatnosti ili zato što vlasnik web-mjesta smatra da se sadržaj ovih datoteka i direktorija ne bi trebao pojaviti u rezultatima tražilice.

Ako web stranica ima više od jedne poddomena, svaka poddomena mora imati svoju robots.txt datoteku. Važno je napomenuti da neće svi botovi koristiti robots.txt datoteku. Neki zlonamjerni botovi čak čitaju datoteku robots.txt kako bi pronašli koje datoteke i direktorije želite sakriti. Osim toga, čak i ako vas datoteka robots.txt uputi da zanemarite određene stranice na web-mjestu, te stranice se i dalje mogu pojaviti u rezultatima pretraživanja ako su povezane s drugim indeksiranim stranicama. Standardni robotski txt za WordPress otvara čitavu stranicu za indeksiranje, tako da moramo zatvoriti nepotrebne dijelove WordPress-a iz indeksiranja.

Optimalni robots.txt

Korisnički agent: * # opća pravila za robote, osim Yandexa i Googlea, # jer za njih su pravila ispod Disallow: /cgi-bin # sistemska fascikla na hostingu, uvek zatvorena Disallow: /? # svi parametri zahtjeva na glavnoj stranici Disallow: /wp- # svi WP fajlovi: /wp-json/, /wp-includes, /wp-content/plugins Disallow: /wp/ # ako postoji poddirektorij /wp/ gdje CMS je instaliran (ako nije, # pravilo se može izbrisati) Disallow: *?s= # zahtjev za pretraživanje Disallow: *&s= # zahtjev za pretraživanje Disallow: /search/ # zahtjev za pretraživanje Disallow: /author/ # arhiva autora, ako imate blog vijesti sa autorskim kolonama , tada možete otvoriti # arhivu autora, ako imate blog vijesti sa autorskim kolonama, možete otvoriti Disallow: /users/ # arhivu autora Disallow: */ trackback # trackbacks, obavijesti u komentari o izgledu otvorenog # linka na članak Disallow: */ feed # all feeds Disallow: */rss # rss feed Disallow: */embed # all embeds Disallow: */wlwmanifest.xml # manifest xml fajl Windows Live Writer (ako ga ne koristite, # pravilo se može izbrisati) Disallow: /xmlrpc.php # WordPress API datoteka Disallow: *utm*= # veze sa utm tagovima Disallow: *openstat= # veze sa openstat tagovima Dozvoli: */uploads # otvorite folder sa fajlovima za otpremanje # Navedite jednu ili više datoteka Sitemap (nema potrebe za dupliranjem za svaki User-agent #). Google XML Sitemap kreira 2 sitemapa kao u primjeru ispod. Mapa sajta: http://site.ru/sitemap.xml Mapa sajta: http://site.ru/sitemap.xml.gz # Više ne morate da registrujete Host.

Napredna verzija (odvojena pravila za Google i Yandex)

Korisnički agent: * # opća pravila za robote, osim Yandexa i Googlea, # jer za njih su pravila ispod Disallow: /cgi-bin # folder na hostingu Disallow: /? # svi parametri zahtjeva na glavnoj stranici Disallow: /wp- # svi WP fajlovi: /wp-json/, /wp-includes, /wp-content/plugins Disallow: /wp/ # ako postoji poddirektorij /wp/ gdje CMS je instaliran (ako nije, # pravilo se može izbrisati) Disallow: *?s= # search Disallow: *&s= # search Disallow: /search/ # search Disallow: /author/ # arhiva autora Disallow: /users/ # arhiva autora Disallow: */ trackback # trackbacks, obavještenja u komentarima o pojavljivanju otvorene # veze do članka Disallow: */feed # svi feedovi Disallow: */rss # rss feed Disallow: */embed # sve ugradnje Disallow : */wlwmanifest.xml # manifest xml datoteka Windows Live Writer (ako ga ne koristite, # pravilo se može izbrisati) Disallow: /xmlrpc.php # WordPress API datoteka Disallow: *utm*= # veze sa utm oznakama Disallow: *openstat= # linkovi sa openstat tagovima Dozvoli: */uploads # otvorite folder sa fajlovima uploads User-agent: GoogleBot # pravila za Google (ne dupliram komentare) Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */ rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm*= Disallow: *openstat= Dozvoli: */uploads Dozvoli: /*/*.js # otvorite js skripte unutar / wp - (/*/ - za prioritet) Dozvoli: /*/*.css # otvori css datoteke unutar /wp- (/*/ - za prioritet) Dozvoli: /wp-*.png # slike u dodacima, keš folderu itd. Dozvoli: /wp-*.jpg # slike u dodacima, keš folderu, itd. Dozvoli: /wp-*.jpeg # slike u dodacima, keš folderu, itd. Dozvoli: /wp-*.gif # slike u dodacima, keš folderu, itd. Dozvoli: /wp-admin/admin-ajax.php # koriste dodaci kako ne bi blokirali JS i CSS Korisnički agent: Yandex # pravila za Yandex (ne dupliram komentare) Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */ rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Dozvoli: */uploads Dozvoli: /*/*.js Dozvoli: /*/*.css Dozvoli: /wp-*.png Dozvoli: /wp-*.jpg Dozvoli: /wp-*.jpeg Dozvoli: /wp-*.gif Dozvoli: /wp-admin/admin-ajax.php Clean-Param: utm_source&utm_medium&utm_campaign # Yandex preporučuje ne blokiranje # od indeksiranja, već brisanje tag parametri, # Google ne podržava takva pravila Clean-Param: openstat # slično # Navedite jednu ili više datoteka Sitemap (nema potrebe za dupliranjem za svaki User-agent #). Google XML Sitemap kreira 2 sitemapa kao u primjeru ispod. Mapa sajta: http://site.ru/sitemap.xml Mapa sajta: http://site.ru/sitemap.xml.gz # Više ne morate da registrujete Host.

Optimal Robots.txt za WooCommerce

Vlasnici online prodavnica na WordPress-u - WooCommerce takođe treba da vode računa o ispravnom robots.txt. Zatvorit ćemo korpu za kupovinu, stranicu za naplatu i linkove za dodavanje artikala u korpu iz indeksiranja.

Korisnički agent: * Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */ rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm*= Disallow: *openstat= Disallow: /cart/ Disallow: /checkout/ Disallow: /*add-to-cart= * Dozvoli: */uploads Dozvoli: /*/*.js Dozvoli: /*/*.css Dozvoli: /wp-*.png Dozvoli: /wp-*.jpg Dozvoli: /wp-*.jpeg Dozvoli: /wp -*.gif Dozvoli: /wp-admin/admin-ajax.php Mapa sajta: https://site.ru/sitemap_index.xml

Odgovor na pitanje

Gdje se nalazi datoteka robots.txt u WordPressu?

Obično se robots.txt nalazi u korijenu stranice. Ako ga nema, morat ćete kreirati tekstualnu datoteku i postaviti je na stranicu putem FTP-a ili kontrolne ploče na vašem hostingu. Ako niste mogli pronaći robots txt u korijenu stranice, ali kada kliknete na link yoursite.ru/robots.txt on se otvori, tada ga jedan od SEO dodataka sam generira.

mob_info