To, czy Robots.txt jest potrzebny podczas pozycjonowania, jest kwestią sporną. Jedni mówią, że jest obowiązkowy, drudzy powiedzą, że w sumie z niego nie korzystają. Prawdą jednak jest, że potrafi być bardzo pomocny nie tylko w optymalizacji, ale właściwie w prawidłowym funkcjonowaniu naszej witryny. To samo można powiedzieć o sekcji META. Czym dokładnie jest Robots.txt i sekcja META, i do czego służą? Dowiedz się poniżej.

CZYM JEST ROBOTS.TXT?

Robots.txt jest plikiem będącym jednym z części Robots Exclusion Protocol. Jest on z pozoru niewielkim plikiem tekstowym, ale moc ma w sobie całkiem dużą. W dużym skrócie jego zadaniem jest wysyłanie botom informacje na temat tego, czego mają nie robić na naszej stronie internetowej. Misją botów jest wyszukiwanie informacji na danych witrynach, analizowanie ich całej treści i struktury, po czym indeksowanie wszystkich  danych do bazy (katalogów) wyszukiwarki. Dzięki temu taka przeanalizowana strona internetowa jest umieszczana na konkretnej pozycji w wynikach wyszukiwarki.

Dlatego, jeżeli nie chcemy, aby nasza strona znalazła się np. w wynikach Google, umieszczamy w Robots.txt taką informację. Wygląda ona następująco:

USER-AGENT:*

DISALLOW: /

Po wpisaniu takiej komendy roboty Google nie będą indeksować naszej strony, przez co nie znajdzie się ona w wynikach wyszukiwania. Wydaje się być zbyt proste, prawda? A takie właśnie jest!

JAK STWORZYĆ PLIK ROBOTS.TXT?

Wbrew pozorom nie trzeba nam żadnego programu, aby posiadać taki plik. Wystarczy do tego najprostszy edytor tekstowy, taki jak Notatnik. Po wpisaniu informacji, które chcemy przekazać botom, należy wprowadzić owy plik do serwera, w katalogu głównym naszej domeny. Wtedy każdy bot powinien się tych instrukcji posłuchać, prawda? No właśnie niekoniecznie.

Popularne i uznane wyszukiwarki internetowe owszem, będą, ale jest wielu spamerów, oszustów i botów, które będą omijały i ignorowały Robots.txt. Co w takiej sytuacji zrobić? Zablokować ich – na przykład za pomocą pliku .htaccess.

SEKCJA META

No dobrze, ale wśród wielu pozycjonerów pojawiają się wątpliwości co do skuteczności Robots.txt. Skąd one się biorą? Ponieważ bardzo często, mimo że są zablokowane linki w tym pliku, to i tak indeksowanie następuje. Dlaczego tak jest?

Związana jest z tym tzw. sekcja META. Jak już wspomnieliśmy, w pliku Robots.txt istnieją trzy możliwości: zablokowania dostępu robotom wyszukiwarki do całej strony (Disallow: /), udostępnienia im całej strony (Allow: /) oraz zablokowania dostępu do wybranych podstron. Co ma to wspólnego z sekcją META? A tyle, że dopiero wprowadzony zakaz indeksowania w tej sekcji ma jakąkolwiek wartość. Brak zakazu indeksacji w sekcji META kończy się tym, że robot czy tak, czy siak pokaże dane podstrony w wyszukiwarce.

W momencie, kiedy w sekcji META znajduje się zapis typu noindex bądź none, zadanie robota skończy się jedynie na przejrzeniu zawartości strony, bez możliwości wyświetlenia jej w wyszukiwarce.

KIEDY KORZYSTAĆ Z ROBOTS.TXT, A KIEDY Z SEKCJI META?

Mówiąc najprościej, z Robots.txt korzystamy w momencie, kiedy nie chcemy, żeby robot wyszukiwarki niepotrzebnie tracił czas na przemierzanie wyznaczonych przez nas podstron. Sekcję META natomiast stosujemy w sytuacji, kiedy wybrane przez nas podstrony nie mogą być w żadnym wypadku zaindeksowane. Mogą to być chociażby puste strony (których nie możesz usunąć) lub te, które nie mają (według Ciebie) żadnej wartości.