Просмотр полной версии : Robot.txt - объясните чайнику
что за страница такая robot.txt. И зачем она нужная?
mik-a-el
25.12.2006, 14:40
http://robotstxt.org.ru/
Немного не в тему, но спросить хочется :)..
Смотрел я сегодня сайт один, так вот в файле роботс у них зашита целиковая страница совершенно другого сайта.
Знаю точно что сайт они заказывали и продвижение тоже. Это недобросовестные исполнители? Или же в этом есть какой-то смысл?
mik-a-el
25.12.2006, 18:04
Смотрел я сегодня сайт один, так вот в файле роботс у них зашита целиковая страница совершенно другого сайта.
Использование тегов html форматом robots.txt не предусмотрено в принципе. Так что это является ошибкой.
Zemlemer
25.12.2006, 18:05
Знаю одного человека, сайт которого Яндекс пессимизировал, за использование тэгов в robots.txt.
Следовательно, можно предположить, что поисковики могут весьма неадекватно отреагировать на ошибки, а написание robots.txt, используя html-тэги, несомненная ошибка.
Неадекватно, в данном контексте, может ничего быть, а могут быть последствия вплоть до санкций со стороны поисковиков...
Сайт у них ТИЦ 90...при чем уже наверно месяца 4, т.е пессимизации не было...А у них в роботсе реально, зашита морда хостера :), я её в Фронтпейдж воткнул , красота...:)
Вопрос следующий...для этого хостера, в этом есть какая то выгода?
Нехочу рекламировать этот сайт поэтому просто пропишу ajur-spb.ru это у них роботс чокнутый.
mik-a-el
25.12.2006, 18:13
За неверный формат robots.txt не банят и не пессимизируют. Этот файл вообще не является обязательным.
Zemlemer
25.12.2006, 18:34
mik-a-el, сайт не мой, но со слов человека, пессимизация была. После исправления robots.txt ее сняли, человеку смысла врать особого нет.
Да он (роботс) необязателен, но раз уж он есть, то должен быть написан правильно, коли он несет в себе функции запрещения или разрешения индексации директорий и файлов.
The WishMaster
26.12.2006, 15:06
mik-a-el, сайт не мой, но со слов человека, пессимизация была. После исправления robots.txt ее сняли, человеку смысла врать особого нет.
Он не врет, он просто чайник:)
MachoMan
05.02.2007, 05:36
либо я пишу не правильно.. но робота там больше нет)
либо я пишу не правильно.. но робота там больше нет)
Мачо я тебя помню по фотке ты в метро на балалайке играл и сайты за чипсы раскручивал без договоров:rtfm: !!
Dmitry-da7
03.06.2007, 21:23
Особенности работы с robot.txt http://www.da7.ru/otherpage/otp64.shtml
The WishMaster
06.06.2007, 16:53
Дмитрий, предупреждение за поднятие старых тем.
а если он создал бы новое, ты ты бы ему написал! Не создавай новых тем, когда есть точно такие же.
так банят или нет за это, я что-то не въехал...
Можно прописывать url в директиве Host, но директива host является корректной только для робота Яндекса:
User-agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru
Ошибкой является описание:
Host: http://www.site.ru/
Насчёт банят или нет, этот вопрос стоит задать поисковикам, либо проверить на собственном опыте.
Если у меня на сайте нет робота, что я теряю?:rtfm:
Добавил Erun (http://www.erun.ru/member.php?u=1): soyhim, в следующий раз за поднятие старой темы получите 2 штрафных.
meta-trader
29.09.2007, 14:21
Если у меня на сайте нет робота, что я теряю?
Ничего.
Если у меня на сайте нет робота, что я теряю?:rtfm:
Ровным счетом ничего, просто робот поисковика будет сканить также страницы админки, что в некоторых случаях не есть хорошо...
И всетаки следует создавать и "заполнять" этот файл в соответствии со всеми стандартами (ссылку на описание смотри выше, микаель выкладывал)
Если у меня на сайте нет робота, что я теряю?:rtfm:
Добавил Erun (http://www.erun.ru/member.php?u=1): soyhim, в следующий раз за поднятие старой темы получите 2 штрафных.
Во-первых не робота, а robots.txt (т.к. у вас на сайте не может быть никаких роботов кроме поисковых:) ). А теряете вы заветные места в СЕРПе, т.к. поисковая система будет индексировать у вас на сайте также различную служебную информацию, и информацию не имеющую никакой пользы для пользователя. А поисковики, как известно, не любят подобную инфу.
Во-первых не робота, а robots.txt (т.к. у вас на сайте не может быть никаких роботов кроме поисковых:) ).
:eek: может.
:eek: может.
Конечно, в зависимости от тематики сайта, могут быть и другие роботы, но это уже частные случаи.
Azazel, kop, мне кажется что кроме вас уже никто не понимает о чем речь в теме идет... о каких роботах говорите то? :)
mik-a-el
04.10.2007, 14:25
о каких роботах говорите то?
О мегатроне и десептиконах.
Тема закрыта.
