PDA

Просмотр полной версии : АГС-17


Matiz
02.11.2009, 05:06
Суть вопроса недавнее введение нового фильтра яндекса АГС-17. Точнее фильтр существовал давно, но раньше такой активности за ним не замечалось. Якобе аббревиатура должна пониматься так - АнтиГовноСайт, а 17 это количество страниц, которое остается в индексе яндекса после попадания под этот фильтр :D
Возможно вас коснулась эта проблема, а может и нет. Но меня она коснулась, поэтому прошерстил форумы в поисках информации. На форуме сапы нашел интересную заметку, ссылка на полную статью -> http://shipilov.com/index.php?option=com_content&task=view&id=82&ac=0&Itemid=17
Если не любите много читать, то прокрутите в подвал статьи, там автор дает практические советы по выздоровлению сайта и избавлению от "вируса" АГС :)
Статью я прочитал полностью, с автором согласен не во всем.
Если вы замените регулярное обновление сайта небольшими порциями на нерегулярное и крупными порциями, шансы на попадание в поле зрения АГС17 резко уменьшаться.
Сущая неправда. Это действительно шаманский танец с бубном. Возможно у автора это и срабатывало, но у меня как раз был сайт, на который контент закачивался крупными порциями причем нерегулярно. Сейчас сайт под фильтром.
сайты, пораженные АГС17 всегда возвращаются
У меня пока ни один не вернулся. Хотя уже несколько апов прошло. Автор упоминает что существует определенный срок карантина, однако у меня сомнения по этому поводу.

По моим скромным наблюдениям могу сказать следующее. Факторов много :D Общая формула выглядит как-то так - Контент+авторитетность+структура сайта.
К примеру контент в связке с авторитетностью самого ресурса объясняется так. Понятно что если на вашем сайте исключительно уникальный контент, то это хорошо, но если на сайте имеется какой-нибудь каталог товаров, ссылок или компаний, то тут уже подключается авторитетность сайта, или его качество. Качество это разумеется не только тИЦ, это совокупность параметров. Качественному сайту наличие некой неуникальной информации не вредит, а вот если сайт некачественный с точки зрения поисковой системы, то дублирование информации является проступком. Как минимум такая информация из индекса слетает, как максимум слетает весь сайт. Положение может спасти или ухудшить структура сайта. Например у меня сетка сайтов на одном айпишнике. На каждом сайте стандартный набор - статьи + каталог вакансий. Везде используется один и тот же движок. Ясное дело, что код таких страниц будет похож. Ну и путь урл также может быть одинаковым. Думаю однотипность не является плюсом в копилку авторитетности сайта.
Продажа ссылок не является решающим фактором попадания под фильтр, скорее всего это также один из факторов. Безусловно имеет значение тематика ссылок. Как же неудачно я попал с линкфидом когда заметил что по умолчанию adult фильтр выключен. Как результат куча ссылок с порноанкорами, думаю это не добавило веса ресурсам. Теперь я не только включил фильтр, но и ввел премодерацию ссылок. Занимает много времени, но так спокойнее. Имеет ли значение общее количество исходящих ссылок? Не думаю. Если ссылки тематические, то это скорее даже плюс для сайта.

Если у вас есть мысли, вопросы по данной теме, пишите

Matiz
04.11.2009, 02:08
Вернусь к данной теме, так как мной были проведены некоторые исследования одного из "инфицированных" АГС-17 сайтов. Речь идет о сайте, о котором я уже выше писал. Сайте, на который контент закачивался крупными порциями и нерегулярно. Вынужден признать что скорее всего причина вылета страниц оказалась в неуникальном контенте.
НО! Есть непонятный момент. Дело в том что в момент размещения контент был 100% уникальный. По крайней мере большая его часть. Сейчас же, после того как пришлось перелопатить весь сайт оказалось что у многих страниц есть дубликаты. Причем дубликаты по большей части в форматах doc и pdf. Кто-то тоже нашел мой источник, но выложил сразу без html. Получается что такие форматы как doc и pdf яндекс оценил выше чем мой html? Трудно сказать наверняка, но материалы пришлось снять. А жаль, хорошее качество текста с картинками. В оригинале читать было даже не так удобно. На сайт предварительно поставил запрет к индексации яндексом. Осталась только морда, также полностью изменил структуру урлов на статические вместо динамики. Закрыл кое-какие лишние странички, убрал разбитие больших статей на страницы. Посмотрим что из этого выйдет :)

Matiz
05.11.2009, 04:23
Очередные новости по проблеме фильтрации агс. Страницы одного из сайтов (мебельной тематики) вернулись в индекс. За прошлые сутки +800 страниц, и сегодня еще +800. То есть как сайты попадают под действие данного фильтра (начинается частичный выпад страниц пока не выпадут все) так и выходят из него. Хочу также заметить что в роботс я еще дня 3-4 назад поставил запрет на индексацию данных разделов. То есть страницы восстанавливаются из тех что уже были в базе, видимо основной индексатор еще не знает что разделы закрыты.
Все это в принципе отчасти подтверждает мысли написанные в http://shipilov.com/index.php?option=com_content&task=view&id=82&ac=0&Itemid=17
Отчасти потому что восстановился только один сайт из около 20. Почему яндекс решил вернуть страницы в индекс я не знаю. Единственное что изменилось с момента попадания под фильтр это то, что я добавил в подвал сквозную ссылку на новый раздел сайта. Проверил кэш и оказалось, что те страницы которые вернулись уже с этой новой проиндексированной ссылкой. Ну и что теперь думать? :) Яндекс реагирует на массовое обновление, пусть даже незначительное? хз.

Matiz
10.11.2009, 02:45
Сегодня прочитал новость про АГС-17 на сеопульте.
В последних числах сентября в заголовках SEO-новостей появился такой термин как АГС-17.

Со слов разработчиков, принцип действия его следующий: "Робот анализирует содержание всех страниц сайта и принимает решение о включении их в индекс. Если сайт большой, а в поиске участвует лишь несколько его страниц, это означает, что остальные были классифицированы как не имеющие дополнительной ценности для пользователей."
Перейдем к некоторым цифрам по апдейту от 02 октября 2009:

Данные мы собираем на основе индекса продающих страниц SeoPult (модуль расчета бюджета):

1. - размер индекса до апдейта: 463'125'644 страниц
2. - размер индекса после апдейта: 448'232'462 страниц

Из последних четырех апдейтов это минимальное уменьшение индекса, предыдущие три показали более серьезный процентаж. По нашим данным суммарно он составил чуть менее 40% страниц.

Ничего себе. За три апа яндекс вырезал треть индекса продающих ссылки сайтов. Страшно жить товарищи.
Но очень сильно раздражает тот факт, что режет как-то избирательно. К примеру, сейчас покупаю ссылки и вижу в индексе явную сетку сайтов на укозе с текстом, составленным каким-то доргенератором. Там даже слова в предложениях не согласованы. Ну разве это нормально? Для чего такие фильтры вводятся?
Вот например http://site.u-ra.com. Уж лучше дублированный контент пусть на сайте будет чем такое. Рассказы про осетинские пироги на PS3 :D

Matiz
14.11.2009, 03:36
Ну что, сегодня в полночь случился ап, поэтому есть некоторые новости о сайте, о котором я уже писал выше.
На сайт предварительно поставил запрет к индексации яндексом. Осталась только морда, также полностью изменил структуру урлов на статические вместо динамики. Закрыл кое-какие лишние странички, убрал разбитие больших статей на страницы. Посмотрим что из этого выйдет

Итак, после запрета сайта в роботс, в индексе остался только сам домен, никакой сохраненной копии, но яндекс как бы дает понять что о сайте он помнит. Собственно когда все страницы благополучно отвалились я снял запрет из роботс и попытался добавить сайт в поиск, на что был получен отказ - "сайт запрещен в роботс". Я даже успел немного испугаться и подумать об очередной нудной переписке с сапортом. Хотя конечно подозревал что роботс также кэширован и надо подождать апа. АП пришел и морда самостоятельно проиндексировалась :) Пока все по плану, теперь осталось подождать и посмотреть как бот скушает или нет внутренние странички.

Matiz
10.12.2009, 15:17
Осталась только морда, также полностью изменил структуру урлов на статические вместо динамики. Закрыл кое-какие лишние странички, убрал разбитие больших статей на страницы. Посмотрим что из этого выйдет

Прошло больше месяца и случился не один апдейт, но сайт полностью так и не вернулся. Даже несмотря на то что я оставил только уникальный контент (проверив каждую страницу на уникальность) и изменил пути урлов. Возможно проблема в том что в адресе сохранилось название из старого варианта... старый вариант урла был - http://sayt.ru/pages/articles, а новый http://sayt.ru/articles
Возможно проблема в этом, опыт придется продолжить.

Rambler's Top100