Q: Почему моего сайта нет в Яндексе?
A: Сайты разные и причины бывают разные. Поэтому точного ответа на вопрос нет и не будет.
Тем не менее, возможны варианты:
1. Все могут ошибаться.
- Убедитесь, что правильно проверяете наличие сайта в поисковой базе.
Введите Ваш домен в форму на http://webmaster.yandex.ru/check.xml - если Яндекс выдаст ссылку на главную страницу, а под ней "Еще с сайта NN", значит, сайт в индексе. Вы проверяли не тем инструментом.
Если в ответ получаете "Ничего не найдено", сайта в индексе действительно нет.
- Проверьте, не поставлен ли в robots.txt запрет для бота Яндекса.
- Проверьте, какой код статуса отдает сервер в заголовках. Бот считывает страницы, если получает статус "200 OK" или "304 Not Modified". Проверить заголовки можно на http://be1.ru/services/stat/
- Возможно, Ваш сервер блокирует запросы поисковых систем. Если на том же аккаунте хостинга у Вас есть другие сайты и они тоже не индексируются Яндексом, узнайте у хостера, нет ли запрета по IP или юзер-агенту.
2. Еще не время.
- Добавили ли Вы URL сайта в форму регистрации на http://webmaster.yandex.ru/ (ее обычно называют "аддурлом")? Попробуйте это сделать. Внимательно прочтите ответ Яндекса.
- Много ли времени прошло с момента добавления? Если не больше 2-3 недель, проверьте серверные логи - появлялся ли посетитель "Yandex/1.01.001 (compatible; Win16; I)". Это бот-индексатор Яндекса. Если он там уже был и просмотрел не только главную страницу, просто ждите. Сайты попадают в индекс не сразу. Иногда (при изменениях алгоритма и отладке) работа индексатора приостанавливается и новые сайты долго не могут попасть в индекс. Добавляйте URL в форму регистрации повторно. Возможно, поможет ссылка на сайт со страницы, часто посещаемой ботом. Прогон по каталогам не рекомендуется - прогоны бывают разные, так что результат непредсказуем.
Типичная картина индексации нового сайта в Яндексе:
- после добавления в аддурл через 1-3 недели (как повезет) в индексе всплывает главная страница.
- примерно через неделю после главной (может быть дольше) начинают появляться остальные страницы.
- потом первая партия проиндексированных страниц может выпасть, а главная останется. Не паникуйте, выпавшие страницы обычно возвращаются примерно через неделю.
3. Бан на взлете.
В последнее время участились такие случаи - сайт впервые добавляется в аддурл, а Яндекс отвечает, что его индексация запрещена.
- Попробуйте узнать историю домена. Возможно, Вы приобрели домен, уже попавший в бан ранее. Например, там раньше был каталог с большим количеством обратных ссылок с линкопомоек 1ps или линкаторов.
- Доменные зоны "второго уровня" - net.ru, org.ru и т.п. не в почете у Яндекса. Слишком много доменов в них в свое время бесплатно набирали под дорвеи. Хотя техподдержка Яндекса отрицает "особое отношение" к таким доменам, есть факты, которые оспорить трудно.
В этих случаях полезно сделать запрос техподдержке Яндекса через форму обратной связи - http://feedback.yandex.ru/
Постарайтесь кратко, ясно и вежливо изложить свою проблему. Дайте понять, что уже проверили отсутствие технических ошибок - это помогает.
Если получили шаблонный ответ "...возможно, алгоритм решил, что сайт предназначен не для людей..." - скорее всего, на Ваш сайт даже не взглянули. Пишите ответ с опровержением этих "возможно" (но если сайт действительно не для людей, то опровергать тут нечего).
- Если сайт представляет собой дорвей или каталог ссылок (доску объявлений) на заезженных скриптах - помните, что такие сайты Яндексу не нужны изначально и попадание их в индекс - только вопрос Вашего везения. Не создавайте топик "Как скормить это Яндексу". По-человечески прошу Вас.
- Если Ваш сайт от рождения набит текстами, "позаимствованными" с других сайтов - см. предыдущий совет.
4. Задержка и потеря заявок на индексацию
Начиная с 2007 года участились изменения алгоритмов ранжирования. И новые версии и поправки внедряют на рабочем индексе, – база данных Яндекса уникальная, распределенная, для «локальной» отладки нужен дубликат всего программно-аппаратного комплекса.
Программисты Яндекса тоже люди и могут ошибаться. Ошибка может привести к порче индекса, потребуется откат (полное или частичное восстановление базы данных с резервной копии).
В период внедрения нового алгоритма ссылка, которую вы вводите в AddURL, может быть:
- отложена (пока не пройдет отладка, индекс стараются менять минимально)
- попросту потеряна (после ввода прошел откат базы)
- вообще не принята
Поскольку об изменениях алгоритма не сообщают, пока он не внедрен полностью, весь период внедрения эти «потери» остаются без комментариев. Форма AddURL продолжает работать, но гарантии приема ссылки нет.
Наблюдались случаи, когда после ввода ссылки буквально через одну секунду приходил ответ "время ожидания превышено". Можно предположить, что на время подготовки резервной копии прием прекращается под предлогом тайм-аута или ограничивается – например, может проскочить только сайт с очень малым временем отклика. Быстрый отклик свидетельствует, что у сайта достаточно качественный хостинг и быстродействующий движок – а значит, мала вероятность, что это очередная дешевая поделка.