Индексация страниц сайта в Яндексе и Google

Пока поисковая система не проиндексирует страницу сайта [что такое индексация], та не будет участвовать в её результатах выдачи. Узнать о сайте поисковик может двумя способами:

  1. от вебмастера. Для чего URL-адрес веб-документа [что такое URL] нужно добавить в аддурилку Яндекса или Google (от английского add url).
  2. перейдя на страницы сайта по ссылке с других проиндексированных веб-документов.

На данном блоге я столкнулась с такой ситуацией, что без проблем Яндекс проиндексировал только Главную страницу, а вот внутренние не участвовали в поиске. У Google похожего невнимания не наблюдалось. Там практически молниеносно можно было заметить свою статью в выдаче.

Почему не индексируется сайт в Яндексе

  1. Google заносит в свою базу данных все страницы сайта: качественные и некачественные без разбора. Но участвуют в ранжировании [что такое ранжирование] только полезные веб-документы [не путать оригинальное содержание с уникальным]. Яндекс же сразу не включает веб-хлам. Можно заставить его проиндексировать любую страницу, но со временем поисковик удалит мусор. У обоих систем есть дополнительный индекс. У обоих систем низкокачественные страницы влияют на рейтинг сайта в целом. По последнему пункту есть как официальное заявление [см. блог Google], так и простая логика. Любимые сайты конкретного человека будут на более высоких позициях в его выдаче. Зато этот же человек с трудом найдёт сайт, который не смог его заинтересовать в прошлый раз. Поэтому вначале нужно закрыть от индексации дубликаты веб-документов [как это сделать], проверить есть ли страницы с отсутствующем содержанием и не пускать в выдачу никудышный контент.
  2. "Проверить URL" в Вебмастере.Яндекса напомнит, что документ закрыт для индексации или что сервер выдаёт 301 редирект или 404 ошибку.
  3. Если был приобретён поддержанный домен, на который наложены санкции, то нужно написать в службу поддержки что-то типа
    Здравствуйте.
    
    01.01.2000 года был приобретён домен сайт.ru.
    20.01.2000 года сайт был добавлен в Вебмастер и аддурилку. По прошествии трёх недель он не был проиндексирован.
    
    Подскажите, пожалуйста, может ли домен быть причиной плохой индексации?

Как ускорить индексацию в Яндексе

  1. Подтвердить права на управление сайтом в Яндекс.Вебмастере.
  2. Опубликовать ссылку на статью в twitter. С 2012 года у Яндекса с ним подписан договор.
  3. Установить на компьютер Яндекс.Браузер и "походить" по страницам сайта с его помощью.
  4. Добавить поиск для сайта от Yandex. Там в графе "Индексирование" можно указать свои URL-адреса вручную точно также как в аддурилке. [не актуально]
  5. Установить код Яндекс.Метрики без указания галочки "Запрет отправки страниц на индексацию".
  6. Создать файл Sitemap. Тогда по приходу на сайт робот в первую очередь будет проверять его. Этот файл существует только для него и не виден аудитории. Состоит он из списка URL-адресов страниц. Только что созданные или с обновлённым содержимым находятся сверху. Адрес Sitemap прописывается в robots.txt или в соответствующую форму в Вебмастере-"Настройка индексирования"-"Файлы Sitemap".

Дополнительные действия, когда Яндекс проиндексировал только 1 страницу

  1. Насколько часто обновляется страница, настолько часто поисковый робот будет её переиндексировать. В основном содержание периодически меняется на странице "карта сайта" и Главная. Чем чаще публиковать новые статьи, тем чаще будут обновляться вышеназванные страницы и по ссылкам внутри них индексироваться новый материал.
  2. Если на всех страницах сделать сквозной блок с последними написанными публикациями, то поисковый робот может перейти на новую запись с любой посещённой им страницы сайта. А это будет быстрее. Ссылки в сквозном блоке не должны быть реализованы скриптом, по ним не нужно запрещать переход с помощью rel="nofollow".
  3. Сайты, имеющие RSS ленту, могут зарегистрироваться в каталоге Яндекс.блоги, а уже оттуда данные будут переданы основному роботу.
  4. Оставить ссылки на свои статьи на часто обновляемых ресурсах: "Живой Журнал", ВКонтакте", "Facebook" и др.

Обновление базы данных - апдейт (ап) выдачи - происходит в среднем раз в неделю. Если все вышеуказанные действия не помогли, чего у меня ни разу не было, то следует написать в службу поддержки письмо, где рассказать что было сделано, немного о сайте, о том, что он регулярно наполняется, что людям он интересен, дать пару ссылок на самые лучшие статьи в качестве примера. Если ресурс имеет низкую посещаемость по причине узкотематичности, нужно проговорить это. Например, сказать, что проект не планирует большую посещаемость, так как создан для общества лепидоптерологов, которые изучают бабочек семейства чешуекрылых. Если сайт коммерческий, то сообщите, что за ним стоит реальная организация.

Что нужно сделать пока веб-страница не проиндексирована Яндексом

  1. Чтобы отечественный поисковик считал сайт первоисточником, ещё до публикации статьи нужно обязательно её содержание добавить в форму "Оригинальных текстов". Иначе плагиаторы могут скопировать запись к себе на ресурс и именно они, если первыми попадут в базу данных, будут признаны авторами.

Индексация Google

Вот и всё, что нужно сделать для быстрой индексации Яндексом. Для Google подойдут те же рекомендации, только сервисы будут другими:

  1. Google Инструменты для веб-мастеров - «Сканирование» - «Посмотреть как Googlebot» - кнопка «Сканировать» - кнопка «Добавить в индекс»
  2. Google+ (вместо twitter)
  3. Google Chrome
  4. Поиск внутри сайта от Гугла
  5. Google Analytics (вместо Яндекс.Метрики)

Полезные ссылки

  1. Основные принципы индексирования
в f t
наверх ↑

51 комментарий:

Вячеслав
Скажите пожалуйста, в ЖЖ, в постах сколько печатать символов, чтобы заинтересовать Яшу?
NMitra
Я считаю, что ключ к успеху - это разнообразие. Могут быть как небольшие статьи (http://shpargalkablog.ru/2010/07/zagolovok-gadzheta.html), так и развернутые (http://shpargalkablog.ru/2010/09/optimizatsiya-images-blogger.html). Главное, чтобы она максимально отвечала на вопрос читателя. Оба показанных мной примера хорошо ранжируется Яндексом.

В целом же, чтобы предоставить развёрнутый ответ, чтобы у пользователя не было желания его искать на другом ресурсе, нужно довольно большое количество символов. Многое зависит от запроса (например, те же фотогалереи прекрасно живут без объемного текста), ориентируйтесь на конкурентов.
Максим Инвестор
Мой блог на блоггере в Яндекс проиндексировал только в Яндекс-блогах. Заходил туда. Видел сообщения, попадались и несуществующие URL. В админке удалял, в Яше всё равно появились. Как я понял, чтоб в поиске Яндекса появиться необходимо еще написать свежего контента. В августе написал 2 статьи, больше в июле было.
NMitra
В http://blogs.yandex.ru/ статьи берутся из RSS.

Поисковики не любят плагиат. Например, эта статья - http://prostoinvestor.blogspot.com/2011/08/vlojit-dengi-pod-procenti.html есть здесь - http://www.postroim.com/news_restr/text.asp?NewsId=36753 слово в слово.
Aleksei Medvеdev
Большое спасибо за статью! Прошел пока целиком 5 шагов и частично, еще несколько следующих. Сначала поиск яндекса ничего не находил, теперь через feed ленту работает. Руководство эффективно! Советую всем принять к сведению... ))))
NMitra
Бросила ссылку на свою страницу в Я.ру. Но если не ошибаюсь, Яша просёк, что я её использую не для основной информации и она действует не так эффективно, как на первых порах.
Angelina
Наталья, добрый день. Помогите, пожалуйста, советом. Моему блогу всего около месяца. И вот недавно я прочитала статью на одном из сайтов о том, что google индексирует одни и те же статьи дважды (на главной странице и в ярлыках). Там было рекомендовано запретить индексировать ярлыки и архив блога.
Но дело в том, что как только я это сделала, меня на следующий день проиндексировал Яндекс (я ждала этого около 3 недель). И захватил именно страницы из ярлыков 7шт. и больше никакие. Что делать? Снять запрет или ждать пока он меня снова посетит и проиндексирует то, что нужно? И на сколько актуален запрет индексации ярлыков и архива? Может у вас есть на эту тему статья?
NMitra
У вас Яндексом проиндексирована одна внутренняя страница.

Да, для сайта нужно убирать весь дублирующий контент подробнее тут. Это очень важно для продвижения.
Wlad
Молодец сделал всё как написано,буду ждать результат
NMitra
Успехов
NMitra
vasa, простите, данной тематикой не занимаюсь.
NMitra
vasa, кстати, в индексе только одна страница. http://yandex.ru/search/advanced?text= На сайте: ....
Спонсор
что-то очень много советов, но не написано самого главного...
Проблема была решена? а если решена, то через какое время после начала активных действий?
NMitra
Самого главного? Да, конечно. Не помню сейчас, но в течении недели.
Ukrop
Я так же не понимаю этой всей фигни, я так же прогнал заплатил не мало денег, 1200 рублей в 3 сервисаг гнал, про каждый отзыв оставил хороший и видел результат, то-есть в общей сумме где-то 18000 каталогов и 122 соц. закладки и ещё своих ссылок чтук 80, но это же раскрутка сайта, причем здесь идентификация сайта, например гугл одобряет любые ссылки как в индексе так и в раскрутке, а это бред я вам скажу, я никогда такому не поверю, что б иза раскрутки сайт выпадал с индекса, мы деньги влаживаем в это дело, платим, и знаем систему тИЦ и ПР, но индекс то причем - это ни в какую, так как даже если так, то тогда если взять любой сайт даже тот ex.ua и прогнать его по каталогам 20000 - всё ппц - сайт улетит с индекса??? Это мне напоминает п.п. - вы накрутили кликами, так само и здесь - вы накрутили прогонами, так извините меня, тогда что же выходит - любой может подосрать сайт прогоном??? Это бред, может и гугл тоже вылетит из индекса яндекса если я его прогоню по каталогам, такое пишут и придумывают это Платоны, я фигею просто...
NMitra
Эх, не нужно было так. Сразу большое увеличение однородных низкокачественных (каталоги) ссылок в короткий промежуток времени на молодой сайт. Гугл также за это по головке не погладит (см. "Пингвин"). Только он выкидывает из выдачи, а не из базы данных. То есть вы будите видеть сайт, но он будет на более низких позициях, если будет. Грубо говоря, наблюдается уменьшение трафика.

Скажем, если прогнать мой сайт, то плачевного результата скорее всего не будет. Так как есть трафик, есть естественные ссылки, есть положительная история.

Поисковик сравнивает. На одной чаше спам, на другой положительные характеристики. В вашем случае спам перевесил.
Роман Лесовой
Наталья, подскажите как более грамотно организовать кросспостинг? Техническая сторона более-менее понятна. Интересно с точки зрения контента. По сути это дублирование. Вы упомянули, что делали анонсы для ЖЖ вручную. Если делать кросспостинг, дублирующий статью, чем это чревато? Анонсы в соц. сети тоже в какой-то мере его дублируют.
NMitra
Как показывает практика твитера вполне достаточно. Для нового сайта оригиналом могут посчитать ЖЖ, если там блог более древний. У Оптимизаторши читала, что дублирование приводит к понижению позиций в выдаче даже в том случае, если робот принимает его за оригинал.

В анонсе твитера, ВКонтакте и т.п. берётся пару строк. Они безобидны. Тем более поисковик видит, что это соц. сеть.
Роман Лесовой
Правильно я понял: в ЖЖ нет смысла кросспостить?
NMitra
У меня страницы блогов и так в индекс заходят. Это был вариант, когда совсем ничто не помогает.
Роман Лесовой
А с точки зрения аудитории? По идее в ЖЖ довольно большой охват русскоязычный.
NMitra
Плохую судьбы пророчат ЖЖ http://www.rg.ru/2013/01/17/ashmanov.html
Роман Лесовой
Интересная заметка. Относительно ЖЖ согласен.
Я поэтому сейчас активизировал усилия в направлении блогспота, как хорошей альтернативы.
Пан Михайло
Очeнь полeзнaя стaтья! http://svit-gadgetiv.blogspot.com
Анонимный
Интересная статья, спасибо.
Анатолій Нечипурук
Добавил в Я.вебмастир и вижу уведомление: сайт.com перенаправляет запросы на сайт.ru ...Как с этим бороться, что можно с этим сделать?

Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление.
Анатолій Нечипурук
Код статуса HTTP: "302 Found" ?
Время ответа сервера: 180мс
IP сайта: 173.194.71.132
Кодировка: UTF-8
Размер страницы: 0Кб
Заголовки:
Location: http://nechipuruk.blogspot.ru/
Content-Length: 0
NMitra
Купить домен за 100 рублей на год у http://www.2domains.ru
Или пусть главным зеркалом в Яндексе будет .ru
Или замучаешься склеивать. У автора http://blogger.omg-linux.ru/ удалось, но даже он говорит, что это того не стоит. Попробуйте к нему обратиться.
Svetlana Kuzmina
Наталья, подскажите новичку, как загрузить HTML-файл в корневой каталог блога, чтобы подтвердить права на Яндекс. ВебМастере:

Я просто не могу разобраться, куда конкретно нужно вставить этот файл.

Яндекс вообще не индексировал мой блог, а ему уже год..
NMitra
Убедительно советую купить свой домен (см. комментарий 28).
Там (в вебмастере) есть возможность выбирать подтверждение мета-тегом. Его (мата-тег) внесите в шаблон в секцию <head>
Посмотрите скриншот http://shpargalkablog.ru/2011/03/webmaster-yandex.html (он старый, но, думаю, суть раскрывает).
Svetlana Kuzmina
спасибо большое за совет. буду пробовать
Ir Sm
+5 полезно
NMitra
Благодарю за отзыв!
Анонимный
Я когда прогонял сайт по Dle профилям меня тут же Гугл писсимизировал, из 20000 страниц в индексе оставалось 6000, через 3 дня страницы снова попали в индекс.
NMitra
Они в основном индексе или ушли в дополнительный?
Михаил
Спасибо. С яндексом разобрался.
NMitra
Так его :))
Анонимный
Здравствуйте! Зарегистрировала собственный домен, но гугл не хочет его находить. А мэйл.ру наоборот выдает сайт в первой строчке. В чем может быть причина?
NMitra
Здравствуйте, причин может быть несколько. Поиск не находит домен? По запросу site:сайт.ru ничего нет? Вы его зарегистрировали в Гугл.Вебмастере? На вкладке "Посмотреть как Googlebot" нажали "Добавить в индекс"?

Проиндексировать в любом случае должен, если нет технических ошибок.
Анонимный
Даже по этому запросу ничего не выдает... И в индекс добавила. Оказывается google обвиняет меня в агрессивном спаме. При этом, сайт только-только начал свою работу, и записи в блог я пишу сама.
NMitra
Какой адрес сайта? Может быть был приобретён поддержанный домен, на котором раньше был спам?
Анонимный
http://www.vsevshkolu.ru/
Не думаю, что до этого домен был использован. По крайней мере, информации я не нашла
NMitra
Похоже на то http://web.archive.org/web/20130401000000*/http://www.vsevshkolu.ru/

Один раз видела как заблокировали сайт за чат (см. "Общение и отзывы").
В robots.txt не верно указан Sitemap (www, а у вас ww), лучше его совсем убрать.

Что написано в Вебмастере?
Анонимный
robots.txt убрала. Тогда чат лучше убрать? Как думаете, чем его можно заменить? Его наличие необходимо для оценки сайта руководством :) В вебмастере я подала запрос на проверку, буду ждать ответ
NMitra
Я имела ввиду строку с Sitemap, простите, неверно высказалась. Покажите систему тут https://groups.google.com/forum/#!forum/blogoask , Эльдус подскажет по поводу чата. В чате вроде любые ссылки можно оставлять и они могут быть на "нехорошие" источники. Я тоже добавила в аддурилку, нужно подождать дня 2-5.
Анонимный
NMitra, большое спасибо за помощь!
Анонимный
Чтобы проверить индексацию страницы сайта в Яндексе или Google, воспользуйтесь нашим SEO-инструментом в виде сайта и программы iChecker.biz для массовой проверки индексации URL-s в поисковых системах Яндекс и Google.
Олеся Царёва
Спасибо за ваши варианты. Бьюсь "как рыба об лед" пытаясь найти причину отсутствия индексации Яндексом своего блога. У вас есть совет, которого не встречала на других блогах: зарегистрироваться в каталоге Яндекс.блоги. У меня перенаправление через RSS-ленту, может это быть причиной?
NMitra
У вас блог на Blogger? Тогда обязательно нужен свой домен :(
Sergey
К блогу "Вожди" на www.blogger.com в 2008 году прикреплен домен www.vozhdi.ru
За 7 лет на www.vozhdi.ru размещено 250 статей.
Что же мы видим в июне 2015 в webmaster.yandex.ru:
— загружено роботом — 445, причем только из папок 2011—2014 г.г. (откуда столько много, если страниц всего 250? Нет ответа. Расшифровка по url не раскрывается);
— страниц в поиске — 70 (за 7 лет остальные 180 страниц не нашлись);
— из 32 статей 2015 года проиндексировано 4.
На вопрос в июне 2015 в Yandex.Search support: "Что ж у вас так печально всё с индексацией?"
Платон Щукин пишет: "Приведённые Вами страницы сайта известны нашему роботу, по мере обхода сайта они постепенно будут индексироваться и смогут появиться в поисковой выдаче. Но хочу заметить, что процесс индексирования сайтов организован таким образом, чтобы роботы могли скачать максимально возможное количество страниц, не перегружая при этом сервер. Если на одном IP—адресе расположено большое количество сайтов, робот просто не сможет скачать все страницы, обход которых он запланировал, так как это может привести к перегрузке севера или блокировке робота.
Ваш сайт расположен как раз на одном из таких IP адресов: помимо www.vozhdi.ru , там находится еще несколько сотен других сайтов, в связи с этим на индексирование страниц сайта может уйти гораздо больше времени, чем обычно. Указать какие—то конкретные сроки индексирования страниц в подобных случаях, у нас, к сожалению, нет возможности. Наши рекомендации о том, как помочь роботу быстрее индексировать сайт...". Дальше, уверен, вы уже не один раз читали.
Таким образом, можно сделать выводы:
1. прикрепляй, не прикрепляй домен к блогу на www.blogger.com — помимо него на одном IP—адресе будет "находиться еще несколько сотен других сайтов, в связи с этим на индексирование страниц сайта Яндексом может уйти гораздо больше времени, чем обычно", — вплоть до бесконечности;
2. если хотите, чтобы Ваше поздравление с Наступающим Новым 2022 годом появилось в поиске Яндекса — сейчас самое время заняться его написанием и размещением. Однако "указать какие—то конкретные сроки индексирования" страницы "С Новым 2022 годом!" у Яндекса, "к сожалению, нет возможности" )))
NMitra
У вас как-то совсем плохо https://yandex.ru/search/?lr=51&text=site%3Avozhdi.ru Проиндексирован только newyear.vozhdi.ru Нет даже Главной страницы. Её видно только так http://yandex.ru/yandsearch?text=url%3Awww.vozhdi.ru Для сравнения https://yandex.ru/search/?text=site%3Ashpargalkablog.ru&lr=51 Я бы подумала о каком-то фильтре. Такое впечатление, что сайт находится в дополнительном индексе. Попробуйте в ДОБРОЖЕЛАТЕЛЬНОЙ форме у Платонов поинтересоваться почему так происходит.

Кстати, постарайтесь не размещать фото с обнажёнными людьми или намёком на интим - заблокируют Адсенс.