Продвигайтесь с умом

Материал из Maximedia
Версия от 22:24, 13 ноября 2015; Admin (обсуждение | вклад) (Алгоритмы Яндекса)

Перейти к: навигация, поиск

Содержание

Веб-разработка

Поисковое продвижение

Общие принципы

Поисковая система — это в общем виде сайт, помогающий искать информацию на других сайтах. Для начала поиска нужной информации пользователь в специальном поле печатает текст, по его мнению связанный с искомой информацией. Поисковая система в ответ выдаёт ему список сайтов, на которых по мнению этой системы нужная информация может найтись.

Как и в любом списке одни сайты находятся выше других, а значит имеют больше шансов на то, что пользователь на них зайдёт. Поисковая система показывает сайты тем выше, тем больше по мнению поисковой системы они соответствуют тексту, введённому пользователем. Поисковое продвижение — это мероприятия по повышению места сайта в выдаваемом поисковой системой списке сайтов.

Сейчас также существует поиск по изображениям (Яндекс.Картинки, Google Картинки и др.), музыкальным отрывкам (Midomi, AudioTag и др.), наверняка есть и скоро появятся другие сайты, которые с полным основанием можно причислить к поисковым системам. Но здесь я буду говорить лишь о текстовых поисковых системах.

Статистика

Поисковые системы (ПС) на данный момент — наиболее посещаемые сайты Интернета. По некоторым данным до 90% пользователей начинают посещение Интернета с поисковой системы (конечно, большую роль в этом играет то, что она та или иная система стоит в большинстве браузеров по умолчанию, но тем не менее). И немного статистики по ПС:

Эффективность

Эффективность поискового продвижения оценивается по следующим показателям:

  • позиции — теряющий значение из-за персонализации выдачи в поисковых системах (подробнее ниже);
  • трафик — количество переходов на сайт (в основном по низкочастотным запросам);
  • лиды — конкретные действия: регистрации, подписки, заказы, звонки, заказы и пр.

Термины

Поисковые системы

  • Поисковая система — в общем виде состоит из трёх частей:
    • Поисковый робот — переходит по страницам сайтов и заносит информацию о них в базу данных.
    • Поисковый индекс, Индекс — база данных, содержащая информацию о страницах, собранную поисковым роботом.
    • Поисковик — интерфейс, через который пользователь получает доступ к поисковому индексу.
  • Индексация — Indexing — процесс внесения информации в поисковый индекс.
  • Апдейт, Ап (Update — обновление) — обновление поискового индекса. После обновления при определении позиций сайта начинают учитываться новые данные, полученные системой в течение промежутка времени с прошлого обновления. Яндекс обновляет поисковую базу большими фрагментами, его апы заметны, в Google индекс обновляется постоянно небольшими порциями, поэтому как такового апа у него нет. Апдейты Яндекса показываются здесь. Апдейты подразделяются на:
    • текстовые апдейты — обновляют информацию о добавлении, удалении и изменении содержания сайтов;
    • ссылочные апдейты — учитывают ссылки, попавшие в индекс.

Между попаданием в индекс и апдейтом проходит время. На середину 2015 оно составляет порядка недели для Яндекса (основная масса контента, для некоторых видов контента — быстрее).

  • Cерп (SERP — Search Engine Results Page — Страница результатов поиска) — страница поисковика со списком сайтов, выдаваемая поисковой системой в ответ на текст, введённый пользователем для поиска информации.
  • Органическая выдачастраница результатов поиска без рекламных объявлений.
  • Сниппет (Snippet — отрывок) — описание сайта в списке на странице результатов поиска.
  • Ранжирование — Ranking — сортировка сайтов на странице результатов поиска. Является результатом многих факторов, определяемых поисковой системой. Выявление и задействование этих факторов на сайте является большей частью процесса поискового продвижения.

Ключевые фразы

  • Запрос, Ключевая фраза, Ключевое словоKeyword — текст, используемый для поиска информации в поисковой системе. Запросы подразделяются на:
    • информационные — поиск информации;
    • транзакционные (коммерческие) — поиск товара, услуги;
    • навигационные — поиск товаров и услуг на конкретных сайтах или конкретных брендов.
  • Частотность запроса — общее количество запросов за заданный промежуток времени (по умолчанию месяц). Подразделяются на высокочастотные, среднечастотные и низкочастотные.
  • Конкурентность запроса — количество конкурентов по запросу. Подразделяются на высококонкурентные, среднеконкурентные и низкоконкурентные.
  • Релевантность — Relevance — адекватность страницы выдаваемой поисковой системой в ответ на запрос пользователя. Предполагается, что чем выше релевантность страницы запросу, тем выше сайт в списке на странице результатов поиска.
  • Семантическое ядро — набор запросов, их морфологических форм и словосочетаний, которые наиболее точно характеризуют вид деятельности, товар или услугу, предлагаемые сайтом.
  • Спектр запросов, Синонимы — набор запросов, связанных с ключевой фразой географически, семантически, статистически и другими способами.

Ссылки

  • Урл (URL — Uniform Resource Locator — Единый указатель ресурсов) — адрес сайта или конкретной страницы сайта, или файла на сайте.
  • Ссылка, ГиперссылкаHyperlink — часть документа или файла, содержащая урл, на который можно перейти.
  • Анкор (Anchor — тех. анкер, железная связь) — текст ссылки.
  • Безанкорная ссылкассылка, анкор которой совпадает с её урлом.
  • Редирект (Redirect — переадресовывать) — автоматическое перенаправление пользователя с одного урла на другой.

Вес

  • Вес страницы — возник как ответ поисковых систем на обмен ссылками в целях повышения ранжирования. Суть в том, что каждая страница имеет вес и, ссылаясь на другую страницу, передаёт ей часть своего веса, подробнее здесь. Чем выше вес страницы, тем выше её релевантность. Скачать программу для расчёта веса страниц, исходя из данных по внутренней перелинковке, можно здесь.
    Исходя из этих предпосылок, можно сделать следующие выводы:
    • чем больше ссылок ссылается на страницу, тем больше её вес;
    • чем выше вес страницы, тем больший вес имеет ссылка с этой страницы.
  • Статический вес — вес, распределённый между страницами с помощью ссылок.
  • Динамический вес — дополнительный вес за анкоры ссылок и др. повышающие и снижающие вес страницы коэффициенты.
  • Сквозные ссылки — одинаковые ссылки, присутствующие на всех страницах, считаются одной ссылкой, передающей усреднённый вес всех ссылок.
  • Сайты-доноры — сайты, ссылающиеся на данный сайт, называются его сайтами-донорами.
  • Зеркало сайта — частичная или полная копия сайта. Сайты, которые поисковая система считает зеркалами, склеиваются и в выдаче показывается только главное зеркало. Описание зеркал от Яндекса.

Перелинковка

  • Перелинковка — связывание сайтов и страниц ссылками.
  • Внутренняя перелинковка — передача веса страницы с помощью ссылок внутри сайта.
  • Внешняя перелинковка — передача веса страницы с помощью ссылок между сайтами. Внешняя перелинковка явилась основой для покупки и продажи ссылок (т.н. коммерческих ссылок). Постепенно и Яндекс, и Google научились определять коммерческие ссылки и искусственно занижать их вес (подробнее в разделе Фильтры). С обзором ссылочных бирж можно ознакомиться здесь.
  • Анкорный лист, Анкор-лист — перечень анкоров внешних ссылок с указанием частотности.
  • Неразбавленные анкоры — это анкоры с точным (прямым) или морфологическим (склоненным) вхождением поискового запроса без каких-либо дополнительных слов. Использовать в больших количествах нельзя, иначе они будут склеены и их вес станет очень низким.
  • Разбавленные анкорыанкоры, которые помимо поискового запроса содержат дополнительный текст. В этом случае динамический вес снижается, но использование разбавленных анкоров позволяет разнообразить анкор-лист.

Элементы выдачи

  • Поле поиска — поле, в которое пользователь вносит ключевую фразу. В некоторых браузерах поле поиска совпадает с адресной строкой.
  • Ранжированный список — список результатов поиска по ключевой фразе, список ссылок на сайты с кратким описанием этих сайтов. Ссылки ранжированы по релевантности ключевой фразе. Соответственно, прямой задачей поискового продвижения является повышение релевантности страниц и сайта определённым (им и бизнесом) ключевым фразам.
  • Фавикон — небольшая картинка рядом с каждой позицией списка. Не является обязательным элементом.
  • Ссылка — заголовок каждого элемента списка. Совпадающие ключевые слова, а также ключевые слова из спектра выделяются в заголовке полужирным шрифтом.
  • Сниппет — описание сайта. Подбирается поисковой системой автоматически — берётся из мета-тега Description или непосредственно из содержания страницы.
  • Дополнительные элементы — являются либо расширениями, либо элементами поисковой системы, и будут описаны ниже.

Ранжирование

Комплексы факторов ранжирования, влияющих на положение сайта в списке результатов поиска.

  • Релевантность — как правило, употребляется по отношению к странице — степень соответствия страницы поисковому запросу.
  • Цитируемость, Авторитетность — общий вес сайта, состоящий из динамических весов страниц сайта.
  • Трастовость, Траст (Trust — доверие) — гипотетический фактор ранжирования. Предполагается, что высокое доверие повышает ранжируемость, а ссылки с сайтов с высоким доверием имеют больший вес, чем с сайтом с низким. Более того, обратные ссылки с сайтов с низкой трастовостью могут навредить ресурсу. Существуют различные методики расчёта траста, и использующие их онлайн-сервисы: XTool для Яндекса, SB Up (с множеством других полезных сервисов), Majestic (нужна регистрация), Mozcheck (нужна регистрация). Каждый из этих сервисов по разному рассчитывает траст сайта, поэтому их практическая польза не очевидна. В основном они используются для оценки сайта-донора при покупке ссылок.

Факторы ранжирования (108)

Keyword-факторы

  1. Релевантность контента — соответствие текста ключевому слову. Пока единственный сервис, дающий общую оценку — MegaIndex (требуется регистрация). PR_CY показывает общую статистику по странице, из которой можно сделать самостоятельные выводы о релевантности контента.
  2. Плотность ключевой фразы — частота использования ключевой фразы в тексте должна быть не ниже значений, показывающих её несвязанность с общим смыслом текста. Одновременно она должна быть не выше значений, показывающих, что частота её использования усилена искусственно.
    • довольно давно используется параметр веса слова, связанный с общей употребимостью слова; статистическая мера, используемая основными поисковыми системами для определения веса ключевой фразы на странице — TF-IDF и её вариации; большой вес в TF-IDF получат ключевые фразы с высокой частотой в пределах конкретного документа и с низкой частотой употреблений в других документах
    • по неподтверждённым данным (по крайней мере Google приобрёл соответствующий патент), сейчас начинает использоваться латентно-семантический анализ (подробнее на английском здесь), поэтому помимо ключевых слов нужно использовать на странице синонимы ключевых фраз (подробности ниже); то же относится к названию страницы, заголовкам, описанию страницы, урлу и доменному имени;
    • по неподтверждённым данным ключевая фраза среди первых 100 слов контента увеличивает его релевантность данной фразе.
    Методика расчёта плотности связана с анализом плотности ключевой фразы и синонимов во второй десятке выдачи и более подробно описана здесь. Раньше, когда ссылочная масса имела большее значение, чем сейчас, рекомендовалось анализировать вторую страницу выдачи из-за более "естественных" результатов.
  3. Порядок слов в ключевой фразе — по неподтверждённым данным точное совпадение слов в ключевой фразе более релевантно.
  4. Словоформы ключевых фраз — желательно использовать в тексте различные варианты написания ключевых фраз с изменением числа и падежа, а также спряжения — для глаголов. По непроверенной информации глагол в этом случае равнозначен причастию, а прилагательное — деепричастию.
    Сюда же можно отнести ситуацию, когда в ключевую фразу вставлено одно или несколько слов, создавая разнесённую ключевую фразу.
  5. Синонимы ключевых фраз — поисковые системы используют алгоритмы, позволяющие определить не только ключевую фразу, но и связанное с ней облако понятий. Использование слов и фраз из этого облака помогает увеличить релевантность текста, так как вероятность того, что он отвечает запросу пользователя, выше. Узнать, какие ключевые фразы есть в облаке понятий можно с помощью инструментов контекстной рекламы, так как, похоже, они используют один и тот же движок. Для Google это Планировщик ключевых слов (Войти в AdWords → Поиск новых ключевых слов по фразе, сайту или категории). Для Яндекса это может быть и Wordstat (фразы в правом списке), и Прогноз бюджета (фразы в правом окошке, их выбор шире, чем в Wordstat). По непроверенным данным:
    • ключевые фразы из облака понятий имеют тем больший вес, чем ближе находятся к ключевой фразе;
    • HTML-элементы способны сократить семантическую дистанцию между понятиями, просто разместив их близко друг к другу (например, термины, находящиеся в списке, могут рассматриваться как находящиеся на одинаковом расстоянии друг от друга, а заголовок текста может рассматриваться так, будто он находится на близком расстоянии к любому термину в документе);
    • усиление плотности ключевых фраз в начале текста даёт больший эффект, чем их равномерное распределение по тексту; то же относится к ключевым фразам в доменном имени, названии страницы и заголовках;
  6. Ключевые фразы в названии страницы (тег TITLE) — повышают релевантность страницы. Общие рекомендации (не подтверждены):
    • длина названия 60-80 символов;
    • без ключевых фраз в заголовке страница будет ранжироваться по этим словам гораздо хуже;
    • чем ближе ключевые фразы к началу заголовка, тем больше влияют на ранжирование;
    • крайне желательно, чтобы заголовок был уникальным для сайта; для интернета в целом — желательно;
    • в названии страницы лучше использовать непрямые вхождения ключевых фраз;
    • расстояние между одинаковыми ключевыми фразами влияет на ранжирование (слишком близком, слишком далеко, слишком часто — плохо);
    • нежелательно использовать некоторые знаки ( = / \ ! ? * » : < > | + _ ) в качестве разделителей;
    • чем короче заголовок, тем больший вес имеет каждое слово (и, соответственно, ключевая фраза).
  7. Ключевые фразы в заголовках — повышают релевантность. Общие рекомендации (не подтверждены):
    • H1 желательно использовать один раз на странице;
    • иерархичность использования заголовков (H1 → H2 → H3 и т.д.) желательна;
    • нежелательно использовать теги внутри заголовков;
    • есть высокая вероятность того, что поисковые системы оценивают наличие текста под заголовками, и соответствие ключевых слов в заголовке и в тексте под ним; возможно, выделение ключевых фраз в тексте под заголовком придаёт ему больший вес, если эти фразы присутствуют в заголовке.
    По непроверенным данным:
    • H1 должен быть набран шрифтом самого крупного размера;
    • прямые вхождения ключевых фраз повышают релевантность;
    • близость ключевой фразы к началу заголовка повышает релевантность;
    • чем ближе заголовок к началу текста, тем выше релевантность ключевых фраз в нём;
    • уникальность заголовка на странице, сайте, в интернете повышает релевантность его ключевых фраз;
    • высокая плотность ключевых фраз в заголовке снижает релевантность — их желательно разбавлять другими словами;
    • грамматические ошибки в заголовке снижают его релевантность.
  8. Выделение ключевых фраз тегами — увеличивает релевантность контента данным ключевым фразам. Теги strong, em, u. Теги strong и em рекомендуется использовать вместо тегов b и i, соответственно.
  9. Сегментация страницы — это разделение страницы поисковыми системами на сегменты с разной значимостью. Чем выше значимость сегмента, тем больший вес приобретают размещённые в нём ключевые фразы. Размещение ключевых фраз в сегментах с высокой значимостью повышает релевантность страницы. Наибольший вес, как правило, имеет сегмент с содержанием, находящийся в центре страницы.
  10. Ключевые фразы в перечне ключевых фраз (мета-тег Keywords) — могут учитываться Яндексом при определении соответствия страницы поисковым запросам. Общие рекомендации (не подтверждены):
    • длина не более 100 символов;
    • соответствие ключевым фразам страницы;
    • уникальный перечень для каждой страницы сайта;
  11. Ключевые фразы в описании страницы (мета-тег Description) — из описания часто берётся сниппет и совпадающие ключевые фразы в этом случае выделяются поисковой системой (подробнее об этом в факторах страницы). Общие рекомендации (не подтверждены):
    • длина не более 200 символов;
    • крайне желательно, чтобы описание было уникальным для сайта и для интернета в целом.
  12. Ключевые фразы в урле — повышают релевантность страницы. Вопрос об использовании кириллицы и латиницы в урле остаётся открытым. Предполагается, что Яндекс лучше относится к транслиту, а Google к англоязычному переводу. Для перевода названия в транслит можно использовать таблицу транслитерации от NIC.RU. Использование человекопонятных урлов позволяет указывать ключевую фразу не только в названии страницы, но и в названиях страниц, которые выше в иерархии.
  13. Ключевые фразы в доменном имени — содержание ключевой фразы в имени домена или поддомена повышает релевантность сайта данной фразе. По непроверенным данным в длинном доменном имени, как и в длинном заголовке, вес ключевой фразы снижается. Возможно, домены, начинающиеся с ключевой фразы, более релевантны этой фразе чем те, где эта фраза стоит в середине или в конце. Возможно, те же принципы, хотя и в меньшей степени, можно отнести к имени поддомена. Особое внимание следует обратить на домены, имя которых совпадает с ключевой фразой (EMD — exact match domain — домены прямого вхождения), есть вероятность, что Google применяет к ним фильтр.
  14. Теги в Wordpress — по неподтверждённым данным являются сигналом релевантности.

Факторы содержания

  1. Уникальность контента — повышает доверие к сайту. Проверка сайта: Copyscape. Проверка текстов: Text.ru, PR-CY, Content Watch.
  2. Соответствие содержания заголовку — значительно повышает релевантность страницы.
  3. Канонические ссылки — должны использоваться в тех случаях, когда у одной и той же страницы есть несколько урлов (такую ситуацию могут создавать некоторые системы управления содержанием). В этом случае каноническая ссылка даёт понять поисковой системе, какая из страниц является основной, и убирает штрафы за дублирование контента. Подробнее о канонических ссылках от Google.
  4. Копии контента на других сайтах — по неподтверждённым данным увеличивают трастовость сайта. По неподтверждённым данным увеличение трастовости происходит даже при отсутствии ссылки на первоисточник.
  5. Количество контента — по непроверенным данным: от 500 до 3 000 знаков, но если есть такая возможность, то лучше ориентироваться на количество контента на сайтах-конкурентах в верхней части выдачи. Предположительно разное количество знаков в статьях на сайте увеличивает доверие к сайту. Подсчёт знаков можно производить в Word или на онлайн-сервисах.
  6. Наличие и уникальность изображений — повышает релевантность текста. Рекомендуется:
    • помещать изображение как можно ближе к тексту, либо окружать изображения текстом;
    • размещать подписи с ключевыми фразами под изображением;
    • информировать посетителя сайта о содержимом изображения текстовым сообщением в том случае, если в браузере пользователя отключено отображение картинок или при загрузке изображения произошла ошибка — для этого используется атрибут ALT; кроме того, этот атрибут влияет на ранжирование в Яндекс.Картинках и Картинках Google (при поиске изображений по ключевым фразам); по непроверенным данным желательно не превышать длину описания содержимого более чем на 50-60 символов;
    • сообщать дополнительную информацию об изображении с помощью атрибута TITLE; рекомендуется делать дополнительную информацию отличной от описания в атрибуте ALT;
    • упоминать в названии файла изображения ключевые фразы;
    • брать изображения с бесплатных фотостоков (Flickr, Kavewall, Bigfoto, Stockvault, Unsplash), либо покупать их.
  7. Наличие роликов с Youtube — по непроверенным данным влияет на ранжирование сайта, особенно в Google, являющимся владельцем этого видеохостинга. Кроме того, это увеличивает время нахождения на сайте (поведенческий фактор).
  8. Наличие и уникальность мультимедиа — по непроверенным данным повышает доверие к сайту.
  9. Жалобы по авторскому праву — по непроверенным данным Google снижает трастовость сайтов, имеющих такие жалобы.
  10. Грамотность текстов — по непроверенным данным повышает доверие к сайту. Проверку можно производить как на онлайн-сервисах, так и в MS Word.
  11. Списки, таблицы — по непроверенным данным наличие списков и таблиц повышает релевантность страницы.
  12. Обновление старого контента — по непроверенным данным повышает релевантность сайта, также возможно релевантность повышается при увеличении частоты обновлений старого контента.

Факторы страницы

  1. Pagerank, PR — вес страницы в Google. Оказывает значительное влияние на ранжирование страницы на странице результатов поиска. Рассчитывается для каждой страницы отдельно. Описание от Google. Посмотреть Pagerank можно на PR-CY.
  2. Скорость загрузки — влияет на ранжирование страницы в поисковой выдаче. В основном отслеживается Google, но можно предположить, что этот фактор имеет значение и для Яндекса. Сервис оценки скорости от Google (обратите внимание, что сервис в том числе предлагает скачать элементы, увеличивающие скорость загрузки). Для оценки скорость загрузки Google может использовать как анализ кода, так и данные пользователей браузера Google Chrome, отправляемые в Google автоматически.
  3. Отображение на мобильных телефонах — имеет особенное значение для Google, и имеет смысл предположить, что ценность этого параметра для Яндекса так же будет повышаться. Основные ошибки можно увидеть в том же Сервисе оценки скорости от Google
  4. Внутренняя перелинковка — взаимосвязанная система внутренних ссылок между страницами сайта; эффективная перелинковка заключается в наращивании веса страниц с помощью внутренних ссылок — соответственно частотности запросов, по которым эти страницы продвигаются.
  5. Валидность HTML-кода — предположительно влияет на траст страницы. Проверить код страницы можно на сайте W3C.
  6. Возраст страницы — чем старше страница, тем, предположительно, больше её трастовость. По другим данным, Google даёт дополнительный вес новому контенту.
    Возраст страницы считается с даты её индексации поисковой системой. Чтобы узнать дату индексации Яндексом нужно ввести в поиск site:урл нужного сайта или url:нужный урл (не забудьте www перед урлом), а после получения результата добавить в конец адресной строки &how=tm (на последних страницах немного глючит, почему-то у меня через Тор глючит меньше). В Google проще: ввод тех же данных, но чтобы посмотреть даты, нужно лишь нажать на кнопку Инструменты поиска под полем поиска и выбрать интересующий промежуток времени.
  7. Описание страницы — напрямую на ранжирование не влияет, но используется поисковыми системами наравне с содержанием в описании сайта на странице результатов поиска. Качественное описание страницы увеличивает CTR страницы, повышая таким образом её релевантность через поведенческие факторы. Описание сайта размещается с помощью тега meta-description. Советы по мета-описаниям от Яндекса, и от Google.
  8. Использование микроразметки — повышает доверие к сайту, как за счёт кликабельности сайта в выдаче, так и, предположительно, по факту использования. Информация и помощники: Что особенно приятно, разметку можно добавлять и в блоге, и в других движках непосредственно в HTML-код.
  9. Уровень вложенности — по неподтверждённым данным чем глубже вложенность страницы в логической структуре сайта, тем меньше её вес, чем ближе — тем вес больше.
  10. Длина урла — по неподтверждённым данным влияет на доверие страницы. Предположительно оптимальная длина не должна превышать 5-6 слов и 60-70 знаков.

Ссылочные факторы

  1. Редиректы — ставятся на несуществующие страницы, оказывают значительное влияние на доверие к сайту:
    • 301 редирект передаёт вес страницы другому урлу (способы задать 301 редирект здесь), 301 редирект используется для постоянного перенаправления; по неподтверждённым данным, ссылки, идущие с редиректа 301 значительно теряют в весе, а по другим данным — вес таких ссылок отличается от прямых незначительно;
    • 302 редирект используется для временного перенаправления (например, страница на стадии редизайна);
    • 404 редирект используется для редиректа с несуществующего урла на заданную страницу; рекомендуется создавать эту страницу отдельно и оформлять её таким образом, чтобы удержать пользователя (и дать ссылок поисковому роботу); не рекомендуется перенаправлять пользователя на стартовую страницу сайта — поисковая система станет считать эту страницу дублем для многих адресов и снизит её вес;
    • цепочки из редиректов — нежелательны;
    • по неподтверждённым данным большое количество редиректов (в процентном соотношении с количеством страниц) снижает трастовость сайта.
  2. Исходящие ссылки — снижают вес страницы, поэтому желательно закрывать их от индексирования, присваивая им атрибут rel=nofollow, либо закрывать ссылки тегом noindex) (речь не идёт о т.н. сквозных ссылках — элементах навигации, присутствующих на всех страницах сайта). По неподтверждённым данным большое количество ссылок, закрытых тегом noindex, снижает доверие к сайту. Кроме того, Google Webmaster Guidelines не рекомендует размещать на странице слишком много ссылок.
    Исходящие ссылки страницы можно посмотреть на PR-CY и др. бесплатных сервисах.
  3. Входящие ссылки (обратные) — увеличивают вес страницы, поэтому чем больше качественных обратных ссылок на сайт, тем лучше (с мая 2015 Яндексом введён фильтр Минусинск, снижающий доверие за большое количество некачественных ссылок — подробнее в разделе Фильтры).
    Входящие ссылки на свой сайт можно смотреть с помощью бесплатных сервисов статистики Яндекс.Метрика и Google Analytics (после установки счётчика). Входящие ссылки на чужие сайты — с помощью платных и условно-бесплатных сервисов Majestic SEO, Ahrefs.com и др.
  4. Вес ссылки зависит:
    • в значительной мере от веса страницы, поэтому все Факторы страницы, перечисленные выше, влияют на вес ссылки;
    • от индекса цитирования сайта (тИЦ/PR) — высокий индекс повышает вес, низкий может снизить вплоть до нуля; очень хорошие ссылки — dmoz.org для Google и yaca.yandex.ru для Яндекса; возможно, хорошей ссылкой является ссылка с Каталога Yahoo!; хорошими обратными ссылками считаются ссылки с крупных тематических каталогов;
    • от естественности ссылки — поисковые системы умеют отличать естественные ссылки от SEO-ссылок (Минусинск — подробнее в разделе Фильтры); естественные ссылки весят больше, SEO-ссылки не только имеют нулевой вес, но и могут влиять на вес страницы/сайта;
    • от количества других исходящих ссылок на странице — чем больше ссылок, тем меньше вес каждой из них.
    По неподтверждённым данным вес страницы также зависит:
    • от траста сайта/страницы; возможно, ссылки с сайтов с высоким трастом учитываются даже будучи закрытыми атрибутом nofollow; возможно, ссылки с низкой трастововостью имеют меньший вес и индексируются медленнее;
    • от места размещения ссылки на странице;
    • от количества переходов по ссылке;
    • от возраста ссылки;
    • от наличия атрибута TITLE;
    также есть мнения, что:
    • исходящие ссылки на авторитетные ресурсы (например, Википедию)увеличивают траст страницы/сайта (хотя и уменьшают её вес), а исходящие ссылки на ресурсы с низким доверием уменьшают доверие к сайту; есть предположения, что авторитетность ресурса по-прежнему связана с его тИЦ/PR;
    • большое количество исходящих ссылок может дать поисковым системам основания заподозрить сайт в продаже ссылок и применить к нему штрафные санкции (см. Фильтры);
    • ссылки из комментариев имеют меньший вес, чем контекстные ссылки на той же странице;
    • слова в анкоре или околоанкорном тексте, указывающие на её неестественность ("партнёр", "спонсор" и пр.) могут снизить вес ссылки.
  5. Околоанкорный текст влияет на вес ссылки:
    • ссылки, размещённые внутри контекста имеют больший вес, чем ссылки вне контекста;
    • поисковые системы умеют определять тематику контекста, внутри которого находится ссылка, и соответственно этому увеличивать/уменьшать вес ссылки;
    • по неподтверждённым данным наличие ключевых слов на странице повышает вес ссылки;
    • по неподтверждённым данным ссылки в начале текста имеют больший вес, чем ссылки в конце.
  6. Количество страниц с обратными ссылками — влияет на вес страницы, даже если по неподтверждённым данным это страницы одного сайта.
  7. Динамика роста ссылочной массы — по неподтверждённым данным поисковые системы хранят историю роста ссылочной массы, в том числе о ссылочных взрывах.
  8. Тематическая близость сайтов и доменных зон — по неподтверждённым данным ссылки с сайтов-конкурентов по семантическому ядру и сайтов с близкими тематиками имеют больший вес. Ссылки с сайтов в тематических доменных зон имеют больший вес для страниц тех же тематик (перечень доменных имён). Предположительно ссылки из одинаковых региональных доменных зон имеют больший вес, чем из разных.
  9. Естественный анкор-лист — содержит разнообразные анкоры с разными включениями ключевых слов, без ключевых слов и без анкоров. Переспамленный анкор-лист демонстрирует высокую частотность одного или нескольких анкоров с одинаковым включением ключевой фразы, что, предположительно, влечёт за собой склейку одинаковых анкоров и следовательно снижение веса всех ссылок с одинаковым анкором. Анализ анкор-листа возможен в основном на условно-бесплатных сервисах типа Majestic.
  10. Ссылочное разнообразие — по неподтверждённым данным подчёркивает естественность ссылочного профиля, и поэтому доверие к таким ссылкам выше (а значит, выше их вес). Включает в себя:
    • количество ссылок с разных IP;
    • количество ссылок с разных страниц одного сайта;
    • количество видов ссылок: текстовые, безанкорные, короткие, изображения, из видео и пр.;
    • в то же время значительное количество ссылок только из одного источника (например, только форумы) может снизить их вес.
  11. Карта сайта — может быть полезна для крупных сайтов (описание от Яндекса, от Google). Возможно, иерархия страниц в карте сайта влияет на распределение веса между страницами сайта.

Факторы сайта

  1. Наличие счётчиков Яндекс.Метрики и Google Analytics — одно из необходимых условий эффективного продвижения, так как позволяет поисковым системам отслеживать множество факторов ранжирования, включая поведение пользователей на сайте.
  2. Тематический индекс цитирования, тИЦ — индекс, оценивающий количество и качество ссылок на сайт. Оказывает значительное влияние на ранжирование сайта в результатах поиска. Рассчитывается для всего сайта целиком. Описание от Яндекса. Посмотреть можно на PR-CY.
  3. Наличие контактной информации — повышает доверие к сайту. По неподтверждённым данным совпадение контактной информации с данными Whois положительно влияет на доверие к сайту. Возможно, на доверие положительно влияет выделение отдельного раздела Контакты.
  4. Интеграция сайта с Яндекс.Островами — предположительно увеличивает вес сайта в Яндексе. Описание для разработчика от куратора проекта и более подробное англоязычное описание от Яндекса.
  5. Структура сайта — важный фактор, влияющий на ранжирование сайта в поисковой выдаче. Для создания правильной структуры сайта желательно:
    • делать навигацию вложенной — от более общих материалов к более конкретным;
    • использовать карту сайта;
    • ограничивать индексирование служебной информации с помощью файла robots.txt.
    Обратите внимание на Рекомендации от Яндекса. Перспективным является использование Silo-структуры.
  6. Частота обновления — чем больше частота обновлений, тем выше ранжируется сайт в поисковой выдаче, что подтверждает Мэтт Каттс — руководитель команды Google по борьбе с веб-спамом. По неподтверждённым данным:
    • постоянная частота ценится выше, чем изменяющаяся;
    • объём обновлённого контента положительно влияет на ранжирование.
    Для определения частоты обновлений можно использовать Google, у него есть оператор daterange. Синтаксис оператора: Урл daterange Дата1-Дата2. Дата1 и Дата2 определяют временной промежуток, за который считаются обновления. Даты записываются в юлианском формате, для конверсии используйте данный конвертер.
  7. Сертификат SSL — увеличивает доверие к интернет-магазинам: комментарии от Яндекса, от Google. Возможно, что в ближайшем будущем его значение для остальных сайтов будет увеличиваться. Получение и особенности сертификатов описаны здесь.
  8. Битые ссылки — это ссылки с несуществующим урлом. Чем больше на сайте таких ссылок, тем меньше доверие к сайту. Проверить наличие битых на своих сайтах ссылок можно в Яндекс.Вебмастер (Индексирование сайтаИсключённые страницы) и Google Search Console (СканированиеОшибки сканирования) — после установки счётчиков на свои сайты. BrokenLinkLookUp производит поиск по любым сайтам, найденные битые ссылки скачиваются файлом.
  9. Методы рекламы, мешающие пользователю просматривать основной контент сайта — негативно влияют на ранжирование сайта в поисковых системах (Яндекс: о popunder-баннерах, о системах clickunder, о шокирующей рекламе, и о рекламе в контексте удобства сайта).
  10. Навигационные цепочки — предположительно повышают траст к сайту, предположительно за счёт улучшения юзабилити. Это косвенно подтверждается тем факом, что Яндекс умеет их распознавать и отображать в сниппетах сложных сайтов. Возможно, разделы навигационной цепочки влияют на присвоение тематики страницам/сайту.
  11. Тематика сайта — по непроверенным данным Яндекс присваивает тематику всему сайту, а Google присваивает тематику каждой странице. Узнать присвоенную тематику в Яндексе нельзя без прямой регистрации в Яндекс.Каталоге (платная регистрация, бесплатная регистрация), возможно для Google эту функцию выполняет DMOZ (для регистрации нужно выбрать тематику и перейти по ссылке suggest URL / предложить URL).
  12. Количество страниц с уникальным контентом — по непроверенным данным положительно влияет на трастовость сайта.
  13. Уникальность дизайна — по непроверенным данным поисковые системы оценивают шаблонность дизайна через анализ уникальности HTML-кода и CSS — и доверие к шаблонным сайтам ниже.
  14. Уникальность CMS — по непроверенным данным поисковые системы оценивают сайты на редких/индивидуальных CMS, либо без таковых — выше, чем сайты на стандартных CMS. По другим данным поисковые системы повышают вес сайтов, сделанных на CMS Wordpress.
  15. Условия и конфиденциальность — по неподтверждённым данным сайты с условиями и политикой конфиденциальности повышают трастовость сайта.

Факторы домена и хостинга

Влияют на ранжирование сайтов через степень доверия к сайту. Все описанные ниже факторы не подтверждены, если не указывается обратное.

  1. Припаркованные домены — не функционирующие полностью домены, сайты в стадии разработки, без содержания или почти без содержания. Google по большей части запрещает рекламировать припаркованные домены. Возможно, вес таких сайтов также снижен.
  2. Доменная зона — доменная зона указывает на определённый регион. В этом регионе сайт, расположенный на данном домене будет котироваться выше. При этом в других регионах. Общие доменные зоны (COM, ORG, NET, INFO и пр.) не имеют ни бонусов, ни штрафов при показе в зонах.
  3. Уровень домена — релевантность домена 3го уровня много ниже релевантности домена 2го уровня. Этим плохи бесплатные домены.
  4. Хостинг — влияет на доступность сайта. Продолжительное время недоступности сайта негативно сказывается на степени доверия к нему. Также на степень доверия влияет скорость загрузки сайта, она частично зависит от хостинга.
  5. География хостинга — по неподтверждённым данным местонахождение сервера может влиять на ранжирование при поиске с географической компонентой.
  6. Возраст домена — чем больше возраст домена, тем выше его релевантность. Возраст домена можно проверить практически в любом регистраторе доменных имён, например здесь.
  7. Длительность регистрации домена — чем больше длительность, тем выше доверие. Домены в зоне RU не арендуются на срок более 1 года, так что к ним этот фактор не относится.
  8. История домена — если у домена часто менялись владельцы или он длительное время не выкупался, то степень доверия к нему снижается к нулевой. Историю домена можно посмотреть здесь.
  9. Санкции — санкции, применённые к нескольким доменам владельца могут влиять на доверие к остальным сайтам этого же владельца. Владелец домена определяется в том числе через данные Whois.
  10. Сервер — если соседями по серверу являются спамеры, фишинговые сайты, сайты, распространяющих вредоносное программное обеспечение и т.д., это негативно влияет на доверие к сайту. Посмотреть IP своего сайта можно здесь, увидеть часть сайтов, расположенных на этом же IP-адресе (сервере) — здесь (кстати, по этому адресу можно получить много других интересных данных).
  11. Данные Whois — по неподтверждённым данным скрытые данные Whois котируются ниже открытых. Обратите внимание, что по умолчанию домены в зоне RU регистрируются с закрытыми данными Whois.

Поведенческие факторы

Поведенческие факторы влияют на уровень доверия к сайту.

  1. Установка счётчиковЯндекс.Метрика и Google Analytics необходима для ранжирования сайта, так как по показаниям этих счётчиков поисковые системы оценивают сайт по большинству перечисленных выше факторов.
  2. Кликабельность сайта, CTR — отношение количества переходов по ссылке из выдачи к количеству кликов по ссылке. Количество переходов можно оценить через сервис статистики (Яндекс.Метрика, Google Analytics, LiveInternet), установив соответствующий счётчик. Оценивается не только CTR сайта, но и CTR каждой страницы в отдельности.
    Посмотреть CTR своего сайта в Яндексе можно в Яндекс.Вебмастере:
    Поисковые запросыПопулярные запросы или
    Поисковые запросыМои запросыСтатистика (для этого нужно добавить запросы в соседнем подразделе Настройка).
    Посмотреть CTR своего сайта в Google можно в Поисковой панели Google:
    Поисковый трафикАнализ поисковых запросов.
    Оценить количество показов, учитывая наличие персонализации поиска для чужих сайтов не представляется возможным.
    Кликабельность сайта, CTR зависит от следующих факторов:
    • Положение сайта на странице выдачи — как описывалось выше, фактор неоцениваемый из-за персонализации поиска, но чтобы произвести примерную оценку можно использовать Яндекс.Вебмастер и Поисковую панель Google, LiveInternet для своих сайтов, сторонние ресурсы для оценки чужих позиций (таких сервисов много), а также анонимный браузер Тор.
    • Фавиконка — маленькая картинка слева от заголовка. Качественная фавиконка помогает выделить сайт.
    • Заголовок сниппета — в общем случае берётся из TITLE страницы, но если он отсутствует или по мнению Яндекса плохо описывает документ, будет выбран более информативный заголовок, содержащийся в теле документа (из заголовков H1, H2-H6, выделенных фраз. Также могут быть использованы данные, размеченные по стандарту Open Graph, если поисковые алгоритмы сочтут их наиболее информативными. Для выделения заголовка в общей выдаче можно использовать специальные символы (например, ☺ ★ ◸). Всё вышеописанное относится и к Google.
    • Описание сайта — в общем случае берётся из мета-тега <meta name="Description" content="..."/>, но если отсутствует или плохо описывает документ, то поисковая система выберет кусок текста, содержащий ключевую фразу.
    • Урл — человеческий-понятный урл (ЧПУ) помогает пользователю увидеть структуру сайта и название раздела в этой структуре.
    • Быстрые ссылки — дополнительные ссылки в сниппете. Могут быть как короткими (анкоры ссылок), так и расширенным. Рекомендации от Яндекса, от Google.
    • Расширенный сниппет — автоматически добавляемые данные из других сервисов поисковой системы. Перечень данных от Яндекса, от Google.
  3. Показатель отказов — количество выходов со страницы без каких-либо действий. Отрицательно влияет на доверие к сайту, так как показывает незаинтересованность пользователя сайтом. Показатель отказов для Яндекса и для Google незначительно отличаются. Показывается на главных страницах Метрики и Analytics.
  4. Глубина просмотра — положительно влияет на доверие к сайту, так как показывает интерес пользователя. Показывается на главных страницах Метрики и Analytics.
  5. Время на сайте и на конкретной странице — положительно влияет на доверие к сайту. Показывается на главных страницах Метрики и Analytics. Показатель отказов, глубина просмотра и время на сайте зависит от юзабилити сайта.
  6. Прямые заходы — положительно влияют на доверие к сайту, так как означают, что контент интересен, так как пользователь запомнил ссылку или перешёл из закладок.
    Метрика: на главной странице или ОтчётыСтандартные отчётыИсточникиИсточники, сводка.
    Analytics: Источники трафика Обзор → (Direct — это прямые заходы).
  7. Повторные заходы — положительно влияют на доверие к сайту, так как означают, что контент интересен.
    Метрика: на главной странице как разница между Посетители и Новые посетители, либо через Фильтры.
    Analytics: ПоведениеНовые и вернувшиеся.
  8. Комментарии — положительно влияют на доверие к сайту. Добавляйте возможность комментирования, мотивируйте оставлять комментарии. Здесь важно понимать, что большое количество негативных отзывов, наоборот, могут привлечь внимание поисковых систем и вызвать ручные санкции.
  9. Цитируемость в социальных сетях — положительно влияет на доверие к сайту. Ставьте кнопки, мотивируйте ставить лайки и подписываться.
    Метрика: ОтчётыСтандартные отчётыСодержаниеКнопка "Поделиться — социальные сервисы.
    Analytics: Источники трафикаСоцфункцииАктивность в социальных сетях.
  10. Закладки — в Яндекс.Браузере для Яндекса и Google Chrome для Google. Частично эту информацию можно оценить по количеству прямых заходов, точную информацию получить невозможно.
  11. Характер движения курсора и схема движения по сайту — анализируется поисковыми системами для выделения программ, имитирующих поведение пользователя. Выявление таких программ отрицательно влияет на рейтинг сайта.

Социальные сигналы

Поисковые системы не раскрывают социальные сигналы, поэтому всё нижеописанные является предположениями. Социальные сигналы увеличивают доверие (трастовость) страницы и — в меньшей степени — сайта.

  1. Лайки социальных сетей, твиты (Twitter), пины (Pinterest) — увеличивает доверие к понравившейся странице. Возможно, поисковые системы также определяют вес пользователя (через количество друзей, обратных лайков, активность и другие показатели) и вес пользователя влияет на вес лайка. Возможно, поисковые системы определяют и релевантность пользователя тому контенту, который он лайкнул (через анализ его ленты). Возможно, также имеют значение сигналы Reddit, StumbleUpon, Digg.
  2. Подтверждённое авторство в Google — увеличивает доверие к ресурсам, принадлежащим проверенному автору, и размещаемым им ссылкам (как подтвердить авторство в Google можно прочитать здесь).
  3. Наличие в Google+ — Google увеличивает трастовость сайтов, добавленных в их собственную социальную сеть.
  4. Обратные ссылки на сайт в социальных сетях — увеличивают доверие к странице/сайту, увеличивают скорость индексации страницы (ссылки в поисковых системах индексируются быстрее). Возможно, вес обратных ссылок зависит от веса и релевантности пользователя. Возможно на вес также влияет наличие репостов.
  5. Группы в социальных сетях — похоже, что влияет не столько само наличие группы, сколько динамика её роста, активность участников группы, количество и качество лайков/фолловеров группы внутри социальной сети.
  6. RSS-подписчики — подписчики, читающие обновления вашего в виде RSS-ленты. повышают доверие к сайту. Здесь описание того, как создать RSS-ленту.
  7. Возможность комментирования на странице — позитивный сигнал, однако с ним нужно быть осторожнее, так как негативные комментарии могут снизить трастовость страницы.

Брендовые факторы

Эта группа факторов не подтверждается поисковыми система и является предположительной. Под брендом понимается уникальное название компании/сайта. Суть использования факторов в увеличении доверия к бренду, используя те же принципы, что и в увеличении доверия к странице/сайту. По ключевым фразам с названием бренда в выдаче может быть несколько результатов с одного сайта.

  1. Ссылки с брендом — ссылки с названием бренда в анкоре повышают доверие к бренду.
  2. Цитируемость бренда — ссылки с названием бренда в анкоре повышают доверие к бренду. Но доверие к бренду повышают и простые упоминания бренда — без ссылки.
  3. Физический адрес — наличие адреса на Яндекс.Картах (добавляется через Яндекс.Справочник) и в Google Картах (добавляется через Google Мой бизнес) увеличивает доверие к бренду.
  4. Номер телефона — повышает доверие к бренду. По неподтверждённым данным номера с кодом города ценятся выше, чем с кодом мобильных операторов, а код 800 ценится выше, чем код города.
  5. Количество запросов бренда в поисковой системе — количество запросов названия организации влияет на определение этой компании как бренда, и увеличивает доверие к бренду.
  6. Представительство в социальной сети — активные профили, группы и пр. увеличивают доверие к бренду. Также увеличивают доверие участники группы/профиля и фолловеры, указывающие, что они сотрудники компании-бренда. Социальные сети, возможно, положительно влияющие на доверие к бренду: Facebook, Вконтакте, Twitter, Google+, Pinterest, Linkedin, Reddit, StumbleUpon, Digg.
  7. Реклама в сообществах социальных сетей положительно влияет на доверие к бренду.
  8. Организация конкурсов в сообществах социальных сетей — положительно влияет на доверие к бренду.
  9. Информационная поддержка, другие виды поддержки, спонсорство — положительно влияют на доверие к бренду.
  10. Упоминание бренда на новостных сайтах — помимо просто увеличения количества переходов с Яндекс.Новости и Google News, повышает и доверие к нему.

Коммерческие факторы

Относятся к сфере электронной коммерции, не подтверждены.

  1. Соответствие цен средним по рынку — увеличивает доверие к магазину, а более низкие цены влияют на ранжирование (слишком низкие цены снизят доверие).
  2. Ассортимент, наличие товара в интернет-магазине — влияет на ранжирование в выдаче.
  3. Карточка товара детализация и полнота информации о товаре влияет на ранжирование (впрочем, это может быть следствием общего увеличения веса страницы ввиду увеличения количества и качества контента, плотности ключевой фразы и пр.).
  4. Информация о доставке — увеличивает доверие к магазину.
  5. Онлайн-консультант — увеличивает доверие к магазину.
  6. Скидки, акции — увеличивают доверие к магазину. Также возможно, увеличение доверия от наличия скидок на купонных сайтах.
  7. Google Покупки — Google иногда показывает Google Покупки (описание в Вики) в органической выдаче.

Программы, алгоритмы, фильтры

Роботы и robots.txt

Общая для всех поисковых систем программа, переходит по ссылкам на страницах и заносит эти страницы в поисковый индекс. Различают пауков и дятлов: пауки индексируют страницы, дятлы время от времени проверяют доступность страниц индекса.

Рекомендации для поисковых роботов содержатся в текстовом файле robots.txt. Замечательный хелп от Яндекса, менее подробно от Google. Файл сохраняется в корневой папке. Например, для сайта maximfilimonov.ru, файл robots.txt будет находиться по адресу maximfilimonov.ru/robots.txt.

  • Синтаксис — <поле>:<пробел><значение><пробел>.
  • Рекомендации (директивы) для роботов
    • User-agent — указывает роботов, для которых должна выполняться нижеследующая директива.
    • Disallow — указывает страницы и пулы страниц, которые индексировать не нужно.
    • Allow — указывает страницы и пулы страниц, которые индексировать нужно. Используется в сочетании с Disallow (без него — бессмыслен), при сочетании сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно.
    • Host — при наличии зеркал позволяет указать главное зеркало (данная рекомендация имеет высокую значимость для поисковых систем).
  • Спецсимволы
    • * — любая, в том числе и пустая, последовательность символов.
    • $ — частично отменяет значение *.
  • Часто повторяющиеся ошибки по наполнению файла robots.txt собраны здесь.

Алгоритмы Яндекса

23/09/97 Яндекс, версия #1/ Алгоритмы морфологического разбора, основанные на грамматическом словаре, умеют нормализовать слова, то есть находить их начальную форму. Для неизвестных Яndex'у слов строится гипотетическая словарная статья, позволяющая обрабатывать (анализировать и синтезировать) такие слова аналогично известным.
Найденные документы отсортированы по релевантности, которая учитывает не только «контрастность» слова, то есть его относительную частоту для данного документа, но и расстояние между словами, и положение слова в документе.
Пресс-релизы
08/01/98 Теперь можно задать запрос на естественном языке, лишь в общем виде представляя область поиска.
18/11/98/ Страница с естественно-языковым поиском стала основной. Прежняя поисковая форма — advanced.
Пресс-релизы
01/06/99 Роботам Нового Яndex'а была поставлена задача собрать максимум информации о каждом найденном документе, включая подписи к картинкам, ключевые слова, описания, названия java-апплетов, ссылки и другие элементы.
Спам — это заголовки и ключевые слова, сдобренные большим количеством самых популярных запросов, большие массивы текста, "написанные" на странице цветом фона или очень мелким шрифтом, а также многие другие уловки с целью привлечения пользователя на свои страницы обманом. Яndex отслеживает такие ненормальные изменения и снижает место документа на странице результатов.
Пресс-релизы
05/04/00 Индекс цитирования — мера популярности Web-ресурса среди авторов и хозяев других ресурсов (среди "писателей"). Этим он принципиально отличается от счетчиков посещений, которые измеряют популярность ресурса у пользователей (среди "читателей"). Пресс-релизы
06/06/00 Теперь поиск осуществляется не только по веб-страницам, но и по специализированным массивам данных.
Уже 2 года запрос на естественном языке поисковой системы Yandex учитывает морфологию русского языка и использует механизм нечеткого поиска. В новой версии в него встроен синтаксический анализ. Между словами запроса устанавливаются синтаксические зависимости которые используются для внутреннего преобразования запроса и дальнейшего отбора документов и ранжирования.
Пресс-релизы
23/05/01 Новая версия поиска максимально использует дополнительную информацию, извлекаемую из самой гипертекстовой природы интернета. А именно, теперь при каждом поиске и для каждой найденной страницы анализируется кто, как часто и какими словами на нее ссылается. Пресс-релизы
26/03/04 Новый алгоритм учитывает социальную структуру интернета. Он умеет отличать мнение людей от технической, вспомогательной и рекламной информации, то есть лучше распознавать, какой ресурс является авторитетным в своей области.
Также введена дополнительная очистка результатов поиска от дубликатов. Теперь пользователь избавлен от повторения в списке найденного почти одинаковой информации.
Пресс-релизы
25/09/05 Документы, посвященные именно теме запроса, а не более широким или более узким темам, теперь в результатах поиска показываются выше, а по названиям компаний наверху чаще встречаются сайты этих компаний, а не их партнеров или магазинов. Яндекс.Блог
20/12/07 Первым изменением стало улучшение поиска по запросам, имеющим "витальные" ответы, то есть запрос однозначно подразумевает нахождение какого-то сайта.
20 декабря мы начали учитывать много новых факторов, характеризующих страницу, ссылки на страницу, сайт в целом; лучше понимать тип запроса. Алгоритм стал более придирчиво относиться к качеству ссылок на страницу, научившись различать некоторые виды ссылочных накруток.
Блог для вебмастеров
17/01/08 ? Блог для вебмастеров
18/03/08 В настоящий момент мы приняли меры для уменьшения влияния SEO-ссылок с наиболее популярных сайтов Рунета.
При этом мы не гарантируем, что ранг сайтов, продающих ссылки, не понизится.
Блог для вебмастеров
16/05/08 Магадан/ Удвоено количество факторов ранжирования.
Поиск Яндекса понимает аббревиатуры и слова, написанные «транслитом».
Пресс-релизы
14/04/08 Магадан/ Мы увеличили число факторов ранжирования вдвое и улучшили некоторые внедренные ранее. Добавили классификаторы, позволяющих лучше понять тип страницы и тип ссылок. Начали глубже понимать текст страницы и его качество. Изменили технологию поиска так, что мы можем быстро выбрать наиболее релевантные документы в первую очередь и не ждать поиска по остальным страницам. Мы смягчили фильтрацию отбора документов для ранжирования, что привело к улучшению ранжирования по запросам, для которых релевантные документы содержат слова запроса далеко друг от друга. Мы научились обрабатывать при поиске аббревиатуры и написания транслитом. Наиболее заметных улучшений мы смогли достичь в обработке многословных запросов. Блог для вебмастеров
12/10/09 Арзамас/ Регион пользователя учитывается при ответах на запросы, которые касаются местных реалий.
Регион, в котором находится пользователь, Яндекс определяет автоматически, как и регион того или иного сайта.
Пресс-релизы
17/08/11 Рейкьявик/ Теперь люди, которые чаще ищут англоязычные ресурсы, будут видеть в результатах поиска больше ссылок на них, и наоборот. Это первый шаг Яндекса в направлении персонализации поиска. Пресс-релизы
Рейкьявик/ Алгоритмы «Рейкьявика» самообучаемые — если пользователь освоит английский и начнёт выбирать сайты на этом языке, то и система переобучится. Яндекс.Блог
12/12/12 Калининград/ Калининградский персональный поиск учитывает при ответе поведение каждого конкретного пользователя, его предпочтения. Яндекс.Блог
16/05/13 Острова/ «Острова» позволяют по-новому представить сайты в поиске Яндекса — в виде интерактивных ответов. С их помощью пользователи смогут начать взаимодействовать с ресурсом прямо в результатах поиска.
С помощью новой платформы любой владелец сайта может создать на Яндексе свой интерактивный блок — остров. Он может разместить на нем кнопки или формы своего сайта, которые могут пригодиться пользователю.
Яндекс.Блог
26/07/13 Острова/ Базовая идея: ответ — это нечто большее, чем фрагмент найденного в интернете документа, это некий умный виджет, который помогает вам решить задачу. Яндекс.Блог
30/05/13 Дублин/ Персональный поиск умеет учитывать личные интересы и предпочтения пользователя и выбирать наиболее подходящий для него ответ.
В основе персонального поиска лежит анализ поискового поведения — например, какие запросы задает человек, на какие сайты переходит, на каком языке общается с поисковой системой. Анализируя вопросы и переходы пользователя, Яндекс делает вывод о том, что ему сейчас важно и интересно.
Яндекс.Блог
Дублин/ Яндекс научился учитывать эти сиюминутные интересы на основе недавней поисковой истории пользователя и сразу же адаптировать под них результаты поиска.
Учёт сиюминутных интересов начинает влиять на результаты поиска уже через несколько секунд, даже если человек впервые зашел на Яндекс и задал всего пару вопросов.
Яндекс.Блог


Официальные источники:

https://ru.wikipedia.org/wiki/Яндекс.Поиск http://searchengines.guru/search.php?searchid=6920096 -- сообщения Садовского на SearchEngines.ru

Неофициальные источники: https://devaka.ru/articles/yandex-algorithms http://webeffector.ru/wiki/Алгоритмы_ПС http://wiki.rookee.ru/Filtr/ http://siteclinic.ru/blog/web-analytics/istoriya-algoritmov-yandeksa/ http://seonews.ru/analytics/evolyutsiya-poiskovyih-algoritmov-yandeksa/





  • 23/09/97/ версия #1
    • морфологический поиск слов — поиск по словам запроса и по его словоформам: формам, частям речи, регистру первой буквы (пример здесь);
    • ранжирование — учитывает частоту слова в документе, расстояние между словами, и положение слова в документе.
    Что это значит?
    • плотность ключевых фраз в контенте (на странице, на сайте) имеет значение;
    • имеет значение местонахождение ключевой фразы на странице и расстояние между ключевыми фразами;
    • учитывается и прямое вхождение ключевой фразы, и разные её формы.
  • 18/11/97/ версия #2
    • естественно-языковый запрос — запрос можно вводить на естественном языке.
    Что это значит?
    • ключевые фразы написанные естественным языком — распознаются.
  • 01/06/99/ версия #3
    • увеличение количества факторов ранжирования — подписи к изображениям, описания, названия java-апплетов, ссылки и др.;
    • выявление факторов спама:
      • невидимый текст: однопиксельный размер шрифта, шрифт цвета фона, использование CSS и др. — предположительно через анализ кода и CSS;
      • популярные ключевые фразы, не имеющие отношения к странице в названии и описании страницы, заголовках, тексте и др. — предположительно через присвоение тематики страницам и сайту в целом;
    • включение тематического индекса цитирования (анонсированного 2 мая 1999) в факторы релевантности сайта.
    Что это значит для интернет-маркетолога?
    • наличие ключевых фраз в подписях к изображениям и ссылках имеет значение;
    • невидимый текст и популярные ключевые фразы, не связанные с тематикой страницы, не работают;
    • важно не только количество ссылок, но и тематика ссылающегося сайта-донора.
    06/06/00/ версия #4
    • специальные роботы, сканирующие ленты новостей и каталоги товаров;
    • синтаксический анализ — между словами запроса устанавливаются синтаксические зависимости которые используются для внутреннего преобразования запроса и дальнейшего отбора документов и ранжирования;
    • возможность ограничить поисковую выдачу выбранной темой.

    Что это значит для интернет-маркетолога?

    • наличие и обновление ленты с постоянной частотой задаёт частоту её индексации, а при наличии в ней ссылок — частоту их индексации;
    • синтаксический анализ первых страниц выдачи может дать грубое представление о численных границах количества слов, плотности ключевых фраз и других параметрах;
    • тематика сайта имеет значение для определения релевантности запросу.
    23/05/01/ версия #5
    • ссылочные факторы ранжирования: тематика сайта-донора, количество ссылок с сайта-донора, содержание анкоров.

    Что это значит для интернет-маркетолога:

    • вес ссылки определяется тематикой сайта-донора, количеством ссылок с него, содержанием анкоров.
    26/03/04/ версия #6
    • социальный фактор — мнение людей отличается от технической, вспомогательной и рекламной информации, и является более авторитетным;
    • дублированный контент — в результатах поиска не показываются похожие результаты;
    • ручная проверка релевантности — осуществляется отделом асессоров;
    • геопривязка — и предложение повтора поиска по региональным сайтам.

    Что это значит для интернет-маркетолога?

    • разнообразие анкоров и видов ссылок имеет значение;
    • уникальность контента имеет большое значение;
    • следование правилам поисковых систем имеет тем большее значение, чем популярнее сайт;
    • география компании имеет большое значение.

    Примечание: этим же годом датирован интересный документ Некоторые аспекты полнотекстового поиска и ранжирования в Яндексе от Ильи Сегаловича.

    ХХ/ХХ/05/ Непот-фильтр

    Один из старейших фильтров Яндекса.

    • обнуление веса ссылок с сайтов, уличённых в размещении коммерческих ссылок.

    05/02/08/ Непот-фильтр, версия #2

    • коммерческие ссылки получают минимальный вес вместо обнуления.

    Что это значит для интернет-маркетолога?

    • текст ссылки желательно делать естественным (соответствие тематики, околоанкорный текст, слова между ссылками) и не выделять его на странице.
    02/07/07/ версия #7
    • запросозависимость — для однословных и многословных запросов применяются разные формулы ранжирования.

    07/08/07 версия 7 SP1 Родео

    • повышена релевантность стартовых страниц (т.н. морд) для однословных запросов.

    Что это значит для интернет-маркетолога:

    • количество слов в ключевой фразе имеет решающее значение для способа продвижения.
    21/12/07/ версия #8
    • улучшение выдачи по витальным запросам;
    • улучшение определения коммерческих ссылок.

    [версия 8 SP1]

    Что это значит для интернет-маркетолога?

    • естественные ссылки имеют больший вес.
    16/05/08/ Магадан
    Магадан — 17.01.2008
    Магадан 2.0 — 02.07.2008
    Находка — 11.09.2008
    Арзамас — 10.04.2009
    • 1997 — "Морфология языка": релевантность рассчитывается по морфологии языка (частоте упоминания, расстоянию между словами и пр.).
    • ?"Индекс цитирования": алгоритм, повышающий релевантность страницы/сайта при увеличении количества ссылок на страницу/сайт.
    • ?"Вес ссылки": алгоритм, введённый в ответ на обмен ссылками. После ввода этого алгоритма, каждая страница/сайт приобрели т.н. вес, каждая ссылка со страницы уменьшала вес, а обратная ссылка на страницу — увеличивала его.
    • 1999"Тематический индекс цитирования": усовершенствование Индекса цитирования, учитывающее тематику ссылающихся сайтов.
    • 2005"Быстрый робот": работает параллельно с основным, индексирует актуальные страницы каждые 1,5-2 часа.
    • 17 января 20078 SP1:
    • 16 мая 2008Магадан: http://webmaster.ya.ru/replies.xml?item_no=645
    • сентябрь 2008Находка: http://webmaster.ya.ru/replies.xml?item_no=1622
    • 10 апреля 2009Арзамас: http://webmaster.ya.ru/replies.xml?item_no=3255
    • ноябрь 2009Снежинск: http://webmaster.ya.ru/replies.xml?item_no=5869
    • декабрь 2009Конаково:
    • сентябрь 2010Обнинск: http://webmaster.ya.ru/replies.xml?item_no=8403
    • декабрь 2010Краснодар: http://webmaster.ya.ru/replies.xml?item_no=9477
    • август 2011Рейкьявик:
    • декабрь 2012Калининград:
    • 30 мая 2013Дублин:

    Google

    домены прямого вхождения -- EMD

    гугл кофеин

    Пингвин, Колибри, Кофеин

    Калининград, Дублин

    АГС

    что такое пассажи?

    http://seoprofy.ua/blog/prodvizhenie-sajtov/penguin-recovery-infographic вывод из-под Пингвина


    Факторы контентного спама

    Попытки обмануть посетителей или поисковые системы рано или поздно негативно скажутся на рейтинге сайта. Если вы сомневаетесь в том, что вы умнее всех сотрудников Google или Яндекс — делайте все честно и не пытайтесь «накрутить» своему сайту что-либо. А чтобы случайно не попасть под санкции, вот вам список факторов контентного СПАМа которые могут сильно испортить жизнь:

    114. Ссылки на «нехорошие» сайты показывают, кто ваши друзья. Аналогично ссылкам на авторитетные сайты, ссылаясь на «плохие» сайты, вы получаете часть их репутации себе.

    115. Подмена содержимого страниц на сайте, например для людей и для роботов, карается в соответствии с тяжестью нарушения. Нельзя подменять контент на сайте.

    116. Скрытые редиректы. Переадресация посетителей на другие сайты карается штрафами и даже исключение из индекса. Не балуйтесь!

    117. Текст цвета фона незаметен для посетителей, но прекрасно виден поисковикам. Попытка обмануть посетителей может дорого обойтись вашему сайту.

    118. Скрытый контент индексируется поисковыми системами, но, как правило, поисковые системы не совершают действий на странице и считают, что весь контент должен быть виден и доступен посетителю сразу, без необходимости на что-то нажать или навести. Не скрывайте контент от посетителей. В лучшем случае, контент не будет учтен, а в худшем — получите штраф.

    119. Навязчивая реклама и всплывающие окна отвлекают посетителя от пользования сайтом, что является показателем низкого качества сайта.

    120. Чрезмерная оптимизация сайта показывает попытку «накрутки» контактных факторов. Еще одно подтверждение тому, что в погоне за отдельными факторами, вы упускаете влияние комплекса факторов.

    121. Чрезмерная оптимизация отдельных страниц сайта может повлиять на их рейтинг. Подобными вещами занимается «Пингвин» Google.

    122. Реклама под контентом выведена в отдельный фактор, так как, например, Google имеет специальный алгоритм сравнения размещения рекламы и контента на странице. Если реклама размещается более выгодно, чем контент, то «Page Layout Algorithm» непременно это заметит и покарает вас.

    123. Однообразные сайта или партнерские сети представляют меньше пользы, чем уникальные сайты с оригинальной информацией, а потому могут ранжироваться хуже.

    124. Несколько сайтов одного владельца могут быть «слиты» по пересекающимся ключевым запросам, если поисковая система решит, что это аффилированные сайты. «Расклеить» сайты может быть очень сложно.

    125. Генерация контента. Любая автоматизация имеет свои слабые стороны, которые мощные алгоритмы поисковых систем распознают на раз. Не пытайтесь обмануть мощнейшие в мире системы анализа контента. За машинную генерацию контента можно вылететь из индекса.

    Запомните! Поисковые системы оставляют за собой право выкинуть ваш сайт без объяснения причин в любой момент и не несут никакой ответственности за ваши потери в результате. Мы играем на чужом поле по чужим правилам и за обман придется расплачиваться. Соблюдайте правила, если хотите побеждать.

    Факторы ссылочного спама Факторы ссылочного спама

    Ссылочный СПАМ — любимая игра «SEO-оптимизаторов», благодаря которой биржи ссылок прокачали через себя астрономические деньги. В итоге феерия абсурда достигла такого масштаба, что ценность ссылочной массы потеряла всякий смысл. Да, это не «убило» внешние ссылки, они будут всегда, так как интернет — это и есть ссылки, и не оценивать их невозможно. Просто приходят новые, более совершенные алгоритмы анализа, новые фильтры ссылочного СПАМа и факторы ранжирования:

    126. Резкий приток внешних ссылок. Естественность развития всех аспектов сайта — залог успеха. Внезапные скачки показателей — верный признак «накрутки».

    127. Ссылки с одного IP могут указывать на неестественность ссылочной массы.

    128. Низкокачественные ссылки в больших количествах могут быть восприняты как попытка накрутки ссылочных факторов.

    129. Несоответствие тематики входящих ссылок существенно снижает их ценность и увеличивает шансы прихода «Пингвина».

    130. Продажа ссылок с сайта может негативно сказаться на видимости сайта в поиске.


    8. Множественное выделение одного ключевого слова Не стоит выделять в кучу разных тегов ключевые слова, поскольку это может помешать Яндексу правильно определить значимость этих слов на странице. Например, слова - может быть воспринято как поисковый спам.

  • Тип сайта — по непроверенным данным поисковые системы разделяют сайты на коммерческие и некоммерческие. Предположительно для них предусмотрены разные фильтры: http://www.welcomseo.ru/blog/pochemu-sayty-popadayut-pod-filtry-yandeksa-i-kak-etogo-izbezhat.htm
  • https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml

    Факторы спама на сайте Фильтр Panda Сайты с низкочастотным контентом (фермы контента) менее видимы в поиске, после фильтра Panda.

    Ссылки на плохие сайты

    Ссылки на "нетрастовые" сайты вроде "кредитов наличными" и "алкоголя оптом" могут навредить видимости в поиске.

    Редитекты

    Скрытые редиректы — это очень плохо. Сайт может быть не только оштрафован, но и выброшен из индекса.

    Всплывающая или отвлекающая реклама

    Официальный Google Rater Guidelines Document сообщает, что всплывающие окна и отвлекающая реклама — знак низкокачественного сайта.

    Чрезмерная оптимизация сайта

    Сайты, набитые ключевиками, тегами заголовков и другими факторами оптимизации, скорее всего низкокачественны.

    Чрезмерная оптимизация страницы

    Многие сообщают, что в отличии от Panda, Penguin нацелен на единичные страницы по определённым ключевикам.

    Реклама перед контентом Специальный "Page Layout Algorithm" штрафует сайты, на которых рекламы больше (или она расположена лучше), чем контента.

    Скрытие партнёрских ссылок

    Пытаясь скрыть партнёрские ссылки, можно получить штраф.

    Партнёрские сайты

    Google не очень любит партнёрку. Многие считают, что сайты, зарабатывающие на партнёрских ссылках, оцениваются хуже.

    Сгенерированный контент

    Google не любит машинную генерацию контента. Если они посчитают, что ваш является его источником — можно получить штраф или вылететь из индекса.

    Чрезмерная подстройка PageRank

    Слишком большое внимание к PageRank, настройка большинства ссылок на nofollow — может считаться попыткой обмануть систему.

    IP адрес указан как спаммерский

    Если с IP вашего сервера в списке спаммеров, все сайты на этом сервере пострадают.

    Спам в мета-тегах

    В мета-теги тоже можно затолкать много ключевиков. Если Google решит, что вы специально добавили много ключевых слов в мета-теги — сайт пострадает.

    Факторы спама на сайте

    Факторы спама вне сайта

    Нереальный приток ссылок Внезапный и быстрый приток ссылок — явный признак их нелегитимности.

    Штраф Penguin

    Сайты, попавшие под Google Penguin, гораздо менее видимы в поиске.

    Ссылки с того же IP

    Слишком много ссылок с сайтов, находящихся на том же сервере указывают на сомнительность этих ссылок.

    Ссылочный профиль с большим процентом низкокачественных ссылок

    Много ссылок из источников, используемых обычно Чёрным СЕО (комментарии на блогах и форумах) могут быть признаком обмана системы.

    Релевантность ссылающегося домена

    В известном анализе MicroSiteMasters.com показано, что сайты с нереально большим количеством ссылок с нерелевантных сайтов, более подвержен алгоритму Penguin.

    Предупреждение о сомнительных ссылках

    Google выслал тысячи сообщений "Google Webmaster Tools notice of detected unnatural links". Обычно — это предвестник падения в рейтинге, хотя и не в 100% случаев.

    "Ядовитые анкоры

    Имея «ядовитые» анкоры (например — ключевики букмекерских контор и кредитов наличными), направляющие на ваш сайт, вы рискуете потерять в ранжировании. Google может подумать, что сайт взломан или является спаммерским.

    Ручной штраф

    Google может штрафовать сайты вручную, как вышло с известной Interflora.

    Google Sandbox

    Фильтр Sandbox искусственно занижает позиции только-что созданных сайтов, чтобы спаммеров было проще определить.

    Google Dance

    Google Dance временно «встряхивает» позиции, чтобы определить, пытается ли сайт обмануть алгоритм.

    Продажа ссылок

    Продажа и покупка ссылок явно негативно повлияет на PageRank и ударит по видимости в поисковике.

    Disavow Tool

    Использование Disavow Tool позволяет снять штрафы с сайтов, ставших жертвами плохого СЕО.

    Факторы спама вне сайта

    Заблокированные сайты

    Один раз заблокированный сайт будет трудно разблокировать и ещё трудней — поднять в топ выдачи. Повторная блокировка ещё больше снизит эти шансы.

    Сервисы поисковых систем

    Инструменты и советы

    • SEOLib — различные виды анализа, поиск релевантных посадочных страниц, диагностика санкций.

    Анализ сайта

    Проверка на редиректы, проверка на дубли. Работа с дублями -- 301 редирект (если не нужны пользователю), рел каноникал (если нужны пользователю), если есть структура, то можно по шаблону закрыть в роботс.тхт

    Семантическое ядро

    Структура сайта

    Перелинковка

    Индексация

    Вебмастер и Панель.. Первые результаты после индексации видны.. месяца 3-4

    Операторы поиска

    Помощь


    https://yandex.ru/support/webmaster/search-results/site-region.xml -- регион сайта

    https://yandex.ru/support/webmaster/yandex-indexing/validator.xml -- валидатор микроразметки, семантической разметки

    https://yandex.ru/support/webmaster/schema-org/what-is-schema-org.xml -- Schema.org

    https://yandex.ru/support/webmaster/open-graph/intro-open-graph.xml -- Open Graph для фейсбука

    https://yandex.ru/support/webmaster/hcard/yandex.xml -- микроформаты: hCard и пр.

    Контекстная реклама

    Общие принципы

    Тип интернет-рекламы, при котором рекламное объявление показывается в соответствии с содержанием, контекстом интернет-страницы (лат. contextus — соединение, связь). Рекламным носителем может быть:

    • текстовое объявление;
    • текстово-графическое объявление;
    • графический баннер;
    • видеоролик.

    Алгоритм работы

    1. Пользователь вбивает запрос в поисковой системе (статистика на 2015 показывает, что 90% пользователей начинают работу в интернете с поисковой системы).
    2. Система сверяет запрос со списком ключевых слов рекламодателей, выбирает соответствующие рекламные объявления, ранжирует их и показывает пользователю.
    3. Пользователь кликает на понравившееся рекламное объявление (в этот момент со счёта рекламодателя списывается цена за клик).
    4. Система отправляет пользователя на страницу, определённую рекламодателем в качестве целевой.
    5. Происходит анализ поведения пользователя на сайте (если установлена соответствующая система аналитики — Google Analytics для Google и Яндекс.Метрика для Яндекса).

    Принцип работы

    Основной принцип работы — "включение в запрос".

    Например, есть запрос "тренинг личностного роста". Например, есть рекламодатели со следующими запросами "тренинг", "личностный рост" и "пройти тренинг". Система смотрит на трёх рекламодателей. Первый рекламодатель говорит системе, что хочет показываться в ответ на все запросы со словом "тренинг" — он будет показан на запрос "тренинг личностного роста". Второй рекламодатель говорит, что хочет показываться в ответ на все запросы со словами "личностный рост" — он будет показан. Третий рекламодатель говорит, что хочет показываться в ответ на запросы со словами "пройти" и "тренинг", и так как в запросе "тренинг личностного роста" нет слова "пройти", то этот рекламодатель показываться по этому запросу не будет.

    Виды таргетинга

    Способы определения контекста, в котором будет показываться объявление: поисковый, тематический, поведенческий алгоритмы и ретаргетинг.

    Термины

    CTR, CPC, CPM, ранг, показатель качества и коэффициент качества.

    Классификация ключевых фраз

    Фразы, в ответ на которые в выдаче и при присутствии которых в содержании страницы, объявление будет показано в выдаче / на странице. Виды классификации: основные, по тематике, по мотивации.

    Текст рекламного объявления

    Правила, советы, особенности.

    Рекламная стратегия

    Порядок постановки целей, типы целей.

    Посадочные страницы

    Базовые критерии оценки страниц, на которые ведёт ссылка с объявления, поисковыми системами.

    Обзор систем контекстной рекламы

    Строение Яндекс.Директ и Google AdWords, структура работы, лимиты, форматы, стратегии.

    Аукционы и торги

    Яндекс.Директ и Google AdWords для показов объявлений в поиске и у поисковых партнёров используют модели аукционов VCG, для показов в сети (РСЯ, КМС) — модель GSP.

    Инструменты

    Инструменты для подбора и отслеживания статистики по ключевым фразам.

    Помощь

    По Яндекс.Директ и Google Analytics существует значительное количество справочных материалов и сообществ, как официальных, так и нет.

    Таргетированная реклама

    Мобильная реклама