Чек-лист оптимизации сайта, или 100+ причин не хоронить seo

Чек-лист оптимизации сайта, или 100+ причин не хоронить SEO

Технические факторы

• 
  Корректный robots.txt:
  a. Правильно ли задано основное зеркало для «Яндекса» (директива Host). Частая ошибка: главное зеркало указанное в директиве Host не совпадает с фактическим.
  b. Закрыты от индексации ненужные и служебные разделы (результаты поиска по сайту, страницы регистрации и авторизации, фильтры и сортировки, административные разделы, кэш страниц, логи, версии для печати и др.).
  c. Заданы отдельные User-Agent для роботов «Яндекса» и Google.
  
• 
  Корректный sitemap.xml:
  a. Ссылка на xml-версию карты сайта указана в robots.txt.
  b. Анализаторы вебмастерских не показывают ошибок.
  c. Приоритеты страниц (элемент priority) и даты последнего обновления страницы (элемент lastmod) корректно расставлены.
  d. Исключены уже проиндексированные страницы, чтобы направить робота на новые (для сайтов с большим количеством страниц).
  e. Не содержит запрещенных к индексации страниц.
  f. Протокол адресов в sitemap соответствует реальному (бывает, что при переезде на https в sitemap остаются URL c http протоколом).
  
• 
  Нет технических дублей страниц. Популярные причины появления таких дублей:
  a. Не настроен 301 редирект с www (или наоборот), чтобы сайт был доступен только по одному протоколу.
  b. Главная страница доступна по адресам с index.php, index.html на конце.
  c. Адреса без слэша на конце не перенаправляются на аналогичный URL со слэшем (или наоборот).
  
• 
  Установлены канонические страницы, т. е. на страницах с параметрами в URL стоит атрибут rel=canonical с указанием предпочитаемого адреса. Так поисковики поймут, что индексировать следует только каноническую страницу. При этом для нее учитываются все ссылки и поведенческие факторы с неканонических страниц.
  
• 
  Страницы пагинации размечены атрибутами rel=prev rel=next. Это поможет понять связь между страницами (в случае с Google). Для «Яндекса» же лучше использовать rel=canonical (если контент страниц не сильно отличается друг от друга) либо указывать порядковый номер страницы в title (если контент уникальный, например, в листинге раздела новостей).
  
• 
  Среди исключенных страниц нет продвигаемых. Часто бывает, что страницы исключаются из «Яндекса», так как не имеют полезного контента. Причиной может быть недостаточное качество страницы или же просто она будет считаться дублем другой страницы. Например, карточки разных товаров признаются дублями. Другой пример – страницы из разных разделов сайта содержат немного контента в теле страницы и не индексируются как дубли друг друга из-за одинакового контента в шапке и футере.
  
• 
  В «Яндекс» и Google проиндексировано одинаковое количество страниц. Если разница более 10 %, то проанализируйте какие страницы есть в индексе одного поиска и отсутствуют у другого.
  
• 
  На сайте нет битых ссылок:
  1. Нет внутренних ссылок на несуществующие страницы.
  2. Несуществующая страница отдает код сервера 404.
  3. В счетчиках отслеживается посещение 404-х страниц и настроены редиректы для внешних ссылок на несуществующие страницы вашего сайта.
  
• 
  Отсутствуют циклические ссылки, т. е. страницы не ссылаются сами на себя. Необходимо деактивировать такие ссылки или закрыть их для роботов через .
  
• 
  Нет лишних редиректов. Часто встречается такая ситуация – внутренняя ссылка ведет на страницу, которая перенаправляет на другую страницу. Но ведь можно сразу поставить нужную ссылку, не вынуждая роботов проходить через «прокладку». Это сэкономит краулинговый бюджет, т. е. количество страниц, которое робот отводит для обхода вашего сайта за определенный период.
  
• 
  Настроены заголовки Last Modified и If-Modified-Since, которые позволят сообщать поисковому роботу, изменялась ли страница с момента его последнего посещения. Если нет, робот получит рекомендацию не посещать ее. Это улучшит индексацию сайта в Google, так как краулинговый бюджет будет расходоваться на новые или измененные страницы. В «Яндексе» это может не работать, так как его робот воспринимает заголовки как рекомендацию, а не инструкцию к обязательному исполнению.
  
• 
  Нет смешанного контента. Если на какой-либо странице сайта с протоколом HTTPS содержится контент, передаваемый по HTTP протоколу, то страница считается лишь частично зашифрованной.
  
• 
  Настроены ЧПУ (человеко-понятные урлы):
  a. В URL используются слова, а не численно-буквенные идентификаторы.
  b. Длина URL желательно не больше 110 символов.
  Пример:
  - плохой URL – site.ru/index.php?id_catalog=88&page_id=14;
  - хороший URL – site.ru/remni-muzhskie.
  
• 
  В URL не используются заглавные буквы. Из-за ошибок настройки движка или по собственному желанию оптимизатора, бывает, что адреса на сайте содержат заглавные буквы. Например, site.ru/Zaglavnye-Bukvy-v-URL. Но такая же страница будет доступна по адресу site.ru/zaglavnye-bukvy-v-url. А проблема в том, что для поисковых систем это два разных адреса и дубли друг друга. Поэтому лучше придерживаться строчных букв в URL. В индексе все равно может появится адрес с заглавными буквами (к примеру, если кто-то проставит так ссылку на вас) – в таком случае настраивайте редирект на основной адрес.
  
• 
  Нет ошибок сервера. При краулинге сайта нет страниц со статусом 5**. В противном случае есть ошибки, связанные с файлом .htaccess или сервером. В качестве возможных причин могут быть зависающие скрипты или большое число обращений к серверу. В любом случае, наличие 5**-ошибок – повод обратиться к программисту и найти возможную проблему.
  
• 
  В верстке нет ошибок. На большинстве сайтов нет идеально валидной верстки, но стоит проверить свой на наличие грубых ошибок и правильный порядок расположения элементов. Поисковые системы понимают, что невалидный код не равно плохой сайт, но им проще обрабатывать документы, верстка на которых соответствует стандартам.
  
• 
  Внедрена микроразметка. Специальная семантическая разметка облегчает поисковикам обработку информации, способствует появлению привлекательного сниппета на поиске, а также в случае с однотипными карточками товаров улучшит их уникализацию. Разметить можно:
  a. «хлебные крошки»;
  b. контактные данные;
  c. отзывы;
  d. карточки товаров;
  e. медиаконтент и др.
  
• 
  Внедрена Open Graph разметка. Реализация такой разметки позволит задавать заголовок, описание, фотографию и несколько других параметров, которые будут отображаться в сниппете страницы при шеринге в социальные сети. Инструкции «Яндекса» по разметке – ссылка.
  
• 
  Сайт быстро загружается. Не каждый пользователь, переходя на ваш ресурс с поиска, станет ждать пока он прогрузится. Чтобы ускорить сайт выполните следующее:
  a. Включите сжатие GZIP.
  b. Вынесите скрипты и стили в отдельные файлы.
  c. Сократите время ответа сервера.
  d. Сократите HTML.
  e. Используйте кэш браузера.
  f. Уменьшите вес изображений (но без потери качества).
  
• 
  Адаптивный дизайн, мобильная версия или динамическая верстка. Сайт должен корректно отображаться на любом устройстве – компьютере, планшете или телефоне. Поисковые системы это учитывают.
  
• 
  Используется атрибут rel=alternate для сайтов с мобильной версией, расположенной на отдельном домене или поддомене. Чтобы поисковые системы понимали, что это две версии одного сайта, необходимо, чтобы на каждой странице десктопной версии находился тег link, указывающий на соответствующую мобильную версию страницы.
  Для страницы primer.com/razdel-1 это выглядит так:
  
  Google также рекомендует проставлять на мобильной странице атрибут rel=canonical с указанием аналогичной десктопной страницы.
  
• 
  Сайт корректно отображается в разных браузерах. При смене браузера верстка сайта не должна «разваливаться», а читабельность материалов не стать хуже.
  Инструменты для проверки: BrowserShots.
  
• 
  Сервер выдерживает нагрузку, а в противном случае в robots.txt задана директива Crawl-delay, рекомендующая роботу оптимальный интервал между загрузками страниц (в секундах).
  
• 
  Разметка локализованных страниц. На страницах, имеющих различные языковые версии, желательно указывать адреса всех языковых версий с атрибутом rel=«alternate» hreflang=«x».
  
• 
  На сайте нет вирусов и вредоносного кода. Если ваш сайт может угрожать безопасности пользователя, он может быть понижен в результатах поиска.
  
• 
  В индексе нет копий сайта. Бывает, что разработчики забывают закрыть от индексации тестовые домены, а владелец сайта получает полную его копию в индексе. Нет гарантий, что позиции основного домена не займет тестовый.
  
• 
  Документы весят не больше 10 МБ. PDF-файлы или иные документы, размещенные на сайте, тоже ранжируются в поиске, но если размер файла будет превышать 10 МБ, то «Яндекс» не сможет его проиндексировать. Google в своих инструкциях также утверждает, что большой размер документа может стать помехой в индексировании, но конкретный размер не называет.
  
• 
  Настроены цели в системах аналитики. Настройка целей поможет оценить эффективность сайта. Можно отслеживать заказы, брошенные корзины, посещения определенных страниц и другие события. При многоступенчатой системе регистрации или заказа можно увидеть, на каком шаге пользователи останавливаются чаще всего, и упростить этот шаг. Также настройка целей –хороший способ показать поисковым системам пользу сайта. Заказы товаров, скачивание файлов или иные события, которые будут фиксироваться в системах аналитики «Яндекса» и Google, свидетельствуют об интересе пользователей к вашему бизнесу или сайту.