Платон ответил на частые вопросы вебмастеров по оптимизации интернет-магазинов для индексирующих роботов.
Использовать ли ЧПУ-адреса на сайте
Индексирующий робот посетит и включит в результаты поиска страницу вне зависимости от формата URL. Роботу понравится страница по адресу сайт.рф/?категория=1&подкатегория=6 и по адресу сайт.рф/ромашки/крупные.
Подумайте, какой тип адресов лучше сориентирует ваших покупателей, по какой ссылке пользователи форумов или социальных сетей будут чаще переходить, какой ссылкой они поделятся со своими знакомыми.
Понятная и читаемая структура URL-адресов поможет посетителям быстрее ориентироваться на сайте, а роботу сформировать корректные навигационные цепочки, что сделает сайт более заметным в результатах поиска.
Что делать со страницами пагинации
Если в какой-либо категории на вашем сайте содержится много товаров, могут появиться страницы пагинации (порядковой нумерации страниц), на которых собраны все товары данной категории. Если на такие страницы нет трафика из поисковых систем и их контент похож, Платон советует настраивать атрибут rel=»canonical» тега link на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими. В качестве канонического (главного) адреса указывайте первую страницу каталога — только она будет участвовать в результатах поиска.
Например, страница сайт.рф/ромашки/1 — каноническая, с неё начинается каталог, а страницы вида сайт.рф/ромашки/2 и сайт.рф/ромашки/3 в поиск можно не включать. Это не только предотвратит дублирование контента, но и покажет роботу, какая страница должна находиться в выдаче по запросам. При этом ссылки на товары, которые находятся на неканонических страницах, также будут известны индексирующему роботу.
Часто вместо пагинации сайты используют динамическую прокрутку. Для посетителя, пролиставшего каталог до определённого момента, с помощью JavaScripts загружаются другие товары в данной категории. В такой ситуации проследите, чтобы весь контент таких страниц отдавался индексирующему роботу (например, с помощью в Яндекс.Вебмастере), либо чтобы роботу становилась доступна статическая пагинация товаров.
Что делать со страницами сортировки товаров
Выясните, нужны ли страницы сортировки (по цене, популярности или характеристикам) в результатах поиска, отвечают ли они на запросы пользователей. Если страницы не отвечают на запросы пользователей поисковой системы, их лучше закрыть с помощью robots.txt, оставив для посещения роботом только необходимые страницы.
Один товар в нескольких категориях. Как исключить дублирование
С такой ситуацией сталкиваются вебмастера, если товар логично разместить в нескольких категориях. Например, ромашки могут находиться в категории «Полевые цветы» или «Необычные цветы».
В такой ситуации используйте атрибут rel=»canonical» тега link: укажите канонический адрес, например тот, что находится в наиболее популярной категории. Именно его проиндексируют, он будет участвовать в результатах поиска. Это предотвратит дублирование контента в выдаче, и вы всегда будете знать, какая страница должна находиться по запросам. Посетители смогут найти обе страницы на сайте, поэтому обратите внимание на перелинковку.
Товар с выбором цвета и размеров. Как предотвратить дублирование
Когда товар представлен в вашем магазине в различном исполнении, логично сделать выбор характеристик товара без изменения URL-адреса с динамическим обновлением контента на странице. Например, при смене выбранного цвета изменяется изображение. Но часто это невозможно сделать (например, из-за технических ограничений используемой CMS). Тогда для робота остаются несколько похожих страниц с товаром, которые могут находиться в поиске независимо друг от друга, или робот посчитает дублирующими, оставив в выдаче только один адрес.
Платон рекомендует решить, нужны ли все страницы с вариантами исполнения товара в поиске или будет достаточно одной версии страницы. Если нужны все страницы — добавьте больше различающегося контента (отзывы покупателей, комментарии или обсуждения, рекомендуемые к просмотру товары). В другом случае используйте атрибут rel=»canonical», выбрав в качестве канонического адреса наиболее популярную модификацию товара.
Что делать, если товар закончился на складе
Если товар недоступен в вашем интернет-магазине, но в скором времени ожидается его поступление, оставьте страницу с ним доступной для робота (возвращайте индексирующему роботу HTTP-код ответа 200). Это предотвратит её исключение из результатов поиска.
Чтобы поддерживать интерес пользователя, на такой странице можно отображать информацию о скором поступлении товара на склад, возможность предзаказа, а также рекомендуемые и похожие товары, которые есть в наличии. При длительном отсутствии товара на складе лучше настроить HTTP-код ответа 404, чтобы удалить недоступные для заказа товары. Саму страницу «заглушки» разнообразьте дополнительной интересной и полезной информацией.
Что добавить в robots.txt
Обязательно закройте в файле robots.txt:
- страницы действий (добавление в корзину, сравнение товаров, добавление в «Избранное»);
- корзины с товарами;
- встроенный поиск на сайте;
- служебные каталоги с конфиденциальными документами (адреса доставки, контактные телефоны);
- идентификаторы сессии, utm-метки с помощью директивы «».
Дополнительно, как и для всех сайтов, укажите в robots.txt:
- директиву Host с адресом главного зеркала сайта;
- директиву Sitemap с адресом актуального файла sitemap.