Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Канонический URL – помощник в борьбе с дублированным контентом

Многие современные CMS (системы управления контентом сайта) могут создавать . Это приводит к тому, что страница сайта может существовать в сети под двумя и более различными адресами. Поисковые системы негативно относятся к дублированному контенту и понижают его в выдаче. Поэтому одна из первостепенных задач вебмастера – любым доступным способом избавиться от страниц-дублей.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

Пример дубля web-документа

Стартовая страница интернет ресурса может быть доступна по нескольким адресам:

• primer.ru
• ru/index.php

Поисковый робот распознает эти адреса, как четыре разных web-документа с идентичным содержанием.

Что такое канонический URL

Атрибут позволяет указать поисковому роботу каноническую, то есть основную версию документа. Этим атрибутом потребуется пометить не только основную продвигаемую страницу интернет проекта, но и ее дубли. Если робот найдет на сайте копии канонической страницы, то он пометит их, как малозначительные. Канонический – это самый легкий метод борьбы с дублированным контентом.

Как работает каноническая ссылка

Предположим, у нас есть основная страница http://yoursite.ru/statya1 , которую также можно найти еще по нескольким адресам:

Чтобы указать поисковику каноническую страницу, нужно в код каждого из вышеуказанных документов добавить следующую строчку:

Этот фрагмент кода следует поместить между тегами . Это увеличит шансы на то, что в результатах выдачи будет отображаться основной документ, а не его дубли. Нужно отметить, что атрибут rel="canonical" принимается во внимание большинством современных поисковых систем.

Почему CMS создают дубли

Не нужно полагать, что система управления контентом намеренно генерирует дубли страниц. Обычно такие копии создаются вследствие некорректной настройки CMS. К самым распространенным причинам появления дублей относятся:

1. создание архивов из старых статей;
2. наличие открытых ссылок на документы в PDF-версии (для печати);
3. неправильная структура сайта, добавление одинаковых страниц в разные категории;
4. наличие динамических URL (характерно для интернет-магазинов).

Чтобы выявить дубликаты страниц и использовать атрибут rel canonical, можно воспользоваться инструментами Google для вебмастеров. Нужно перейти на вкладку «вид в поиске» и кликнуть по ссылке «оптимизация Html». В открывшемся разделе указаны страницы с повторяющимися метаописаниями. Такие документы нередко имеют дублированный контент.

ПС Google советует не указывать атрибут rel="canonical" в качестве директивы для robots.txt. Это может вызвать проблемы с индексацией сайта. Нельзя указывать разные канонические урлы для одной страницы (к примеру, один URL в карте сайта, а другой – непосредственно в разделе страницы).

Чтобы снизить вероятность ошибки при индексации сайта, следует указывать в качестве атрибута link rel абсолютные, а не относительные пути. Иными словами, вместо структуры /blog/page-1 нужно использовать полный адрес http://yoursite/blog/page-1.

Элемент инфоблока может быть привязан к нескольким разделам. Но при этом могут быть претензии Привязка к нескольким разделам приводит к тому, что страница сайта может существовать в сети под двумя и более различными адресами. Поисковые системы негативно относятся к дублированному контенту и понижают его в выдаче.

Избежать таких ситуаций помогут канонические ссылки.

Канонические (основные) ссылки указывают поисковому роботу основную страницу. Если робот найдет на сайте копии канонической страницы, то он пометит их, как малозначительные. по дублям страниц от SEO. Избежать этого помогает такое понятие как "основной раздел" элемента. Раньше основным разделом считался раздел с минимальным идентификатором, что было не совсем удобно. С версии 15.5.0 все изменилось, теперь вы можете самостоятельно задать основной раздел и, следовательно, пометить нужную страницу элемента как каноническую. Каноническая страница - это оригинальная страница или первоисточник.

Шаг 1 . Включите настройку выбора раздела в форме редактирования инфоблока на закладке Поля :

Шаг 2. В форме создания/редактирования элемента укажите основной раздел в одноименном поле:

Важно! Если в форме поле Основной раздел отсутствует, то перенастройте внешний вид. При работе с товарами, материалами статей, каталогами справочников вы зачастую
обращаете внимание на следующий момент: в форме присутствуют поля, которые не
используются на сайте. Лишние поля увеличивают размеры формы редактирования и
затрудняют внесение данных.

Облегчите свой труд, используйте инструмент настройки форм инфоблоков. Инструмент
учитывает индивидуальные потребности, позволяет настроить формы редактирования
разделов и элементов инфоблока под себя:

• удаляйте лишние поля или целые вкладки;
• перемещайте поля между вкладками;
• создавайте свои вкладки.

Для каждого конкретного инфоблока формируйте свои уникальные формы и
работайте с удовольствием.

Примечание: основной раздел выбирается только среди тех разделов, к которым привязан элемент.

Пометьте страницу элемента в основном разделе как каноническую (т.е. выделите ее как основную среди дублей). Для этого:

1. В компоненте, с помощью которого создан публичный интерфейс детальной страницы элемента, отметьте опцию
   .

   Примечание: данная опция добавлена в компоненты Новости Комплексный компонент позволяет создать новостной раздел на сайте. Доступен просмотр детальной информации, списка элементов, настройка экспорта в rss, организация голосования за новости (или другие элементы инфоблоков), настройка отзывов, вывода материалов по темам, настройки ЧПУ и многое другое. Компонент содержит 3 шаблона: .default , web20 и flat . Компонент стандартный и входит в дистрибутив модуля.

   : Контент > Статьи и новости > Новости .

   , Каталог Комплексный компонент осуществляет вывод полного каталога товаров из определенного инфоблока. Его функциональность объединяет возможности нескольких одностраничных компонентов: фильтра, компонента сравнения, вывода элементов раздела, топа элементов, связанных элементов и др. Расположив комплексный компонент на странице, можно получить полнофункциональный каталог. Компонент является стандартным и входит в дистрибутив модуля.

   Внимание ! Компонент не работает с инфоблоками, не имеющими структуры разделов. Если по логике проекта информация не должна иметь структурного деления, то необходимо создать один раздел верхнего уровня и уже в нём размещать элементы инфоблока.

   В визуальном редакторе компонент расположен по пути Контент > Каталог > Каталог .

   Компонент относится к модулю Информационные блоки.

   Порядок секций в форме настройки компонента может меняться в зависимости от выбранного шаблона.

   , Новость детально Одностраничный компонент, осуществляющий вывод детального описание новости. Компонент стандартный и входит в дистрибутив модуля.

   Контент > Статьи и новости > Новость детально .

   Компонент относится к модулю Информационные блоки.

   И Элемент каталога детально Компонент выводит детальную информацию по элементу каталога. Компонент стандартный, входит в дистрибутив модуля и содержит три шаблона: .default , board и old_version_16 (шаблон.default до версии 17.0).

   В визуальном редакторе компонент расположен по пути Контент > Каталог > Элемент каталога детально .

   Компонент относится к модулю Информационные блоки.

2. Кроме того, проверьте корректность заполнения поля Канонический URL элемента
   в форме редактирования инфоблока.

Примечание: в вышеперечисленные компоненты, а также в компоненты Разделы с top"ом элементов Компонент выводит top элементов сгруппированных по разделам; элементы выводятся в таблице. Компонент стандартный и входит в дистрибутив модуля.

В визуальном редакторе компонент расположен по пути Контент > Каталог > Разделы с top"ом элементов .

Компонент относится к модулю Информационные блоки.

И Элементы раздела Компонент выводит список элементов раздела с указанным набором свойств. Компонент содержит пять шаблонов: .default , board , links , list и old_version_16 (шаблон.default до версии 17.0). Компонент стандартный и входит в дистрибутив модуля.

В визуальном редакторе компонент расположен по пути Контент > Каталог > Элементы раздела .

Компонент относится к модулю Информационные блоки.

Добавлена опция Использовать основной раздел для показа элемента . Она позволяет просматривать элемент только в основном разделе, несмотря на то, что переход к просмотру был осуществлен из другого раздела, к которому привязан элемент.

При настройке компонента обратите внимание на ещё две полезные опции в Дополнительных настройках :

Если всё сделано по описанию выше, но каноническая ссылка так и не появилась в шаблоне детальной страницы товара, то в случае использования кастомизированного шаблона компонента проблема может быть в неправильной кастомизации. Решение на примере bitrix.catalog : Откройте на редактирование файл element.php из папки: /bitrix/templates/имя_шаблона_сайта/components/bitrix/catalog/.ваше_имя_шаблона. Добавьте в массив строку "SET_CANONICAL_URL" => $arParams["DETAIL_SET_CANONICAL_URL"] . Должно получится так: IncludeComponent("bitrix:catalog.element", "", array("IBLOCK_TYPE" => $arParams["IBLOCK_TYPE"], "IBLOCK_ID" => $arParams["IBLOCK_ID"], "PROPERTY_CODE" => $arParams["DETAIL_PROPERTY_CODE"], "META_KEYWORDS" => $arParams["DETAIL_META_KEYWORDS"], "META_DESCRIPTION" => $arParams["DETAIL_META_DESCRIPTION"], "BROWSER_TITLE" => $arParams["DETAIL_BROWSER_TITLE"], "SET_CANONICAL_URL" => $arParams["DETAIL_SET_CANONICAL_URL"], "BASKET_URL" => $arParams["BASKET_URL"], ...

Избегайте дублей страниц и улучшайте ваш сайт с точки зрения SEO. Используйте механизм выбора основного раздела, чтобы более гибко формировать для элемента каноническую ссылку:

1. Отметьте флаг Разрешить выбор основного раздела для привязки .
2. Для элемента укажите, какой раздел считать основным.
3. Отметьте флаг Устанавливать канонический URL в настройках компонента.

Механизм выбора основного раздела позволяет более гибко формировать для элемента каноническую ссылку. Избегайте дублей и улучшайте ваш сайт с точки зрения SEO.

Как указать каноническую страницу из числа одинаковых или похожих

Если у вас есть одна страница, доступная по нескольким URL, или разные страницы с похожим контентом (например, версии для мобильных устройств и компьютеров), Google будет считать один URL каноническим , а остальные – его копиями . Сканирование канонического URL будет выполняться намного чаще, чем его копий.

Сообщите нам, какой из URL является каноническим. В противном случае мы выберем его самостоятельно или будем считать оба адреса равноценными, а это может привести к нежелательным последствиям. Дополнительные сведения представлены в разделе ниже, где говорится о том, для чего нужно выбирать канонический URL .

Как указать каноническую страницу

Существует несколько способов указать каноническую страницу из числа повторяющихся:

Способ	Описание
	Рекомендации, которые имеют силу независимо от выбранного способа нормализации URL.
	Добавьте в код всех повторяющихся страниц тег . Плюсы Минусы Увеличивает размер страницы. Работает только с HTML-страницами, но не с файлами, такими как PDF. Для последних можно использовать атрибут rel=canonical в HTTP-заголовке.
	Включите в ответ страницы заголовок rel=canonical. Плюсы Не увеличивает размер страницы. Так можно пометить сколько угодно страниц. Минусы Разметка на крупных сайтах или ресурсах, на которых URL часто меняются, отнимает много усилий.
	Укажите канонические страницы в файле Sitemap. Плюсы Легко настроить и обновлять, особенно на крупных сайтах. Минусы Роботу Googlebot тем не менее нужно определить повторяющуюся страницу для каждой канонической, которую вы укажете в файле Sitemap. Менее значимый сигнал для робота Googlebot, чем атрибут rel=canonical.
	Используйте код статуса 301, чтобы сообщить роботу Googlebot, что URL, заданный в качестве нового адреса страницы, ведет на ее более актуальную версию.
Вариант страницы в формате AMP	Если один из вариантов страницы – AMP, укажите каноническую страницу и ее варианты согласно инструкциям для AMP.

Общие положения

Ниже приведены общие инструкции по указанию канонических URL.

Общие положения

• Не обозначайте канонические страницы с помощью файла robots.txt .
• Не используйте инструмент удаления URL для указания канонической страницы: в этом случае из результатов поиска будут удалены все варианты URL.
• Не указывайте разные URL одной страницы в качестве канонических одним и тем же или разными способами (например, не надо добавлять один URL, используя файл Sitemap, другой – с помощью атрибута rel="canonical").
• Не пытайтесь предотвратить выбор канонической страницы, применяя директиву noindex . Она предназначена для исключения страницы из индекса.

Обязательно выделяйте каноническую страницу при использовании атрибутов hreflang . Выбирайте для этого страницу на том же языке или ее вариант на наиболее близком языке.

Используйте канонический URL при настройке ссылок на своем сайте. Это поможет нам понять, какую страницу вы считаете приоритетной.

О преимуществах HTTPS по сравнению с HTTP в канонических URL

При определении канонических ссылок Google отдает предпочтение страницам HTTPS, если при этом не возникают проблемы, например следующие:

• Страница HTTPS использует недействительный сертификат SSL.
• Страница HTTPS содержит небезопасные зависимости (кроме изображений).
• Страница HTTPS выполняет переадресацию на страницу HTTP.
• Страница HTTPS указывает на страницу HTTP с помощью атрибута rel="canonical" .

Кроме того, вы можете дополнительно указать, что адресу HTTPS следует отдавать предпочтение. Вот как это сделать:

• Добавьте переадресацию с HTTP-страницы на HTTPS.
• Добавьте ссылку rel="canonical" , ведущую со страницы HTTP на страницу HTTPS.
• Используйте протокол HSTS .

Как предотвратить использование страницы HTTP в качестве канонической:

• Проверяйте сертификаты SSL, а также ссылки со страницы HTTPS на HTTP. Ошибки в них могут привести к тому, что каноническим будет считаться адрес HTTP. При этом реализация протокола HSTS не имеет значения.
• В файлах Sitemap и компонентах указывайте страницу HTTPS, а не HTTP.
• Не используйте сертификат SSL/TLS для некорректного хоста (например, если example.com передает сертификат для www.example.com). Этот сертификат должен соответствовать полному URL сайта или являться групповым, то есть пригодным для использования на нескольких субдоменах.

Только для опытных пользователей: как заставить роботов Google игнорировать динамические параметры

Вы можете сообщить Google о параметрах, которые следует игнорировать. Подробные сведения представлены в Справочном центре . При использовании этой функции наши роботы не будут обрабатывать повторяющийся контент, что упростит им работу. Например, если вы укажете, что нужно проигнорировать параметр sessionid , мы посчитаем идентичными следующие страницы:

• https://www.example.com/dresses/green.php?sessionid=273749
• https://www.example.com/dresses/green.php

Способы

Указать канонический URL для повторяющихся URL или похожих страниц можно одним из способов, описанных ниже.

Какой бы способ вы ни выбрали, обязательно следуйте приведенным выше общим рекомендациям.

Используйте атрибут rel="canonical"

Используйте в заголовке страницы тег . Он указывает, что соответствующая страница копирует другую.

Предположим, вы хотите указать страницу https://example.com/dresses/green-dresses , содержание которой воспроизводится на других, в качестве канонической. Выполните следующие действия:

Пометьте все повторяющиеся страницы с помощью элемента link с атрибутом rel="canonical". Добавьте в раздел этих страниц элемент , содержащий атрибут rel="canonical" и ссылку на каноническую страницу:


Если у канонической страницы есть вариант для мобильных устройств, добавьте элемент link с атрибутом rel="alternate" и ссылкой на мобильную версию:


В случае необходимости добавьте атрибуты hreflang или настройте переадресацию другими способами .

Используйте следующую структуру URL: https://www.example.com/dresses/green/greendress.html
Не применяйте такой вариант: /dresses/green/greendress.html

Используйте HTTP-заголовок rel="canonical"

Если у вас есть доступ к настройкам сервера, можно указывать канонический URL для документов в формате, отличном от HTML (например, PDF), с помощью атрибута rel="canonical" в заголовках HTTP (а не с помощью HTML-тегов).

Например, если на вашем сайте по нескольким разным URL доступен файл PDF, можно возвращать заголовок HTTP rel="canonical" , чтобы сообщить роботу Googlebot, какой из этих URL является каноническим:

Link: ; rel="canonical"

В настоящее время этот способ поддерживается только для веб-поиска.

Элементы link с атрибутом rel="canonical" должны содержать абсолютные пути, а не относительные . Подробнее:
Правильно: http://www.example.com/downloads/white-paper.pdf
Неправильно: /downloads/white-paper.pdf

Используйте файл Sitemap

Укажите канонический URL для каждой страницы в файле Sitemap . Все страницы в нем предлагаются в качестве канонических. Googlebot будет определять, какие из них являются повторяющимися (при наличии), по их контенту.

Мы не гарантируем, что URL в файле Sitemap будут рассматриваться как канонические во всех случаях. Но в целом это удобный способ для определения приоритетных URL на крупном сайте.

Не включайте в файл Sitemap неканонические страницы, если вы его используете.

Используйте код статуса 301 для URL удаленных страниц

Это позволяет исключить устаревшие адреса и обеспечить переадресацию на новые.

Предположим, на вашу страницу можно перейти по следующим URL:

• https://example.com/home
• https://home.example.com
• https://www.example.com

Выберите один из этих адресов в качестве канонического и используйте переадресацию 301 на стороне сервера, чтобы перенаправлять на данный адрес трафик с других URL. Это один из самых надежных способов обеспечить переход пользователей и поисковых систем на нужную страницу. Код статуса 301 означает, что запрашиваемая страница находится по другому адресу.

Если у вас есть доступ к сервису веб-хостинга, попробуйте найти в представленных на нем справочных материалах документацию по настройке переадресаций 301.

Эта информация оказалась полезной?

Как можно улучшить эту статью?

Атрибут rel=“canonical” - один из способов борьбы с дублирующимся контентом. Он размещается на любой HTML-странице между тегами . Поисковые роботы начинают считать страницу, указанную в атрибуте rel=“canonical”, приоритетной (канонической). Каноническая страница будет отображаться в поиске, на неё перейдут ссылочный вес и другие характеристики страниц с одинаковым содержанием.

Таким образом, если на вашем сайте есть идентичный или очень похожий контент, доступный по разным URL, с помощью атрибута rel=“canonical” можно указать тот URL, который является предпочтительным для индексации.

Когда нужно использовать канонические ссылки

1. Для предупреждения появления различных дублей. Например:

• страниц сортировок: /*sort, asc, desc, list=*;
• дублей из-за UTM-меток: *utm_source=, /*utm_campaign=, /*utm_content=, /*utm_term=, /*utm_medium=;
• других страниц c GET-параметрами в URL;
• дублей в результате особенностей работы CMS (движка).

В этом случае нужно добавить атрибут rel=“canonical” на все статические страницы сайта. Например, для страницы https://site.ru/category-1/page-2, rel=“canonical” будет выглядеть следующим образом:

href=“https://site.ru/category-1/page-2” />

2. Для доступных по разным URL страниц с очень похожим контентом.

Например, это могут быть страницы одной серии товара, который отличается только расцветкой или страницы товара, который расположен сразу в нескольких категориях.

В этом случае нужно указать со всех страниц rel=“canonical” на основную, приоритетную страницу.

В таком случае на каждой из страниц пагинации нужно указать канонической страницу «Показать всё».

Например, для страницы https://site.ru/category-1/page-2 нужно прописать канонический URL:

ru /category-1/show-all” />

Как указать основной URL при помощи атрибута rel=“canonical”?

Прописать между тегами любой HTML-страницы

Это основной способ. Чтобы указать каноническую ссылку, пропишите между тегами на странице полный URL страницы, которая должна быть в индексе.

Например, для страницы https://site.ru/*utm_content= канонической будет https://site.ru/.

Для получения такого результата, на странице https://site.ru/*utm_content= мы указали тег:

ru /” />

Важно!
Чтобы снизить вероятность ошибки в элементах link, после атрибута rel=“canonical” используйте абсолютные, а не относительные ссылки.

В файле Sitemap

В XML-карте сайта вы можете прописать канонический (основной) URL для любой страницы.

Важно!
Атрибут rel=“canonical” - это рекомендация для поисковой системы, а не правило. В этом случае ПС могут проигнорировать их.

В заголовке HTTP

Лучше всего использовать для документов не HTML-формата. Например, для файлов формата PDF.

В таком случае сервер, при запросе дублирующего файла, должен отдавать ссылку на файл-оригинал:

Link: ; rel=“canonical”

Важно!
Этот способ подойдёт, если у вас есть доступ к настройкам сервера. Не рекомендуется использовать для HTML-документов.

С помощью плагина

Для CMS существуют различные плагины, которые позволяют настроить канонический URL. Например:
— для WordPress можно настроить canonical с помощью Yoast SEO ;
— в OpenCart - реализовано в настройках CMS (нужно зайти в настройки товара и задать параметр SEO URL);
— для настройки атрибута canonical в Joomla (версии 3.х и выше) нужно включить в настройках CMS функцию SEF. После включения для технических страниц вида /index.php?option будет добавлен атрибут rel=“canonical” (с указанием URL на страницу с настроенным ЧПУ).

Как проверить правильно ли настроен rel=“canonical”?

Провести анализ можно специальной программой для SEO-анализа сайта - .

С помощью этой программы вы увидите:
— какие страницы на сайте без атрибута rel=“canonical”;
— на каких страницах стоит атрибут rel=“canonical”, и какие страницы являются для них каноническими;

Основные ошибки использования rel=“canonical”

— Канонический URL отдаёт 404 ошибку.
— Указанный канонический URL находится на другом домене или поддомене.
— Каноническая ссылка не является индексируемой.
— Использование rel=“canonical” со страниц пагинации на первую страницу.

Для всех страниц пагинации неправильно прописывать канонической первую страницу. Это делает индексацию всех страниц пагинации невозможной.

Для страниц пагинации в качестве канонических нужно указывать эти же страницы.

Например, страница https://site.ru/category-1/page-2 должна содержать каноническую ссылку:

.

— Несколько ссылок rel=“canonical” с одной страницы.

Для одной страницы должна быть одна каноническая страница, в ином случае будет учтён только первый URL.

— Разные канонические URL.

Указывайте одни и те же канонические страницы при разных способах реализации атрибута (например, через XML-карту сайта и через rel=“canonical” на самой странице).

Заключение

Атрибут rel=“canonical” - удобный и полезный инструмент для поискового продвижения. При правильном использовании, он повысит эффективность работы и ускорит индексирование сайта, что, в свою очередь, существенно повлияет на его ранжирование.

Подписаться на рассылку

SEO-аналитик

Оптимизирую сайты с 2009 года. Люблю сложные кейсы, которые оказались не по зубам специалистам с других компаний. Делаю очень подробные аудиты.

Пишу статьи-инструкции на блог SiteClinic по SEO-инструментам и аналитике.

Любимая цитата: Чтобы добиться успеха, надо искренне любить то, чем вы занимаетесь.