Як видалити канонічні урл з сайту

Пояснення повідомлень Google Search Console

Дійсно, ці сповіщення від Google Search Console можуть викликати здивування, особливо якщо ви не впевнені, що "навмисно" створювали такі ситуації. Давайте розберемо кожну з причин, через які сторінки можуть не індексуватися, і що з цим робити.

Загальний принцип: Google постійно прагне індексувати лише унікальний та найбільш релевантний контент. Якщо є кілька версій однієї й тієї ж сторінки або сторінка переспрямовується, Google вважає, що немає необхідності індексувати кожну з них, щоб не дублювати інформацію у своєму індексі.

---

1. "Сторінка з переспрямуванням" (Page with redirect)

Що це означає: Це означає, що коли Googlebot (робот Google) заходить на певний URL, він отримує сигнал (наприклад, HTTP-код 301 або 302), який вказує йому перейти на інший URL. Google не індексує вихідний URL, оскільки "реальний" контент знаходиться за адресою, на яку йде переспрямування.

Чому це відбувається (навмисно та ненавмисно):

Навмисно:

• Зміна структури URL: Ви змінили URL сторінки, і старий URL переспрямовує на новий. Це правильно і необхідно для збереження посилальної ваги.
• HTTP на HTTPS: Весь трафік з HTTP-версії сайту переспрямовується на HTTPS-версію. Це стандартна практика безпеки.
• З www на без www (або навпаки): Ви обрали одну канонічну версію домену (наприклад, site.com замість www.site.com) і налаштували переспрямування.
• Об'єднання сторінок: Ви об'єднали дві старі сторінки в одну нову і налаштували переспрямування зі старих на нову.
• Видалення дублікатів: Наприклад, якщо у вас було site.com/index.html, і ви переспрямували це на site.com/.

Ненавмисно (що може бути проблемою):

• Помилки в налаштуванні переспрямувань: Циклічні переспрямування, занадто багато переспрямувань у ланцюжку, або переспрямування на невірні URL.
• Плагіни/CMS: Деякі плагіни або налаштування CMS можуть автоматично створювати переспрямування, про які ви не знаєте (наприклад, після зміни заголовків дописів).
• Внутрішні посилання: На сайті залишилися внутрішні посилання на старі, переспрямовані URL. Це не критично, але краще їх оновити, щоб Google не витрачав час на непотрібні переходи.

Що робити, якщо це "неполадка":

• Перевірте URL: Відкрийте вказаний URL у браузері. Куди він переспрямовує? Це очікувана поведінка?
• Перевірте ланцюжок переспрямувань: Використовуйте онлайн-інструменти для перевірки переспрямувань (наприклад, httpstatus.io або інші SEO-інструменти). Переконайтеся, що ланцюжок не надто довгий (ідеально 1-2 переспрямування) і не містить помилок.
• Оновіть внутрішні посилання: Якщо ви виявили, що на вашому сайті є посилання на сторінки, які тепер переспрямовуються, оновіть ці посилання, щоб вони вказували безпосередньо на кінцевий URL. Це покращить бюджет сканування та швидкість завантаження.
• Переконайтеся, що кінцевий URL індексується: Якщо переспрямування навмисне, переконайтеся, що сторінка, на яку йде переспрямування (кінцевий URL), успішно проіндексована та з'являється в Google.

Висновок щодо "Сторінки з переспрямуванням": У більшості випадків це нормальна та бажана поведінка. Google просто повідомляє вам, що він не індексує вихідний URL, а індексує кінцевий URL. Проблема виникає лише тоді, коли переспрямування веде кудись не туди, або кінцева сторінка сама не індексується.

---

2. "Варіант сторінки з тегом canonical" (Duplicate, Google chose different canonical than user)

Що це означає: Це найважливіше і часто незрозуміле повідомлення. Воно означає, що Google виявив кілька сторінок з дуже схожим або ідентичним контентом. Ви або явно вказали одну з них як канонічну за допомогою тегу rel="canonical", або Google сам обрав одну з них як канонічну. У цьому випадку Google вирішив, що ця конкретна сторінка (яка відображається у звіті) не є канонічною, і, отже, не буде її індексувати.

Варіант "Duplicate, Google chose different canonical than user": Це означає, що ви вказали одну сторінку як канонічну, але Google за своїми алгоритмами вважав, що інша сторінка (яку він обрав сам) є більш підходящою канонічною версією. Google буде індексувати ту, яку він обрав.

Чому це відбувається (навмисно та ненавмисно):

Навмисно (коли це нормально):

• Фільтри та сортування на сайті: У вас є сторінка товарів /products, а потім її версії /products?color=red або /products?sort=price_asc. Ви вказали /products як канонічну для всіх цих варіантів. Це правильно.
• Пагінація: /category/page/1/, /category/page/2/ тощо. Іноді для сторінок пагінації вказують rel="canonical" на першу сторінку.
• UTM-мітки та сесії: URL з параметрами відстеження (наприклад, /article?utm_source=email). Основна стаття article є канонічною.
• Різні версії однієї сторінки: site.com/page/ та site.com/page/index.html. Ви обрали одну як канонічну.
• Дублювання контенту через помилку: Ви випадково опублікували одну й ту саму статтю за двома різними URL, а потім виправили це, встановивши rel="canonical".

Ненавмисно (коли це проблема):

• Технічні дублікати: CMS створює дублікати (наприклад, /category/product-name та /product-name).
• Неправильне налаштування CMS/плагіна: Плагін SEO за замовчуванням вказує неправильний канонічний URL, або ви не налаштували його належним чином.
• Відсутність / в кінці URL: Іноді /page та /page/ можуть сприйматися як різні URL. На сайті повинна бути єдина структура.
• Доступ за HTTP та HTTPS / з www та без www: Якщо ваш сайт доступний за обома протоколами або доменами, але rel="canonical" не налаштований правильно, Google може вирішити, що ці версії дублюються.
• Копіювання контенту: Ви скопіювали контент з іншого сайту, і Google розпізнав оригінальне джерело.

Що робити, якщо це "неполадка":

• Перевірте вказаний URL та його контент: Що це за сторінка? Чи дійсно вона дублює іншу?
• Перевірте rel="canonical": Подивіться вихідний код цієї сторінки (правою кнопкою миші -> "Переглянути код сторінки" або "Inspect element") і знайдіть тег <link rel="canonical" href="..."> у секції <head>.
  • Куди вказує href? Це той URL, який ви хотіли бачити канонічним?
  • Чи є він самопосилальним канонічним? Якщо href вказує на той самий URL, на якому ви зараз знаходитесь, значить, сторінка вважає себе канонічною.
• Перевірте контент "підозрілих" сторінок:
  • Порівняйте контент сторінки, яку Google не індексує, з контентом сторінки, яку Google обрав як канонічну. Вони дійсно дуже схожі або ідентичні?
  • Якщо вони повинні бути різними, але Google вважає їх дублікатами, вам потрібно унікалізувати контент або переглянути структуру сайту.
  • Якщо вони повинні бути однаковими, і ви правильно вказали rel="canonical" на бажану версію, то це нормальна поведінка. Google просто повідомляє, що він індексує лише одну з цих сторінок.

Приклад сценарію "Duplicate, Google chose different canonical than user":

• У вас є сторінка example.com/product-a.
• У вас також є сторінка example.com/product-a?sort=new (яка показує той самий продукт, але з параметром сортування).
• Ви встановили rel="canonical" на example.com/product-a?sort=new на самій цій сторінці, вказуючи на example.com/product-a.
• Google, однак, бачить example.com/product-a як чистіший та основний URL, і ігнорує ваше вподобання для product-a?sort=new.
• У звіті ви побачите example.com/product-a?sort=new як "Duplicate, Google chose different canonical than user".

Що робити в цьому випадку:

• Якщо Google обрав правильну канонічну: Нічого не робіть. Це означає, що Google погодився з вашою логікою (або дійшов такого ж висновку), і індексує ту версію, яку ви хотіли.
• Якщо Google обрав неправильну канонічну:
  • Перевірте rel="canonical": Переконайтеся, що він вказує на дійсно правильну канонічну сторінку. Можливо, ви десь помилилися.
  • Унікалізуйте контент: Якщо Google постійно обирає іншу сторінку, можливо, контент на ваших "неканонічних" сторінках занадто сильно відрізняється від того, на що ви вказуєте як на канонічне, або, навпаки, недостатньо унікальний.
  • Використовуйте 301-переспрямування: Якщо сторінка, яку Google вважає "дублікатом", ніколи не повинна бути доступною напряму (наприклад, стара версія продукту), краще налаштувати 301-переспрямування на нову, канонічну версію. Це сильніший сигнал для Google, ніж rel="canonical".

Висновок щодо обох пунктів:

• "Сторінка з переспрямуванням": Частіше за все це нормально. Переконайтеся, що переспрямування веде на потрібну сторінку, і що ця кінцева сторінка індексується.
• "Варіант сторінки з тегом canonical": Це також часто нормально, особливо якщо ви активно керуєте дублікатами. Це означає, що Google обрав (або погодився з вашим вибором) канонічну версію, і не буде індексувати її дублікати. Проблема виникає, якщо Google обирає не ту сторінку, яку ви вважаєте канонічною, або якщо він вважає дублікатом сторінку, яка на вашу думку повинна бути унікальною.

---

Ваше завдання:

1. Не панікуйте. Ці повідомлення не завжди вказують на проблему.
2. Зайдіть у Google Search Console: Відкрийте звіт "Індексування -> Сторінки".
3. Подивіться приклади URL для кожної з цих категорій.
4. Для кожного URL:
   • Використовуйте інструмент "Перевірка URL" у GSC.
   • Перевірте, куди веде переспрямування, або яка сторінка обрана як канонічна.
   • Прийміть рішення:
     • Це очікувана поведінка? (Наприклад, старий URL переспрямовує на новий, або сторінка з фільтром вказує на канонічний продукт) -> Нічого не робіть.
     • Це помилка? (Наприклад, переспрямування веде на 404, або Google обрав не ту канонічну сторінку, або у вас є дві абсолютно різні сторінки, які Google вважає дублікатами) -> Усуньте помилку.

Google просто інформує вас про свій процес індексації. Часто це просто означає, що він успішно розібрався з дублікатами та переспрямуваннями, і вам не потрібно вживати жодних дій. Головне — переконатися, що важливі для вас сторінки індексуються, а дублікати та застарілі URL коректно обробляються.