Stat.vin: відновлення індексації після втрати 15 млн сторінок

Stat.vin — сервіс перевірки та купівлі автомобілів з аукціонів Copart та IAAI (США й Канада). Для кожного лота сайт формує окрему сторінку з історією продажів, ціною, пошкодженнями, пробігом та іншими даними за VIN. Сайт працює кількома мовними версіями й має мільйони URL.

Вихідна ситуація

На старті проєкту:

• з індексу Google випало близько 15 млн сторінок;
• органічний трафік знизився приблизно на 40%;
• сайт зазнавав атаки спамними посиланнями;
• конкуренти й сторонні сайти створювали дублі сторінок автомобілів;
• на сайті тривали масштабні зміни структури та логіки формування сторінок.

Задача полягала в тому, щоб встановити причину втрати індексації, відновити обхід сайту Googlebot і повернути в індекс максимально можливу кількість сторінок. Додатково треба було підготувати сайт до запуску нового напряму: сторінок купівлі й доставки автомобілів зі США.

Складність

• Сайт передавав Google мільйони URL, далеко не всі з яких мали однакову SEO-цінність.
• Втрата індексації збіглася зі спам-атакою, зовнішніми дублями та змінами структури.
• Повноцінного server logging на старті не було, тому збір даних про ботів довелося налаштовувати окремо.
• Дані аукціонів містили тисячі варіантів написання марок і моделей, що потенційно створювало слабкі й дубльовані сторінки.

Підхід

Замість масової відправки URL на переіндексацію ми розібрали весь ланцюжок:

Discovery → Crawling → Rendering → Indexing → Internal Linking → Site Structure → Monitoring

1. Аналіз поведінки Googlebot

Першим кроком перевірили, чи Google отримує URL, які Stat.vin відправляє на індексацію. Оскільки серверного логування не було, клієнт налаштував збір даних про ботів через Cloudflare.

За crawl logs аналізували:

• які сторінки та типи URL обходить Googlebot;
• частоту повторних візитів;
• які sitemap скануються активніше;
• реакцію Google на URL, відправлені через сервіс примусової індексації.

Це дало змогу замінити припущення аналізом фактичної поведінки Googlebot.

2. Тест сервісу масової індексації

Одна з перших гіпотез — некоректна робота стороннього сервісу примусової індексації. Для перевірки провели експеримент: відправили в сервіс 100 тестових URL (orphan pages) і перевірили Cloudflare crawl logs.

Результат: Googlebot відвідав 83 зі 100 URL (~83%).

Механізм доставки URL до Googlebot працював. Причину слід було шукати в crawl budget, структурі сайту, пріоритетності URL і сигналах, які сайт передавав Google.

3. Технічний SEO-аудит

1) Rendering. Критичних проблем, які заважали б Google отримувати основний контент сторінок, не виявили.

2) Duplicate content. Великий блок How to Buy a Vehicle повторювався на багатьох сторінках автомобілів. Рекомендували унікалізувати його шаблонним/spin-контентом або закрити від індексації. Згодом підготували ТЗ на генерацію унікалізованого контенту на основі даних автомобіля: make, model, year, VIN, mileage, auction, damage, sale status тощо.

3) Duplicate URLs. Для одного автомобіля/лота могло генеруватися кілька URL. Частина з них мала canonical, але все одно:

• витрачала crawl budget;
• створювала зайві URL для Googlebot;
• періодично потрапляла в індекс;
• посилювала проблему дублів.

Рекомендували обмежити обхід таких посилань.

4) Duplicate meta tags. Повторювалися Title та Description. Підготували шаблони метатегів для кожного типу сторінок і мовних версій.

4. Last-Modified і HTTP-механіка повторного обходу

Перевірили роботу Last-Modified, If-Modified-Since та HTTP 304 Not Modified.

На основній частині Stat.vin механізм працював коректно. У розділі Auto.RIA некоректно працювали заголовки Last-Modified і відповідь сервера 304 Not Modified.

Метою було допомогти Google визначати, які сторінки дійсно змінилися й потребують повторного завантаження, а на які не варто витрачати crawl budget.

5. Нова стратегія XML Sitemap

За bot logs сформувалася гіпотеза: Google активно обходить sitemap актуальних автомобілів і значно рідше — sitemap проданих. При цьому сайт передавав величезну кількість URL з різною SEO-цінністю.

Змінили принцип: не «відправити максимум сторінок», а «пріоритизувати URL з найвищою цінністю та ймовірністю індексації».

Для sitemap проданих автомобілів запропонували залишати переважно:

• автомобілі не старші 10–11 років;
• автомобілі з останньою ціною продажу від $2 000;
• преміальні марки — без цих обмежень.

Додатково:

• рекомендували регулярно перегенеровувати sitemap замість постійного накопичення старих карт; обрали періодичність — раз на тиждень;
• для проданих автомобілів вирішили скоротити кількість мовних sitemap і використовувати англійську версію, залишаючи Google можливість знаходити інші мовні версії через hreflang.

6. Пріоритет для нових автомобілів

Окремий пріоритет отримали автомобілі, для яких щойно з’явився повний VIN і сформувалася повноцінна сторінка Stat.vin.

Логіка: що раніше Google отримає нову VIN-сторінку Stat.vin порівняно з іншими сайтами, то вища ймовірність, що її буде сприйнято як першоджерело, а не черговий дубль даних.

Цю логіку впровадили в роботу стороннього індексатора: на індексацію автоматично відправляються автомобілі, повністю додані в базу напередодні, з VIN і доступною сторінкою.

7. Внутрішня перелінковка

Провели аналіз внутрішньої перелінковки та підготували рекомендації. Задачею цих дій було дати Googlebot додаткові шляхи виявлення сторінок і перерозподілити внутрішню вагу на користь важливих розділів і сторінок автомобілів.

8. Нормалізація марок і моделей

Дані аукціонів зберігали одну марку в різних варіантах: Mercedes Benz, Mercedes, Mercedes-Benz. Для моделей варіантів було ще більше. У базі накопичилися тисячі варіантів марок і моделей, що потенційно створювало велику кількість слабких і дубльованих сторінок.

Клієнт розробив систему щоденної нормалізації марок і моделей. Після релізу:

• марки й моделі нормалізовано;
• старі URL отримали редиректи на нові;
• непотрібні типи транспорту виключено;
• sitemap повністю перегенеровано;
• головне меню сайту перероблено.

9. Швидкість сервера і crawl budget

Для сайту з мільйонами URL навіть незначне погіршення server response time може суттєво впливати на кількість сторінок, які Googlebot здатен обійти. Тому швидкість відповіді сервера контролювали протягом усього проєкту.

У вересні в Google Search Console зафіксували: зростання часу відповіді сервера → зниження кількості crawl requests.

Передали проблему клієнту. Команда розробки повернула відкладене завантаження та внесла зміни для прискорення сайту. Після впровадження клієнт відзначив покращення трафіку.

10. Захист від посилального спаму

Паралельно з відновленням індексації працювали з посилальним профілем:

• аналіз наявного Disavow;
• аудит посилального профілю;
• пошук нових низькоякісних і спамних доменів;
• оновлення Disavow.

Аналіз і очищення профілю від нового спаму виконувалися регулярно.

11. Моніторинг після впроваджень

Після технічних змін регулярно відстежували:

• кількість сторінок в індексі;
• crawl requests і поведінку Googlebot;
• server response time;
• кліки, покази, CTR, позиції;
• динаміку пріоритетних VIN-сторінок.

У липні в автомобільній тематиці був період високої волатильності Google, на тлі якого тимчасово знизилися crawling і органічний трафік. Тому зміни оцінювали після стабілізації видачі, а не за кілька днів.

Результати

Індексація

Кількість сторінок в індексі Google:

• липень: 7,9 млн → 8,4 млн;
• серпень: 9 млн → 12,9 млн;
• останній зафіксований етап: 12,9 млн → 13,6 млн.

За період роботи кількість проіндексованих сторінок зросла на 5,7 млн (+72%). Ріст у липні відбувся попри тимчасове значне скорочення crawl budget. На останньому зафіксованому етапі кількість сторінок в індексі продовжувала зростати.

Органічний трафік

Відновлення індексації не дало одномоментного лінійного росту всього органічного трафіку: на показники впливали зміни у видачі, коливання попиту та періоди волатильності. Після зниження в червні–липні динаміка в серпні стала позитивною.

Органічні кліки за даними Google Search Console:

• червень: 436 503;
• липень: 436 917;
• серпень: 454 631.

Покази за той самий період (липень → серпень): 7,22 млн → 6,02 млн.

У серпні кліки зросли на 4,1% відносно липня, CTR — з 6,05% до 7,55%. Сайт отримав більше кліків за меншої кількості показів.

На VIN-сторінках автомобілів — одному з ключових типів сторінок проєкту — за внутрішніми звітами зростали і кліки, і CTR.

Нові SEO-посадкові

Після стабілізації технічної частини почали розширювати семантичну структуру сайту. Провели дослідження попиту на купівлю та доставку автомобілів зі США й підготували:

• структуру нового розділу та hub pages;
• сторінки доставки в Україну;
• сторінки міст;
• сторінки марок і моделей;
• Title/Description і on-page ТЗ;
• шаблони spin-контенту;
• внутрішню перелінковку.

У перший період після запуску нові сторінки доставки почали отримувати органічні кліки й з’являтися близько до ТОПу за цільовими запитами.

Підсумок

Стартова ситуація: ≈15 млн сторінок випало з індексу, органічний трафік знизився приблизно на 40%.

Результат:

• сторінки в індексі Google: 7,9 млн → 8,4 млн → 9 млн → 12,9 млн → 13,6 млн (+72%);
• органічні кліки (липень → серпень): 436 917 → 454 631 (+4,1%);
• CTR: 6,05% → 7,55%;
• VIN-сторінки: зростання кліків і CTR;
• новий напрям: сторінки доставки отримують перші кліки та позиції.

Проєкт перейшов від відновлення втраченої індексації до розширення органічної видимості за комерційними напрямами.

Великий сайт втрачає індексацію?

Для сайтів з мільйонами сторінок недостатньо масово відправляти URL на переіндексацію. Luxeo аналізує фактичну поведінку Googlebot, визначає пріоритетні URL і налаштовує структуру, sitemap та технічні сигнали з урахуванням crawl budget.

Якщо у вас масово випали сторінки з індексу, залиште заявку, і ми проаналізуємо індексацію вашого сайту й запропонуємо план відновлення.