Stat.vin: восстановление индексации после потери 15 млн страниц

Stat.vin — сервис проверки и покупки автомобилей с аукционов Copart и IAAI (США и Канада). Для каждого лота сайт формирует отдельную страницу с историей продаж, ценой, повреждениями, пробегом и другими данными по VIN. Сайт работает в нескольких языковых версиях и насчитывает миллионы URL.

Исходная ситуация

На старте проекта:

• из индекса Google выпало около 15 млн страниц;
• органический трафик снизился примерно на 40%;
• сайт подвергался атаке спамными ссылками;
• конкуренты и сторонние сайты создавали дубли страниц автомобилей;
• на сайте шли масштабные изменения структуры и логики формирования страниц.

Задача заключалась в том, чтобы установить причину потери индексации, восстановить обход сайта Googlebot и вернуть в индекс максимально возможное количество страниц. Дополнительно нужно было подготовить сайт к запуску нового направления: страниц покупки и доставки автомобилей из США.

Сложность

• Сайт передавал Google миллионы URL, далеко не все из которых имели одинаковую SEO-ценность.
• Потеря индексации совпала со спам-атакой, внешними дублями и изменениями структуры.
• Полноценного server logging на старте не было, поэтому сбор данных о ботах пришлось настраивать отдельно.
• Данные аукционов содержали тысячи вариантов написания марок и моделей, что потенциально создавало слабые и дублирующиеся страницы.

Подход

Вместо массовой отправки URL на переиндексацию мы разобрали всю цепочку:

Discovery → Crawling → Rendering → Indexing → Internal Linking → Site Structure → Monitoring

1. Анализ поведения Googlebot

Первым шагом проверили, получает ли Google URL, которые Stat.vin отправляет на индексацию. Поскольку серверного логирования не было, клиент настроил сбор данных о ботах через Cloudflare.

По crawl logs анализировали:

• какие страницы и типы URL обходит Googlebot;
• частоту повторных визитов;
• какие sitemap сканируются активнее;
• реакцию Google на URL, отправленные через сервис принудительной индексации.

Это позволило заменить предположения анализом фактического поведения Googlebot.

2. Тест сервиса массовой индексации

Одна из первых гипотез — некорректная работа стороннего сервиса принудительной индексации. Для проверки провели эксперимент: отправили в сервис 100 тестовых URL (orphan pages) и проверили Cloudflare crawl logs.

Результат: Googlebot посетил 83 из 100 URL (~83%).

Механизм доставки URL до Googlebot работал. Причину следовало искать в crawl budget, структуре сайта, приоритетности URL и сигналах, которые сайт передавал Google.

3. Технический SEO-аудит

1. Rendering. Критических проблем, которые мешали бы Google получать основной контент страниц, не обнаружили.
   
2. Duplicate content. Большой блок How to Buy a Vehicle повторялся на многих страницах автомобилей. Рекомендовали уникализировать его шаблонным/spin-контентом или закрыть от индексации. Позже подготовили ТЗ на генерацию уникализированного контента на основе данных автомобиля: make, model, year, VIN, mileage, auction, damage, sale status и др.
   
3. Duplicate URLs. Для одного автомобиля/лота могло генерироваться несколько URL. Часть из них имела canonical, но всё равно:
   

• расходовала crawl budget;
• создавала лишние URL для Googlebot;
• периодически попадала в индекс;
• усиливала проблему дублей.

Рекомендовали ограничить обход таких ссылок.

4. Duplicate meta tags. Повторялись Title и Description. Подготовили шаблоны метатегов для каждого типа страниц и языковых версий.

4. Last-Modified и HTTP-механика повторного обхода

Проверили работу Last-Modified, If-Modified-Since и HTTP 304 Not Modified.

На основной части Stat.vin механизм работал корректно. В разделе Auto.RIA некорректно работали заголовки Last-Modified и ответ сервера 304 Not Modified.

Целью было помочь Google определять, какие страницы действительно изменились и требуют повторной загрузки, а на какие не стоит тратить crawl budget.

5. Новая стратегия XML Sitemap

По bot logs сформировалась гипотеза: Google активно обходит sitemap актуальных автомобилей и значительно реже — sitemap проданных. При этом сайт передавал огромное количество URL с разной SEO-ценностью.

Изменили принцип: не «отправить максимум страниц», а «приоритизировать URL с наибольшей ценностью и вероятностью индексации».

Для sitemap проданных автомобилей предложили оставлять преимущественно:

• автомобили не старше 10–11 лет;
• автомобили с последней ценой продажи от $2 000;
• премиальные марки — без этих ограничений.

Дополнительно:

• рекомендовали регулярно перегенерировать sitemap вместо постоянного накопления старых карт; выбрали периодичность — раз в неделю;
• для проданных автомобилей решили сократить количество языковых sitemap и использовать английскую версию, оставляя Google возможность находить другие языковые версии через hreflang.

6. Приоритет для новых автомобилей

Отдельный приоритет получили автомобили, у которых только что появился полный VIN и сформировалась полноценная страница Stat.vin.

Логика: чем раньше Google получит новую VIN-страницу Stat.vin по сравнению с другими сайтами, тем выше вероятность, что она будет воспринята как первоисточник, а не очередной дубль данных.

Эту логику внедрили в работу стороннего индексатора: на индексацию автоматически отправляются автомобили, полностью добавленные в базу накануне, с VIN и доступной страницей.

7. Внутренняя перелинковка

Провели анализ внутренней перелинковки и подготовили рекомендации. Задачей было дать Googlebot дополнительные пути обнаружения страниц и перераспределить внутренний вес в пользу важных разделов и страниц автомобилей.

8. Нормализация марок и моделей

Данные аукционов хранили одну марку в разных вариантах: Mercedes Benz, Mercedes, Mercedes-Benz. Для моделей вариантов было еще больше. В базе накопились тысячи вариантов марок и моделей, что потенциально создавало большое количество слабых и дублирующихся страниц.

Клиент разработал систему ежедневной нормализации марок и моделей. После релиза:

• марки и модели нормализованы;
• старые URL получили редиректы на новые;
• ненужные типы транспорта исключены;
• sitemap полностью перегенерированы;
• главное меню сайта переработано.

9. Скорость сервера и crawl budget

Для сайта с миллионами URL даже незначительное ухудшение server response time может существенно влиять на количество страниц, которые Googlebot способен обойти. Поэтому скорость ответа сервера контролировали на протяжении всего проекта.

В сентябре в Google Search Console зафиксировали: рост времени ответа сервера → снижение количества crawl requests.

Передали проблему клиенту. Команда разработки вернула отложенную загрузку и внесла изменения для ускорения сайта. После внедрения клиент отметил улучшение трафика.

10. Защита от ссылочного спама

Параллельно с восстановлением индексации работали со ссылочным профилем:

• анализ существующего Disavow;
• аудит ссылочного профиля;
• поиск новых низкокачественных и спамных доменов;
• обновление Disavow.

Анализ и очистка профиля от нового спама выполнялись регулярно.

11. Мониторинг после внедрений

После технических изменений регулярно отслеживали:

• количество страниц в индексе;
• crawl requests и поведение Googlebot;
• server response time;
• клики, показы, CTR, позиции;
• динамику приоритетных VIN-страниц.

В июле в автомобильной тематике был период высокой волатильности Google, на фоне которого временно снизились crawling и органический трафик. Поэтому изменения оценивали после стабилизации выдачи, а не за несколько дней.

Результаты

Индексация

Количество страниц в индексе Google:

• июль: 7,9 млн → 8,4 млн;
• август: 9 млн → 12,9 млн;
• последний зафиксированный этап: 12,9 млн → 13,6 млн.

За период работы количество проиндексированных страниц выросло на 5,7 млн (+72%). Рост в июле произошел несмотря на временное значительное сокращение crawl budget. На последнем зафиксированном этапе количество страниц в индексе продолжало расти.

Органический трафик

Восстановление индексации не дало одномоментного линейного роста всего органического трафика: на показатели влияли изменения в выдаче, колебания спроса и периоды волатильности. После снижения в июне–июле динамика в августе стала положительной.

Органические клики по данным Google Search Console:

• июнь: 436 503;
• июль: 436 917;
• август: 454 631.

Показы за тот же период (июль → август): 7,22 млн → 6,02 млн.

В августе клики выросли на 4,1% относительно июля, CTR — с 6,05% до 7,55%. Сайт получил больше кликов при меньшем количестве показов.

На VIN-страницах автомобилей — одном из ключевых типов страниц проекта — по внутренним отчетам росли и клики, и CTR.

Новые SEO-посадочные

После стабилизации технической части начали расширять семантическую структуру сайта. Провели исследование спроса на покупку и доставку автомобилей из США и подготовили:

• структуру нового раздела и hub pages;
• страницы доставки в Украину;
• страницы городов;
• страницы марок и моделей;
• Title/Description и on-page ТЗ;
• шаблоны spin-контента;
• внутреннюю перелинковку.

В первый период после запуска новые страницы доставки начали получать органические клики и появляться близко к ТОПу по целевым запросам.

Итог

Стартовая ситуация: ≈15 млн страниц выпало из индекса, органический трафик снизился примерно на 40%.

Результат:

• страницы в индексе Google: 7,9 млн → 8,4 млн → 9 млн → 12,9 млн → 13,6 млн (+72%);
• органические клики (июль → август): 436 917 → 454 631 (+4,1%);
• CTR: 6,05% → 7,55%;
• VIN-страницы: рост кликов и CTR;
• новое направление: страницы доставки получают первые клики и позиции.

Проект перешел от восстановления потерянной индексации к расширению органической видимости по коммерческим направлениям.

Крупный сайт теряет индексацию?

Для сайтов с миллионами страниц недостаточно массово отправлять URL на переиндексацию. Luxeo анализирует фактическое поведение Googlebot, определяет приоритетные URL и настраивает структуру, sitemap и технические сигналы с учетом crawl budget.

Если у вас массово выпали страницы из индекса, оставьте заявку, и мы проанализируем индексацию вашего сайта и предложим план восстановления.