Вплив мови запиту на відповіді ChatGPT: Результати незалежного тесту AI відповідей №2

Дослідивши геозалежність AI видачі, ми продовжуємо серію експериментів із ChatGPT, вивчаючи, як саме AI формує відповіді на запити. 

Після першого тесту виникло питання: чи може одна й та сама модель давати різні результати лише через зміну мови запиту? Щоб перевірити це, ми провели другий експеримент із 5 мовами, залогіненими акаунтами та інкогніто-сесіями. 

Далі покажемо, як змінилася видача залежно від мови: від політичних і культурних питань до комерційних інтенцій на кшталт «краща SEO компанія» чи «кращий автомобіль».

Методологія цього експерименту

Гіпотеза: Видача GPT залежить від мови запиту. 

Щоб перевірити вплив мови запиту на результати відповідей ChatGPT, ми спроєктували експеримент із кількома контрольованими параметрами:

• 2 залогінені акаунти + 2 інкогніто
  Ми перевірили, чи впливає на якість і характер відповідей авторизація користувача. У попередньому експерименті помітили, що відповіді для платних акаунтів виглядають точнішими та детальнішими, а відповіді для акаунтів влучніші, ніж для інкогніто сесій. Тут ми також заклали можливість відстежити різницю між залогіненими й анонімними профілями з додаванням мовного аспекту.
• 5 мов: англійська, українська, іспанська, німецька, російська
  Цей набір мов обрали, щоб охопити різні мовні групи та перевірити, чи одна й та сама модель дає інші відповіді залежно від культурного чи політичного контексту.
• 10 однакових запитів, перекладених на всі мови
  Щоб мінімізувати вплив випадкових факторів, ми переклали їх максимально дослівно/ідентично до контексту. 
• Фіксований GEO: США у всіх профілів (через VPN)
  Ми виключили вплив геолокації, який виявили в першому експерименті, і залишили єдиним змінним фактором мову запиту.
  

Для формування переліку запитів ми використовували спірні та суб’єктивні питання, які провокують на конкретику й дозволяють чітко відстежити відмінності. Наприклад:

• «Найвпливовіший президент на планеті»
• «Найкраща футбольна команда»
• «Найкраща пісня 2025 року», «Найкращий фільм 2025 року»
• «Найкраща SEO компанія» та інші.
  

Загалом: 50 питань (по 10 на кожну мову) × 4 профілі (2 інкогніто, 2 акаунта) = 200 відповідей для аналізу.

Спостереження під час експерименту

Експеримент підтвердив: мова запиту безпосередньо впливає на результати відповідей GPT, навіть за фіксованого ГЕО та однакових умов. Загальні закономірності:

• Ядро однакове: глобальні бренди, політичні лідери та компанії повторювались у відповідях незалежно від мови (наприклад, Apple, Tesla, Google, Lionel Messi, Barack Obama).
• Відмінності: проявлялись у стилі, локальних прикладах та інтерпретації термінів. Так, на запит «краща футбольна команда» англійська версія частіше спиралась на Manchester City чи Real Madrid, а іспанська — Barcelona чи Atlético Madrid.
• Локалізація: у відповідях змінювались валюти, одиниці виміру, назви локальних компаній.

Тепер детальніше пройдемось по категоріях запитів і особливостям видачі.

Політичні питання

• Інкогніто: відповіді більше тяжіли до історичних постатей та академічних довідок (здебільшого згадувались Lincoln, Roosevelt).
• Залогінені акаунти: більше акценту на сучасних політичних лідерах (здебільшого згадувались Biden, Сі Цзіньпін, путін).
• Тільки іспанською траплялись згадки про Дональда Трампа як впливового політика 2025. 

Скрін порівняння видачі англійською в інкогніто та з аккаунту

Спортивні питання

• Залогінені: стабільно згадувались топ-клуби (Найчастіше згадувались: Real Madrid, Manchester City, Barcelona, Bayern Munich).
• Інкогніто: частіше включали національні збірні (Аrgentina, France, інколи Brazil).
• Мовний фактор: німецька та іспанська версії давали перевагу локальним клубам (Bayern, Barcelona).

Скрін видачі в режимі інкогніто німецькою та іспанською мовами з запитом “Краща футбольна команда”

Культурні питання (пісня/фільм року)

• Культурні запити виявилися найбільш чутливими до мови.
• Англійські відповіді частіше посилалися на Billboard, Grammy, Rotten Tomatoes, українські та іспанські активніше підсвічували локальних виконавців і релізи. 
• Загалом майже всі відповіді відрізнялись одна від одної. 

Скрін видачі в режимі акаунт англійською мовою

Комерційні питання (краща компанія/сервіс)

• Усі відповіді мали «універсальне ядро» з великих лідерів ринку.
• Додатково з’являлись локальні гравці, це стосувалось всіх схожих запитів, патерн відповіді був однаковий. 
• Жодного разу ТОП не був схожий один на одного, але загалом частина компаній повторювалися (наприклад, для запити про найкращу SEO компанію – це Moz, WebFX, Victorious.

Скрін порівняння видачі з режиму інкогніто на 4 різних мовах.

Комерційні питання (кращий продукт)

• Як і в випадку з компаніями, всі відповіді відповіді включали як глобальних лідерів, а також і регіональні тренди.
• Для авто найпопулярнішими згадками виявилися Tesla Model 3, Kia EV9, Mercedes S-Class та Toyota Prius, а решта додавалась з акцентом на місцеві тренди: електрифікацію та практичність в англомовних запитах, «японську надійність» в україномовних та російськомовних запитах, на статусність та престиж в німецьких та іспанських запитах. У ноутбуках повторювались Asus ROG Zephyrus, Razer Blade, MSI Titan, Lenovo Legion, але пріоритети й аргументація відрізнялись: від продуктивності та охолодження до ваги й дисплеїв OLED або Mini-LED.

Особливий випадок: “Кращі AEO компанії”

• Англійська, українська та іспанська трактували AEO як AI/SEO-оптимізацію.
• Німецька та російська — як митний статус (Authorized Economic Operator).
• Цей приклад добре ілюструє семантичний дрейф термінів під впливом мови. Коли один і той самий термін втрачає сенс залежно від мови, оскільки ця абревіатура вже асоціюється в тих ГЕО інакше і буде складніше його посунути. 

Скрін порівняння видачі з режиму інкогніто Німецькою та в акаунті Англійською.

Пару слів про роль акаунту в цьому дослідженні:

• Залогінені акаунти: структурованіші відповіді, більш актуальні приклади, сильний фокус на тренди.
• Інкогніто: ширший контекст, історичні паралелі, менш прогнозовані результати. Часто довші тексти, особливо англійською.

Ключові інсайти та практичні висновки

Мова виявилася одним із головних тригерів локалізації. Навіть якщо GEO залишалося зафіксованим і сесія була інкогніто, сам факт використання іншої мови змінював характер відповіді. Тож це має навіть більше значення для формування відповіді, ніж фактична локація користувача.

• Відповіді AI асистентів, як часто мають фіксацію на географічних маркерах. Так, іспанські відповіді включають латиноамериканський/іспанський контекст (Bit2Me у крипто, Bad Bunny у піснях, Sorda у фільмах). Німецькі мають європейський/німецький фокус (BaFin-регуляція, Баварія у футболі). Англійські – американський/глобальний контекст (Binance.US, Trump як впливовий лідер) і тд.
• У глобальних запитах англійська дає найповніший і найрізноманітніший результат.
• Для локальних стратегій варто враховувати, що GPT адаптує відповіді під мовну культуру, результат може бути більш унікальний та персоналізований.

Відмінності мови запиту може стати критичною в новітніх темах. Наприклад, термін AEO у різних мовах може “згубитися” через перетин із регіональними термінами. Якщо ви запускаєте продукт чи послугу з новою назвою, у кожному регіоні варто перевіряти, як вона сприймається, аби уникнути “сліпих зон” для потенційних клієнтів.

Загальний висновок експерименту

У ході експерименту стало очевидно, що GPT використовує “мовний фільтр” та інтерпретує інформацію через культурні патерни, щоб краще вгодити користувачу. І хоч для більшості запитів ядро даних залишається універсальним, відповідь все одно буде формуватися з урахуванням локальних факторів. 

Інкогніто-сесії частіше містять історичні приклади через відсутність даних про преференції користувача. Це може свідчити про використання ширшого спектра даних без жорсткої персоналізації, щоб імовірніше вгодити тому, хто запитує.

Для SEO це означає, що вплив мовного запиту на видимість бренду в AI-відповідях може бути настільки ж важливим, як раніше була країна видачі у Google.

Наша команда вже розпочала проводити експеримент №3, тож скоро висвітлимо ще більше факторів, шо впливають на видачу AI асистентів!)