Різниця видачі ChatGPT у веб-версії, API та мобільному застосунку: Результати незалежного експерименту №9

Надаючи послугу AEO, ми потребували постійної перевірки видачі ChatGPT, щоб реально знати, чи наші дії допомагають клієнту потрапити в видачу результатів по бажаним запитам чи ні. Такі перевірки мали бути об’ємні (масові) та незалежні. Тому ми використовували API Open AI, також систему, що імітувала людську поведінку, та ручні анонімні сесії. І в ході цього стали помічати, що метод перевірки впливає на результат.

Тож у нас виникло питання: Чи можна довіряти, що ChatGPT дасть однакову відповідь незалежно від того, де ви його використовуєте? Наша команда вирішила перевірити цю гіпотезу на практиці, щоб не бути голослівними. Ми провели системне тестування видачі ChatGPT через веб-інтерфейс, API та мобільний застосунок. Забігаючи наперед — ми мали рацію і підтвердили нашу гіпотезу.

Гіпотеза дослідження

Гіпотеза яку ми висунули звучала так:

• Видача ChatGPT у веб-версії, через API та у мобільному додатку може суттєво відрізнятися, навіть при однакових запитах.

Методика тестування

Щоб отримати об’єктивні результати, ми сформували і зафіксували методику перевірки:

Тестові запити: 10 геонезалежних питань (щоб виключити вплив локації користувача)

Платформи для тестування:

• Веб-версія (з акаунтом)
• Веб-версія (режим інкогніто)
• API ChatGPT (з трьома значеннями параметра Temperature: 0.4, 0.7, 1.0)
• Мобільний додаток

Важлива деталь: стандартне значення Temperature дорівнює 0.7, тому ми перевірили роботу з нижчим (0.4), стандартним (0.7) та вищим (1.0) значеннями для API.

Умови тестування: всі перевірки проводилися в окремих нових чатах для чистоти експерименту.

Результати дослідження

Всі отримані результати фіксувались в таблиці: Чи відрізняється видача ChatGPT у веб-версії, через Api та у додатку

Приклад розбору одного запиту:
Запит: “emergency plumber in Sydney”

Web incognito:

API temperature 0.7:

App account:

Після аналізу всіх отриманих даних ми дійшли до кількох важливих висновків:

1. API видає найбільш відмінні результати

Видача через API найсуттєвіше відрізняється від інших платформ. Відповіді мають інший формат, структуру та іноді навіть зміст.

Ключові відмінності API:

• API дає більш стислі, технічні відповіді без додаткових пояснень, які зазвичай присутні у веб-версії
• API створений для вбудовування ШІ у сторонні продукти, створення чатботів, генерації контенту, автоматизованих перекладів, а не для діалогу з користувачем
• API майже “чиста” модель, яка строго виконує те, що ви їй передали, без додаткових шарів оптимізації для користувацького досвіду
• Ви отримуєте те, що запрограмували — жодних автоматичних покращень, уточнень чи додаткового контексту

2. Веб-версія та додаток показують схожі між собою результати

У більшості випадків відповіді у веб-версії ChatGPT та мобільному застосунку дуже подібні між собою. Це логічно, адже обидва інтерфейси орієнтовані на звичайного користувача та діалоговий формат спілкування.

Що об’єднує веб-версію та додаток (chat.openai.com):

• Обидві платформи налаштовані на природне спілкування з користувачем
• Модель автоматично додає контекст, приклади та уточнення
• Вбудовані механізми перевірки та переформулювання для комфорту користувача
• Інтерфейс адаптований під потреби звичайної людини, а не розробника

3. Параметр Temperature не показав очікуваного ефекту

Через API ми не виявили значних відмінностей при зміні параметра Temperature (0.4, 0.7, 1.0).

Чому так сталося?

Параметр Temperature насамперед впливає на креативність і варіативність при повторних запитах, а не на структуру чи формат одноразових відповідей. Тобто, якщо ви задаєте одне й те саме питання кілька разів, Temperature визначає, наскільки різними будуть відповіді. Але на якість та повноту першої відповіді він впливає мінімально.

Чому виникають відмінності?

Щоб краще зрозуміти причини відмінності, ми також проаналізували пояснення самої моделі. Ось ключові фактори, які впливають на різницю у видачі:

Фактор	Пояснення
Системні інструкції	Веб/додаток орієнтовані на діалог і зручність користувача. API отримує мінімальні інструкції, ви самі визначаєте правила роботи.
Контекст діалогу	У веб-версії є історія, пам’ять стилю та підказки. В API немає автоматичної пам’яті і кожен запит ізольований, якщо ви не передаєте контекст вручну.
Налаштування генерації	В API ви керуєте параметрами (temperature, top_p, max_tokens). У веб-версії ці налаштування приховані та динамічні.
Додаткові шари	Веб-версія має фільтрацію, safety-шари та переформулювання. API відповідає більш прямолінійно.
Версії моделі	У веб-версії можуть використовуватися оптимізовані версії. В API ви викликаєте конкретну модель.

Головний висновок

API та звичайні користувацькі запити в ChatGPT з застосунку або веб-версії — це НЕ одне й те саме. 

Якщо відповіді через API здаються менш якісним, проблема часто не в моделі, а в налаштуваннях: слабкому system prompt, відсутності ролей або прикладів, неоптимальних параметрах генерації.

Практичні висновки 

• Веб-версія та мобільний додаток дадуть вам найбільш зручний досвід та реальні результати
• Результати між веб та додатком практично ідентичні
• Якщо вам потрібен API для інтеграції, то будьте готові до додаткового налаштування і того, що він може не відображати ту картину, яку отримає звичайний користувач зробивши цей же запис в застосунку чи веб-версії.

Підсумок

Наше дослідження підтвердило, що видача ChatGPT справді відрізняється при використанні API, що цілком природно з огляду на його призначення та гнучкість налаштувань.

Веб-версія та мобільний додаток показують високу узгодженість результатів, що робить їх взаємозамінними для більшості користувацьких сценаріїв.

Головне розуміти, що кожна платформа створена для своїх цілей, і правильний вибір залежить від ваших конкретних потреб. API — для розробників і інтеграцій, веб та додаток — для прямого спілкування з ШІ. І якщо ви робите якість дії, щоб підвищити цитування вашого сайту в ChatGPT, то перевіряти результати роботи через API не варто, хоча звичайно це простіше і дуже заманливо.