Разница выдачи ChatGPT в веб-версии, API и мобильном приложении: Результаты независимого эксперимента №9

Предоставляя услугу AEO, мы нуждались в постоянной проверке выдачи ChatGPT, чтобы реально знать, помогают ли наши действия клиенту попасть в выдачу результатов по желаемым запросам или нет. Такие проверки должны быть объемными (массовыми) и независимыми. Поэтому мы использовали API Open AI, также систему, имитирующую человеческое поведение и ручные анонимные сессии. В ходе этого мы заметили, что метод проверки влияет на результат.

Итак, у нас возник вопрос: Можно ли считать, что ChatGPT будет давать одинаковый ответ независимо от того, где вы его используете? Наша команда решила проверить эту гипотезу на практике, чтобы не быть голословной. Мы провели системное тестирование выдачи ChatGPT через веб-интерфейс, API и мобильное приложение. Забегая вперед — мы были правы и подтвердили нашу гипотезу.

Гипотеза исследования

Гипотеза, которую мы выдвинули, звучала так:

• Выдача ChatGPT в веб-версии, через API и в мобильном приложении может существенно отличаться даже при одинаковых запросах.

Методика тестирования

Чтобы получить объективные результаты, мы сформировали и зафиксировали методику проверки:

Тестовые запросы: 10 геонезависимых вопросов (чтобы исключить влияние локации пользователя)

Платформы для тестирования:

• Веб-версия (с аккаунтом)
• Веб-версия (режим инкогнито)
• API ChatGPT (с тремя значениями параметра Temperature: 0.4, 0.7, 1.0)
• Мобильное приложение

Важная деталь: стандартное значение Temperature равно 0.7, поэтому мы проверили работу с более низким (0.4), стандартным (0.7) и более высоким (1.0) значениями для API.

Условия тестирования: все проверки производились в отдельных новых чатах для чистоты эксперимента.

Результаты исследования

Все полученные результаты фиксировались в таблице: Is the ChatGPT issuance different in the web version, via API and in the application?

Пример разбора одного запроса:
Запрос: “emergency plumber in Sydney”

Web incognito:

API temperature 0.7:

App account:

После анализа всех полученных данных мы пришли к нескольким важным выводам:

1. API выдает наиболее отличные результаты

Выдача через API наиболее существенно отличается от других платформ. Ответы имеют другой формат, структуру и иногда даже содержание.

Ключевые отличия API:

• API дает более краткие, технические ответы без дополнительных пояснений, обычно присутствующих в веб-версии
• API создан для встраивания ИИ в посторонние продукты, создания чата, генерации контента, автоматизированных переводов, а не для диалога с пользователем
• API почти “чистая” модель, строго выполняющая то, что вы ей передали, без дополнительных слоев оптимизации для пользовательского опыта
• Вы получаете то, что запрограммировали – никаких автоматических улучшений, уточнений или дополнительного контекста

2. Веб-версия и приложение показывают схожие между собой результаты

В большинстве случаев ответы в веб-версии ChatGPT и мобильном приложении очень похожи между собой. Это логично, ведь оба интерфейса ориентированы на обычного пользователя и диалоговый формат общения.

Что объединяет веб-версию и приложение (chat.openai.com):

• Обе платформы настроены на естественное общение с пользователем
• Модель автоматически добавляет контекст, примеры и уточнения.
• Встроенные механизмы проверки и переформулирования для удобства пользователя
• Интерфейс адаптирован под нужды обычного человека, а не разработчика

3. Параметр Temperature не показал ожидаемого эффекта

В рамках данного теста параметр Temperature не показал ожидаемого эффекта (0.4, 0.7, 1.0).

Почему так вышло?

Параметр Temperature в первую очередь влияет на креативность и вариативность при повторных запросах, а не на структуру или формат одноразовых ответов. То есть, если вы задаете один и тот же вопрос несколько раз, Temperature определяет, насколько разными будут ответы. Но на качество и полноту первого ответа он оказывает влияние минимально.

Почему возникают отличия?

Чтобы лучше понять причины отличий, мы также проанализировали объяснения самой модели. Вот ключевые факторы, влияющие на разницу в выдаче:

Фактор	Объяснение
Системные инструкции	Веб/приложение ориентировано на диалог и удобство пользователя. API получает минимальные инструкции, вы сами определяете правила работы.
Контекст диалога	У веб-версии есть история, память стиля и подсказки. В API нет автоматической памяти и каждый запрос изолирован, если вы не передаете контекст вручную.
Настройка генерации	В API вы управляете параметрами (temperature, top_p, max_tokens). В веб-версии эти настройки скрыты и динамичны.
Дополнительные слои	Веб-версия имеет фильтрацию, safety-слои и переформулирование. API отвечает более прямолинейно.
Версии модели	Веб-версии могут использоваться оптимизированные версии. В API вы вызываете конкретную модель.

Главный вывод

API и обычные пользовательские запросы в ChatGPT из приложения или веб-версии – это не одно и то же. 

Если ответы через API кажутся менее качественными, проблема часто не в модели, а в настройках: слабом system prompt, отсутствии ролей или примеров, неоптимальных параметрах генерации.

Практические выводы 

• Веб-версия и мобильное приложение дадут вам наиболее удобный опыт и реальные результаты.
• Результаты между веб и приложением практически идентичны
• Если вам нужен API для интеграции, то будьте готовы к дополнительной настройке и тому, что он может не отображать ту картину, которую получит обычный пользователь, сделав эту же запись в приложении или веб-версии.

Итог

Наше исследование подтвердило, что выдача ChatGPT действительно отличается при использовании API, что вполне естественно ввиду его назначения и гибкости настроек.

Веб-версия и мобильное приложение показывают высокую согласованность результатов, что делает их взаимозаменяемыми для большинства пользовательских сценариев.

Главное понимать, что каждая платформа создана для своих целей и правильный выбор зависит от ваших конкретных потребностей. API – для разработчиков и интеграций, веб и приложение – для прямого общения с ИИ. И если вы производите качество действия, чтобы повысить цитирование вашего сайта в ChatGPT, то проверять результаты работы через API не стоит, хотя конечно это проще и очень заманчиво.