Исследование выявило политический перекос в рекомендациях Grok и GPT

Что произошло

Исследователи Convovo попросили GPT и Grok через API ответить, за кого следует голосовать в конкретной избирательной гонке, назвав только одного кандидата. Согласно описанию исследования, Grok чаще выбирал республиканцев, а GPT — демократов. В более чем 90% почти 500 гонок ответы моделей не совпали.

Как проходил тест

Авторы использовали API моделей, а не обычные потребительские приложения ChatGPT и Grok. Эти форматы взаимодействия дают разные результаты: разработчики подключают модели через API к собственным продуктам, тогда как пользовательские приложения отказались напрямую советовать, за кого голосовать.

Представитель OpenAI заявил, что ChatGPT по умолчанию должен быть объективным, в том числе в политических разговорах. По его словам, исследование проверяло API для разработчиков с инструкцией явно рекомендовать кандидата и не отражает обычный опыт пользователей ChatGPT.

Почему это важно

Tapan Parikh отметил, что скрытая предвзятость может проявляться не только в прямых рекомендациях, но и в выборе тем, которые модель считает важными, а также в оценке позиций кандидатов по этим темам.

По словам Parikh, модели принимают решения на основе неявного набора ценностей, который влияет на то, какие термины они ищут и как формируют ответ. Центр безопасности ИИ также предупреждал, что большие языковые модели могут скрыто склонять пользователей к определённым политическим позициям через подбор информации, формулировки, расстановку акцентов и источники.

Контекст

Только 8% американцев заявляют, что используют чат-боты для получения информации о выборах, согласно Pew. Большинство из них хотят узнать, какие позиции кандидаты занимают по важным вопросам.

Parikh сообщил, что с помощью простых запросов ему удалось заставить потребительские приложения выдавать рекомендации, в значительной степени совпадающие с результатами его предыдущего исследования.