OpenAI открыла доступ к Decisions API на фоне конкуренции моделей для принятия решений

Что произошло

OpenAI впервые сделала Decisions API широко доступным пользователям. Сервис предназначен для задач, в которых модель быстро выбирает один из предложенных вариантов и может указывать уровень уверенности.

Компания вышла на рынок моделей для принятия решений, который ранее помог TypeSafe достичь оценки в $7,6 млрд. По словам OpenAI, в текущей версии используется ChatGPT Luna, оптимизированный для более быстрой и дешёвой обработки запросов.

Возможности и первые результаты

OpenAI сообщает, что задержка в Decisions API сокращается с одной–трёх секунд до 100, 120 или 180 миллисекунд. В публичную версию также добавили голосовые и визуальные возможности.

В первых испытаниях Box, Datadog, Ramp и Speak применяли API вместо больших языковых моделей OpenAI. В Speak заявили, что время между действиями уменьшилось с 1,4 секунды до 0,13 секунды. OpenAI также использовала сервис для повышения отзывчивости голосового помощника Dots.

Конкуренция и оценки моделей

Разработчики пока не пришли к единому пониманию того, что делает модель для принятия решений хорошей: результат зависит от сочетания интеллектуальности, стоимости, калибровки и скорости для конкретной задачи.

Публичные рейтинги AIM System One Index и Artificial Analysis Decision Index отдают предпочтение D1 Ultra от Liquid и Elephant-1 от Base Lab. Последняя модель Jev заняла в этих индексах седьмое и третье места, а модель OpenAI — восьмое и четырнадцатое соответственно.

На OpenRouter предложения TypeSafe пока остаются наиболее востребованными. В тесте JevMan, где модели играют в PacMan, последняя модель Jev также возглавила рейтинг.