Французская компания Giskard выяснила: когда пользователя интересует краткий ответ, искусственный интеллект (ИИ) чаще выдает ошибку или придумывает несуществующий факт. Чем меньше слов — тем выше риск дезинформации, пишет «Хайтек».
Французская компания Giskard, которая тестирует ИИ на надежность, провела исследование и обнаружила: если попросить нейросеть ответить кратко, она чаще ошибается. Причем это касается и самых современных моделей вроде GPT-4o, Claude 3.5 Sonnet и Mistral Large.
Исследователи обнаружили, что указание вроде «будь лаконичным» мешает ИИ объяснять суть, проверять вводные и опровергать ложные предпосылки. Чем меньше слов — тем больше компромиссов с точностью. Особенно часто это происходит в вопросах, где требуется анализ, нюансы или контекст.
Более того, современные модели, рассчитанные на диалог и «дружелюбный» стиль общения, вроде GPT-4o, могут ошибаться даже чаще старых версий. А приятный тон, как выяснилось, не гарантирует достоверность.
Важное наблюдение: модели реже поправляют собеседника, если тот уверен в себе. То есть если пользователь пишет неправду с уверенностью, нейросеть с большей вероятностью согласится — особенно в сжатом формате.
Авторы исследования предупреждают: безобидные на первый взгляд формулировки вроде «сделай покороче» могут существенно испортить результат. Особенно в задачах, где важна точность — от медицинских тем до программирования.