Новое исследование показало, что нейросети лучше людей справились с созданием подписей к популярным интернет-мемам. Сгенерированные ИИ варианты в среднем получили более высокие оценки за юмор, креативность и «вирусность» — потенциал к широкому распространению. Впрочем, в «индивидуальном зачете» все-таки победили люди: самые смешные отдельные примеры были созданы без помощи ИИ-алгоритмов, пишет Naked Science.
Своеобразный турнир по проверке навыков сочинительства подписей к мемам провела группа ученых из Германии и Швеции. В эксперименте задействовали три сценария: в первом задачу выполняли только люди без помощи ИИ, во втором для генерации идей участникам разрешили использовать чат-интерфейс с нейросетью GPT-4o, а в третьем работу полностью поручили искусственному интеллекту. Исследователи использовали уже существующие шаблоны популярных мемов, а люди и нейросеть придумывали к ним только текст, который мог затрагивать одну из трех тем: работу, еду или спорт.
На следующем этапе созданные таким образом «веселые картинки» использовали в онлайн-опросе, организованном с помощью платформы Prolific. В нем участников попросили оценить мемы с подписями по трем критериям: юмор, находчивость (креативный подход) и потенциал к широкому распространению.
Мемы с целиком сгенерированными ИИ подписями в среднем набрали больше баллов по всем трем аспектам.
«Вынужден объявить, что мемная версия теста Тьюринга пройдена», — прокомментировал результаты профессор Уортонской школы бизнеса Итан Моллик (Ethan Mollick). Тест Тьюринга считают способом проверки сходства искусственного интеллекта с человеком.
Однако выводы исследователей не так однозначны, как может показаться на первый взгляд. Хотя у нейросети получились усредненно более удачные мемы, когда ученые рассмотрели отдельные примеры, выяснилось, что самые смешные из них — полностью «человеческие». Кроме того, первые места за креативность и потенциальную вирусность получили мемы, подписи к которым создали люди в тандеме с ИИ.
Также ученые установили, что хотя участники, которым помогала нейросеть, выдвигали больше идей и тратили на это меньше усилий, последующая оценка их подписей показала: в среднем они не лучше тех, где люди сочиняли их самостоятельно. Иначе говоря, повышение продуктивности за счет использования ИИ вело не к лучшим результатам, а лишь к увеличению их количества, пояснили авторы.
По мнению ученых, успех ИИ связан с обучением на огромных массивах данных, что позволило нейросети подбирать подписи, импонирующие более широкой аудитории. Мемы с подписями, созданными людьми, в большей степени отражали личный опыт, и временами такие варианты оказывались самыми удачными и яркими. Однако в общей массе они проигрывали версиям, сгенерированным нейросетью.
С полным текстом исследования, которое планируют представить на международной конференции 2025 International Conference on Intelligent User Interfaces в конце марта, можно ознакомиться на сервере препринтов arXiv.
Среди ограничений работы ученые упомянули наличие временных рамок в эксперименте, привлечение к оценке не экспертов, а добровольцев с краудсорсинговой платформы, а также неучитывание культурных особенностей восприятия юмора. Эти моменты следует принять во внимание в будущих исследованиях.