|
Эксперты из университетов Великобритании и Италии исследовали, понимают ли большие языковые модели (LLM) каламбуры и шутки, и пришли к выводу, что они этого не делают.
Современные большие языковые модели только делают вид, что разбираются в шутках и каламбурах, выяснили ученые в новом исследовании. В ходе эксперимента специалисты проверяли, насколько ИИ способен распознавать парономазии – разновидность игры слов, основанную на фонетическом сходстве или двойных значениях. Эта тема стала актуальной после предположений, что такие системы уже способны разбираться в юморе не хуже человека.
Для более точной оценки команда ученых усовершенствовала старые базы данных и создала новые тесты, в которых заменила каламбуры на бессмыслицу. Результаты показали существенное снижение точности распознавания и ошибки при определении того, что является шуткой, а что – обычным предложением. Анализ выявил, что фонетические и контекстные ориентиры, которыми пользуется ИИ, еще недостаточно точны.
При столкновении с незнакомой игрой слов точность определения юмора у моделей падает до 20%, что значительно хуже, чем уровень случайного угадывания – 50%. Также было замечено, что системы зачастую переоценивают свои способности: даже при отсутствии реального понимания они уверенно делают выводы, что «запомнили» смешное.
Вывод - использовать такие модели в задачах, требующих креативности и эмпатии – например, интерпретации культурных шуток или тонкостей юмора – нужно с большой осторожностью. Несмотря на успехи в развитии ИИ, у них все еще отсутствует истинная человеческая интуиция и способность к креативному мышлению.
|
