Учёные обнаружили, что у ИИ пока имеются проблемы с пониманием каламбуров и юмора
Общение человека с большими языковыми моделями может быть вполне гармоничным и естественным до тех пор, пока искусственный интеллект не столкнётся с тонким юмором и двойным смыслом, заложенным в каламбуры. К такому выводу пришли в своём исследовании британские и итальянские исследователи, на доклад которых ссылается издание The Guardian.
Авторы исследования, по данным источника, обнаружили способность больших языковых моделей выявлять структуру каламбура, но с пониманием смысла у них возникают проблемы. Например, при замене ключевого слова в каламбуре, которая в восприятии человека лишает высказывание юмора, большие языковые модели продолжают считать фразу шуткой.
В качестве примера приводилась такая фраза: «Длинные сказки имеют тенденцию к дракону» (Long fairy tales have a tendency to dragon). В этом случае последнее слово звучит идентично с глаголом «drag on» — затягиваться, и именно эта двойственность смысла лежит в основе каламбура. Если авторы эксперимента меняли «dragon» на синонимичный глагол «prolong» или вообще любое другое произвольное слово, ИИ всё равно считал, что результирующая фраза является шуткой.
Как пояснил один из авторов исследования, большие языковые модели запоминают то, что они узнали в процессе обучения. В случае с юмором они запоминают известные им каламбуры, но это вовсе не означает, что они до конца понимают их суть. Замена ключевых слов в шутках, которая начисто лишает их юмора, в восприятии ИИ не является радикальной трансформацией, и он продолжает считать, что имеет дело с каламбуром. Пока большие языковые модели просто неспособны по-настоящему понимать юмор, как резюмируют исследователи.
Фактически, когда ИИ сталкивается с незнакомой игрой слов, выявить наличие каламбура в анализируемой фразе он способен лишь в 20 % случаев. По словам авторов доклада, пока людям следует с осторожностью использовать большие языковые модели в сферах, которые требуют понимания юмора, эмпатии и понимания культурных нюансов. Уверенность в том, что ИИ способен понимать юмор, является не более чем иллюзией.
