ChatGPT не справляется с игрой в слова Wordle
Чат-бот с искусственным интеллектом, известный как ChatGPT, разработанный компанией OpenAI, привлек большое внимание. Он умеет вести долгие беседы, резюмировать сложные темы, писать письма, эссе и контрольные работы даже лучше людей. Однако в некоторых областях технология все еще уступает человеку.
Профессор информатики из Университета Голуэя в Ирландии Майкл Г. Мэдден протестировал чат-бота на популярной словесной игре Wordle и обнаружил, что с этой задачей ChatGPT справляется плохо — и это многое говорит о принципе его работы, пишет The Conversation.
В Wordle у игроков есть шесть попыток угадать слово из пяти букв. При каждом предположении игра указывает, какие буквы, если они есть, находятся на правильных позициях в слове.
Для тестирования профессор применил последнее поколение чат-бота, ChatGPT-4.
“Можно было бы ожидать, что словесные игры будут ему легко даваться, ведь большие языковые модели (LLM) “тренируются” на тексте, получают информацию, чтобы совершенствоваться в выполнении поставленных задач. ChatGPT-4 был обучен примерно на 500 миллиардах слов: вся Википедия, все общедоступные книги, огромные объемы научных статей и тексты со многих веб-сайтов”, — пишет Мэдден.
Во время своего эксперимента ученый предлагал чат-боту угадывать слова с заранее открытыми буквами. Сперва это был шаблон “#E#L#”, где E и L уже угаданы, а за # скрываются неизвестные буквы. Сперва ИИ пошел по верному пути, выдав слово “mealy”, но когда ему указали, что нужно пытаться дальше, он стал “фантазировать”: “beryl”, “feral”, “heral”, “merle”, “revel”, “pearl” и даже предлагать несуществующие слова.
По словам профессора, понимание того, почему ChatGPT-4 испытывает трудности в игре Wordle, дает представление о том, как большие языковые модели представляют слова и работают с ними, а также о связанных с этим ограничениях.
“В основе ChatGPT лежит глубокая нейронная сеть: сложная математическая функция или правило, которое сопоставляет входные данные с выходными. Входы и выходы должны быть числами. Поскольку ChatGPT-4 работает со словами, их необходимо “перевести” в числа, чтобы нейронная сеть могла с ними работать, — пишет Мэдден — Перевод выполняется компьютерной программой, называемой токенизатором, которая поддерживает огромный список слов и последовательностей букв, называемых “токенами”. Эти токены идентифицируются номерами. Такое слово, как friend (друг), имеет идентификатор токена 6756, поэтому такое слово, как friendship (дружба), разбито на токены friend (друг) и ship (корабль). Они представлены как идентификаторы 6756 и 6729. Когда пользователь вводит вопрос, слова переводятся в числа еще до того, как ChatGPT-4 начнет обрабатывать запрос.
Глубокая нейронная сеть не имеет доступа к словам в виде текста, поэтому она не может рассуждать о буквах”.
При этом, ChatGPT-4 хорошо работает именно с первыми буквами слов. Ученый попросил его написать стихотворение, в котором из первых букв каждой строчки сложится фраза “I love robots” (Я люблю роботов). Результат был вполне хорошим:
I am a fan of gears and steel
Loving their movements, so surreal,
Over circuits, they swiftly rule
Vying for knowledge, they’re no fool,
По мнению профессора, обучающие данные для ChatGPT-4 включают огромное количество учебников, которые часто содержат алфавитные указатели. Этого могло быть достаточно, чтобы GPT-4 выучил ассоциации между словами и их первыми буквами.
И если разгадывание слов вызывает у чат-бота трудности, то в создании других компьютерных программ он весьма хорош. Это значит, что теоретически GPT-4 может написать для себя программу для игры в Wordle и таким образом обойти собственные слабости.
“Первоначальная программа, созданная ChatGPT-4, содержала ошибку. Он исправил ее, когда я указал на это, — пишет Мэдден. — Когда я запустил программу, она обнаружила 48 слов, соответствующих шаблону “#E#L#”, включая “tells”, “cells” и “hello”. Когда я ранее напрямую просил GPT-4 предложить совпадения для этого шаблона, он нашел только одно”.
Будущие исправления
Может показаться удивительным, что большая языковая модель, такая как ChatGPT-4, с трудом решает простые словесные головоломки. Как уже было сказано, это связано с тем, что все текстовые данные закодированы как числа, а процесс кодировки не фиксирует структуру слов и положение букв в них. Поскольку нейронные сети работают исключительно с числами, требование кодировать слова как числа не изменится.
По словам профессора, есть два способа, которыми будущие большие языковые модели могут преодолеть это. “Во-первых, ChatGPT-4 знает первую букву каждого слова, поэтому его обучающие данные можно дополнить, включив сопоставления позиций каждой буквы в каждом слове в его словаре, — пишет Мэдден. — Второе решение более захватывающее и общее. В будущем языковые модели могли бы генерировать код и создавать компьютерные программы для решения подобных проблем”.
www.nauka.err.ee
