Искусственный интеллект «Писец» допустил ошибки в «Тотальном диктанте»

Ученые Новосибирского государственного университета (НГУ) проанализировали ошибки, которые допустил искусственный интеллект «Писец» во время «Тотального диктанта». Мероприятие прошло 20 апреля.

Открытая система «Писец» показала хорошие знания грамматики. Однако некоторые слова программа распознала неверно, что и стало причиной ошибок.

«Писец» разработал сотрудник Лаборатории прикладных цифровых технологий Международного научно-образовательного математического центра НГУ и сооснователь стартапа «Сибирские нейросети» Иваном Бондаренко. Создатель «Писца» предполагал, что положительной оценки ИИ не получит. Это связано с тем, что «Писец» пока неправильно ставит знаки препинания в тексте. Главная цель этого эксперимента заключается в том, чтобы собрать статистику о совершаемых ошибках, и потом усовершенствовать систему.

Результат: «Писец» удовлетворительно расставил запятые и разбил текст на абзацы. Последнее получилось, поскольку ИИ научился распознавать кодовые фразы. Например, «пишем с красной строки». Для введения данной возможности использовали нейросеть, обученную на базе Longformer выделять «внесюжетные» вставки.

В роли проверяющего выступила старший преподаватель кафедры источниковедения литературы и древних языков Гуманитарного Института НГУ Людмила Буднева. «Писцу» почти поставили тройку, но из 276 слов диктанта он пропустил 6 слов. Где-то ИИ не поставил точки, но новое предложение начал с заглавной буквы. Один раз ИИ не написал предлог «в», и семь слов услышал неверно.

«Например, вместо «наивысшего» искусственный интеллект написал «наявившего». Другой пример словотворчества – «кальиончатых» вместо «клеенчатых». Встретилось и неверно услышанное выражение «Читай – не хочу». Вместо него написано «Считай, не хотите», свидетельствующее и о проблемах с грамматикой», – рассказала Людмила Буднева.

«Писец» порой ошибался в окончаниях слов. Вместо «способны» в тексте написано «способный». В итоге вышло «как способный лишь немногие».

Когда «Писец» распознавал слова диктанта верно, то выдавал текст на грани между тройкой и четвёркой. Результат эксперимента получился неожиданным и многообещающим.

Опираясь на результаты «Писца», полученные на «Тотальном диктанте», разработчики наметили ближайшие направления исследований.

Ранее «Бердск-Онлайн» писал, какие сложные слова были на Тотальном диктанте.