Science Advances: разработан способ превращения активности мозга в связный текст

Японские исследователи разработали метод, который способен преобразовывать активность мозга человека в осмысленный текст — даже когда человек не говорит и не думает словами. Вместо того чтобы расшифровывать речь, система "читает" невербальные представления, возникающие в мозге до того, как мысли оформляются в слова.

Работа опубликована в журнале Science Advances.

Ученые под руководством Томоясу Хорикавы показали, что мозг содержит достаточно информации для создания текстового описания происходящего — даже если человек просто смотрит или вспоминает видео без звука. Используя функциональную МРТ и языковые модели, исследователи смогли генерировать подписи к роликам, которые точно отражали как реальные события на экране, так и субъективные воспоминания участников.

По словам Хорикавы, идея возникла из давнего вопроса нейронауки — можно ли "услышать" внутреннее содержание сознания без опоры на язык.

"Меня давно интересует, как мозг создает и представляет наш субъективный опыт — воображение, сновидения, воспоминания. Технологии декодирования мозговой активности помогают приблизиться к этим вопросам", — отметил он.

Разработанная методика получила название mind captioning ("мысленное подписи"). Она состоит из двух этапов: сначала мозговая активность переводится в набор семантических признаков с помощью нейросетевой модели, а затем эти признаки преобразуются в осмысленные предложения.

В эксперименте участвовали шесть взрослых добровольцев. Им показывали тысячи коротких беззвучных видеороликов с изображениями предметов, людей и действий, после чего просили мысленно воспроизвести увиденное.

В это время сканер фиксировал активность мозга. На основе полученных данных компьютер обучался соотносить сигналы мозга с семантическими структурами текста, а затем формировал собственные описания.

Результаты впечатлили: по данным анализа, алгоритм смог с вероятностью около 50% определить, какой именно ролик видел участник — при том, что случайное угадывание давало бы лишь 1%. Сгенерированные описания совпадали с человеческими подписями не только по смыслу, но и по структуре: алгоритм улавливал отношения между объектами и действиями, а не просто перечислял слова.

Особенно важно, что текст можно было создавать даже по сигналам из областей мозга, не связанных с речью. Это доказывает: смысловая информация распределена по многим зонам — в том числе отвечающим за восприятие и память.

"Наш метод показывает, что мозг хранит структурированные представления опыта еще до того, как они становятся словами. Мы не читаем мысли — мы интерпретируем содержание, которое мозг уже закодировал", — пояснил Хорикава.

Исследование открывает перспективы для создания систем коммуникации для людей, утративших возможность говорить или писать, а также для изучения воображения, сновидений и эмоций.