Windows
Linux
Как и когда пришла идея создать «НейроЧат»? И почему было решено работать именно с пациентами с нарушениями речи? (можно ли сделать вопросы жирным шрифтом?)
Мы руководствовались принципом «помоги больным, потом придешь в мир здоровых». Самой технологии интерфейса «мозг — компьютер» уже порядка 50 лет. Тем не менее до нас это были лабораторные решения или достаточно тяжелые больничные установки. Поэтому возникла идея создать такой интерфейс мозг-компьютер потребительского класса, при котором можно использовать обычный компьютер в домашних условиях, без помощи специального человека. С другой стороны, хотелось дать возможность людям, которые в этом нуждаются, выйти в интернет.
Так, на основе этих двух идей и возник «НейроЧат» — беспроводная нейрогарнитура, которая надевается на голову пользователя и позволяет людям с серьезными нарушениями речи и движений, например, после инсульта, общаться.
Расскажите, как пошагово пользоваться «НейроЧатом»?
Перед пользователем находится экран компьютера, на голову ему надевается нейрогарнитура, регистрирующая слабую биоэлектрическую активность мозга со зрительной коры. На экране появляется матрица из букв, и эти буквы начинают по очереди подсвечиваться. Когда подсвечивается тот ряд, в котором находится нужная пользователю буква, то в течение 300 мс с момента подсветки мозг человека выдаст соответствующий отклик. Затем подсвечиваются буквы в горизонтальном ряду и когда происходит пересечение горизонтальной и вертикальной подсветки, машина на основе классификатора дешифрует запись ЭЭГ и понимает, что это та самая буква, которую задумал пользователь. Самое главное, что он должен у себя в голове постоянно думать о желаемой букве, подавать сигнал в свой мозг, и таким образом обучать мозг реагировать на задуманные символы.
Как только компьютер понял, что данная буква находится на пересечении двух рядов подсветки — она возникает в строке ввода, и пользователь переходит к следующей. Если он ошибся, есть функция «стереть». Опять же машина будет предлагать готовые слова, их так же можно выбрать, сконцентрировавшись мысленно на слове.
Это не технология чтения мыслей, а технология намерения выбрать тот или иной символ.
То есть формально можно использовать пиктограммы или изображения?
Конечно, у нас были такие эксперименты с нашими пользователями, которые, например, не умеют читать. Родители показывали им изображения определенной еды, предметов, действий «пить», «есть» и т. д. Кроме того, в «НейроЧате» реализована игра Memory, когда вы тренируете память и одновременно учитесь пользоваться устройством. Ведь для его корректного применения необходимы концентрация и внимание. Как раз те параметры, что очень важны для когнитивного здоровья, потому что в том информационном мире, в котором мы живём, такой информационный поток, что существует серьезная проблема синдрома дефицита внимания.
Эта нейрогарнитура, насколько она удобна для обездвиженного человека?
Нейрогарнитура разработана таким образом, чтобы человеку было комфортно находиться в ней до 8 часов. У нас проходили эксперименты с разными версиями гарнитуры и пользователями разного пола и возраста в условиях различных помещений и положений: лежа, сидя и т. д. Для разработки нейрогарнитуры мы привлекли одну из самых серьезных команд промдизайнеров во главе с Владимиром Пирожковым из инжинирингового центра прототипирования высокой сложности «Кинетика». Важно было учесть, насколько удобно пользователю находиться в нейрогарнитуре продолжительное время, не давит ли она ему, поэтому поиск был достаточно долгий и креативный.
Существуют ли такие повреждения головного мозга, когда человек не сможет пользоваться «НейроЧатом»?
Прежде всего, это технологические ограничения. В основе «НейроЧата» лежит технология вызванных потенциалов, возникающих в зрительной коре. Это означает, что человек должен видеть. Он может плохо видеть или быть в очках, но главное — реагировать на изображения.
Второе ограничение — пользователь должен различать буквы и уметь читать. Существуют такие нарушения, например, опять же после инсульта, когда человек забывает буквы и то, как из них сложить слово. И последнее — пользователь не должен страдать эпилепсией. Это связано с тем, что человек, использующий «НейроЧат», постоянно смотрит на экран, где мерцают буквы и символы, а значит, нам необходимо обезопасить пользователя, чтобы эта подсветка не причинила ему никакого вреда и не вызвала судорожную готовность при наличии эпилептического диагноза.
Скорость набора текста, используя технологию интерфейса мозг-компьютер без прямого контакта с мозгом, пока достаточно низкая. «НейроЧат» фиксирует реакцию на подсветку задуманного символа, которая возникает примерно через 300 мс. Кроме того, чтобы машинный алгоритм распознал, что человек выбрал именно ту букву, необходимо как минимум 3-4 раза зафиксировать вызванный потенциал. Поэтому скорость набора букв при такой технологии составляет от 6 до 10–12 знаков в минуту. Здоровый же человек, печатающий на клавиатуре, выдает порядка 120 символов в минуту, то есть примерно 2 буквы в секунду.
Утомительно, конечно. А как-то можно ускорить набор?
Конечно, применяется искусственный интеллект, алгоритмы которого могут ускорять набор текста за счет предиктивного анализа (в основе лежит частотный словарь русского языка): например, если человек выбрал буквы «п», «р» и «и», алгоритм предложит выбрать слово «Привет» и т. д. Кроме того, математика сегодня позволяет создавать такие алгоритмы, которые будут обучаться вашей лексике, предлагать самые часто используемые словосочетания. Но тогда и оборудование сразу переходит в разряд индивидуального: его уже будет достаточно трудно использовать другому человеку с другими лексическими предпочтениями. Тогда как с выбором слов и словосочетаний история остается универсальной.
Происходит ли адаптация «НейроЧата» к пользователю?
Да, причем каждый вход в систему начинается с калибровки, поскольку человек может быть в разном физическом и ментальном состоянии, быть уставшим, например. Мы же можем проснуться достаточно бодрыми, а может, все, напротив, валиться из рук. Поэтому скорость подсветок и подбора слов должна соответствовать текущему состоянию пользователя.
Можно ли использовать «НейроЧат» на неродном языке?
У нас даже была пациентка — учительница немецкого языка после инсульта. Да, у нас есть клавиатура на русском, немецком, английском, французском, казахском и турецком языках. Кроме того, современные технологии позволяют делать перевод введенного текста в режиме реального времени. В 2019 году мы проводили сеанс общения между двумя пациентами: Дениса из России и Деборы из США, каждый из них общался на своем языке, а «в пути» текст переводился. И поскольку речь как правило идет о простых предложениях, то перевод не трудно сделать достаточно точным. Поэтому к чату можно добавить фактически любой переводчик, необходимый пользователям.
Другое дело, добавление новых языков означает создание новой матрицы с буквами. Поэтому, например, для иероглифов потребуются многослойные матрицы, ввиду количества возможных символов, а для арабского нет никаких проблем, просто меняется направление ввода.
Почему изначально при разработке «НейроЧата» выбор не был сделан в пользу нейроимплантов?
Несомненно при инвазивной технологии речь идет о совершенно другом взаимодействии чипа с мозгом, другом уровне эффективности, но также и о другом порядке денег и подтверждении эффективности. Самая главная проблема, с которой, в том числе, сталкивается и Илон Маск в своей компании Neuralink, это отторжение. При инвазивном вживлении электродов может возникать капсуляция, а когда речь идет о целом чипе — площадь поверхности соприкосновения еще выше. А затем, удаляя чип, можно что-то серьезно повредить. Поэтому речь идет о серьезных исследованиях и финансовых ресурсах.
Мне кажется, если возможно сделать что-то неинвазивно, то мир будет смотреть именно в сторону таких технологий. Во-первых, это означает, что человек сам управляет устройством, а во вторых, не требуется посторонних вмешательств, чтобы снять или надеть гарнитуру.
То есть вы считаете, что мир будет смотреть в сторону неинвазивных технологий и, скорее всего, именно они будут развиваться быстрее?
Конечно, на мой взгляд, неинвазивные технологии будут развиваться быстрее, хотя я понимаю, откуда идет эта история с популярностью инвазивных устройств — сердечные стимуляторы, существенно улучшающие жизнь людям. Но тут важно учесть, что речь идет о технологии, которая действительно может улучшить качество жизни, если оно пострадало. Та же история и с чипом для диабетиков, который мониторит уровень глюкозы и впрыскивает инсулин вовремя. Путь инвазивных технологий — это, прежде всего, сохранение качества жизни.
05 Марта 2024
