15.12.2023
Пакет ZuCo содержит данные о траектории движения глаз пациента в процессе чтения в сочетании с показаниями ЭЭГ. Как долго взгляд задерживается на слове, куда и в каком темпе перепрыгивает и другое. В сочетании с ИИ (с большой языковой моделью) и данными с ЭЭГ возникают сопоставления, которые транслируются в текст.
Исследователи из Технологического университета Сиднея (UTS) создали платформу DeWave LLM, которую протестировали на 29 добровольцах. Оказалось, что точность распознавания мысленно произнесённых фраз в среднем составляет 42,8% в рамках двуязычной оценочной методики машинного перевода BLEU-1. Довольно неплохо для неинвазивной технологии чтения мыслей.
При этом система часто использовала синонимы вместо реально произнесённых пациентом слов и лучше понимала глаголы, что можно объяснить ограниченным набором данных. Впрочем, простор для улучшения методики есть, и опыт это хорошо показал. В любом случае, это лучше, чем ничего, а для страдающих проблемами речи людей это возможность вернуться к живому общению.
Геннадий Детинич
Учёные учатся читать мысли скрестив электроэнцефалограмму с ИИ
Чем глубже в мозг проникают сверхчувствительные датчики учёных, тем точнее сигналы и лучше декодирование мыслей. Однако хотелось бы научиться распознавать мысленную речь без хирургического вмешательства. Это было бы проще и безопаснее. Шаг в этом направлении сделали учёные из Австралии, показав возможность довольно точного распознавания мыслей пациентов без установки датчиков внутрь головного мозга.
Пакет ZuCo содержит данные о траектории движения глаз пациента в процессе чтения в сочетании с показаниями ЭЭГ. Как долго взгляд задерживается на слове, куда и в каком темпе перепрыгивает и другое. В сочетании с ИИ (с большой языковой моделью) и данными с ЭЭГ возникают сопоставления, которые транслируются в текст.
Исследователи из Технологического университета Сиднея (UTS) создали платформу DeWave LLM, которую протестировали на 29 добровольцах. Оказалось, что точность распознавания мысленно произнесённых фраз в среднем составляет 42,8% в рамках двуязычной оценочной методики машинного перевода BLEU-1. Довольно неплохо для неинвазивной технологии чтения мыслей.
При этом система часто использовала синонимы вместо реально произнесённых пациентом слов и лучше понимала глаголы, что можно объяснить ограниченным набором данных. Впрочем, простор для улучшения методики есть, и опыт это хорошо показал. В любом случае, это лучше, чем ничего, а для страдающих проблемами речи людей это возможность вернуться к живому общению.
Геннадий Детинич