.jpeg)
Згідно з новим дослідженням, вчені використали генеративний ШІ для реконструкції "високоякісного" відео з активності мозку. Про це йдеться в статті, опублікованій в arXiv.
Дослідники Цзясін Цин, Цзяо Чен і Хуан Хелен Чжоу з Національного університету Сінгапуру і Китайського університету Гонконгу використовували дані фМРТ і модель штучного інтелекту Stable Diffusion для створення моделі під назвою MinD-Video, яка генерує відео з показань мозку.
Демонстрація на джерелі демонструє паралель між відео, яке показували піддослідним, і відео, згенерованим штучним інтелектом, створеним на основі їхньої мозкової активності. Відмінності між двома відео незначні і здебільшого містять схожі сюжети та кольорову палітру.
Підписуйтесь на LIGA.Tech в Telegram: головні новини світу технологій
Відео, опубліковані дослідниками, показують оригінальне відео коней у полі, а потім реконструйоване відео з яскравіше забарвленою версією коней. На іншому відео автомобіль їде лісом, а реконструйоване відео показує людину, яка їде звивистою дорогою, від першої особи з погляду POV. Дослідники встановили, що реконструйовані відео були "якісними", за визначенням рухів і динаміки сцени. Вони також повідомили, що точність відео становить 85%, що є покращенням у порівнянні з попередніми підходами.
Зокрема, вони зазначили, що ці результати висвітлили три основні висновки. Один з них – домінування зорової кори, що свідчить про те, що ця частина мозку є основним компонентом зорового сприйняття. Другий – це те, що кодер фМРТ працює за ієрархічним принципом, який починається зі структурної інформації, а потім переходить до більш абстрактних і візуальних ознак на глибших рівнях. Нарешті, автори виявили, що кодер фМРТ розвивався на кожному етапі навчання, демонструючи свою здатність сприймати більш нюансовану інформацію в міру того, як він продовжує навчання.
Ярослав Жахалов
e-news.com.ua.jpeg)
.jpeg)
.jpeg)
.jpeg)
.jpeg)
.jpeg)
.jpeg)
.jpeg)
