Американские исследователи разработали методику, позволяющую использовать данные с внутричерепных электроэнцефалографов для реконструирования и воспроизведения песен, недавно прослушанных носителем этого устройства.
© shutterstock.com
Во время эксперимента американские ученые осуществляли наблюдения за функционированием мозга 29 эпилептиков. В черепа пациентов было имплантировано свыше 2,6 тыс. электродов.
Участники эксперимента прослушали известную песню Pink Floyd — Another Brick in the Wall. Исследователи отследили перемены в активности различных участков нервной системы, включая верхнюю височную извилину, отвечающую за обработку речи. Как выяснилось, порождаемые ее нейронами сигналы хорошо отражали звуки и слова, которые слышали пациенты.
На основе данного эксперимента была создана нейросеть, способная целиком воссоздать прослушанную песню по данным, собранным электродами. Вот, что получилось (сначала проигрывается фрагмент песни, который прослушивали участники эксперимента, а потом реконструированный):
Благодаря дальнейшему анализу удалось выделить определенные наборы нейронов и области в мозге, ответственные за восприятие ритма, музыкальных инструментов, человеческих голосов.
Эксперты планируют создание новых нейроинтерфейсов, умеющих распознавать мысли, интонацию и эмоции говорящего.
