"Мультимодальный мозговой оркестр" (Multimodal Brain Orchestra — MBO) — это странная смесь науки и искусства, созданная группой учёных и музыкантов из университета Помпеу Фабра (Universitat Pompeu Fabra) в Барселоне. "Только недавно мы стали ценить более сильную связь между сознанием, мозгом и телом, — говорит Пол Верчур (Paul Verschure), руководитель проекта. — Но мы ещё удивимся, увидев, на что ум и мозг окажутся способны, если получат возможность непосредственно взаимодействовать с миром, минуя тело".

Такую возможность, применительно к музыке, и предоставили своим мозгам исследователи. И это было закономерным продолжением экспериментов группы. Ведь MBO — детище лаборатории синтетических, перцептивных, эмоциональных и когнитивных систем (Synthetic Perceptive, Emotive and Cognitive Systems — SPECS), которую Пол и возглавляет. А SPECS — мультидисциплинарная команда, включающая физиков, биологов, психологов, инженеров и специалистов по компьютерной технике.

MBO дебютировал со своей первой композицией Xmotion 23 апреля в Праге на европейской конференции Science Beyond Fiction 2009 (она же European Future Technologies) (иллюстрация SPECS).

Эта лаборатория изучает процессы восприятия и познания, рождения эмоций, психологические и поведенческие механизмы у человека. Но использует для этого "технический" подход — различных роботов, системы виртуальной реальности, интерактивные объекты и компьютерные модели, взаимодействующие с людьми.

Так одним выстрелом убиваются сразу два зайца: учёные узнают что-то новое о том, что скрыто у нас под черепной коробкой, а заодно появляются и тестируются перспективные технологии, которые могут найти применение в широком спектре областей: от биомедицинских исследований и лечения нейрозаболеваний до развлечений.

В развлечениях же порой также бывает скрыт глубокий смысл. Скажем, превратить визуальное восприятие и эмоции оркестрантов в музыку — чем не познавательный опыт?

Как бы странно это ни выглядело, но перед вами два человека, исполняющие музыкальную композицию (кадр BBC).

Оркестр включал одного музыканта, который играл традиционным способом, четырёх так называемых мозговых музыкантов, которые управляли воспроизведением своих партий при помощи мысли (некоторые из этих людей также эпизодически брали в руки и нормальные инструменты), обычного дирижёра (его роль исполнил автор композиции — Джонатас Манцолли (Jonatas Manzolli), а также "эмоционального дирижёра", роль которого мы опишем позднее.

Четыре мозговых музыканта носили головные устройства со множеством датчиков электроэнцефалограммы (эти "мозговые шапки" и сопутствующую им электронику, снимающую показания мозговой активности, поставила оркестрантам австрийская компания Guger Technologies). Мозговые волны служили сигналом для включения того или иного звука (записанной ранее партии того или иного инструмента), а также для коррекции его громкости и модуляции.

Но ведь нужно было сделать так, чтобы композиция не просто проигрывалась с записи, а игралась людьми вживую. Как этого достигли?

Дирижёр в этом оркестре был едва ли не единственным "нормальным" человеком. От остальных в сторону компьютеров тянулись загадочные провода (фото Stanislava Kyselova).

У первой пары музыкантов перед глазами были установлены экраны с хаотично меняющимися строками и столбцами из букв. Исполнители должны были искать среди них заданные символы (в соответствии с ходом партии).

Когда взгляд фиксировал правильный символ, прибор ловил на электроэнцефалограмме так называемый сигнал P300 — характерный зубец, появляющийся всегда через 300 тысячных секунды после узнавания объекта. Этот знак служил сигналом к вступлению тех или иных виртуальных инструментов, звучащих с компьютера.

По ходу произведения некоторые мозговые музыканты исполняли кусочки партий и на обычных инструментах (фотографии Stanislava Kyselova).

Другая пара исполнителей держала перед глазами ящички с четырьмя мигающими на разных частотах лампочками. По знаку дирижёра музыканты должны были сосредотачивать своё внимание на одном из огней. В это время компьютер искал в ЭЭГ характерную подпись от данного визуального стимула (так называемый потенциал SSVEP, зависящий от синхронизации мозговых волн и вспышек).

При этом параметры ЭЭГ, в которых программа вычленяла уровень возбуждения и валентность (двумерная шкала для описания эмоционального состояния), влияли соответственно на громкость музыки и тембр воспроизведения фрагментов.

Кроме "живых" музыкантов на сцене и игрового видео на экране зрители могли следить за сигналами ЭЭГ четырёх мозговых исполнителей, выводимыми на второй большой экран. Тем самым авторы необычной работы дали зрителям возможность наблюдать связь мозговой деятельности и звуков, разносившихся по залу (кадр BBC, фото Stanislava Kyselova).

Но произведение Xmotion включало в себя не только музыкальную часть. Одновременно на большом экране демонстрировались видеокадры, своего рода эмоциональная иллюстрация к музыке. И тут нужно отметить, они не просто проигрывались с заранее сделанной записи.

Вот для чего был нужен ещё один участник — эмоциональный дирижёр (это была женщина). Она сидела в комфортном мягком кресле и через очки виртуальной реальности просматривала серию игровых видеосюжетов, отснятых художником Бехдадом Резазадехом (Behdad Rezazadeh) специально для данного проекта.

Эмоциональный дирижёр и "транслируемые" им кадры (фотографии Stanislava Kyselova и SPECS).

На теле эмоционального дирижёра были закреплены датчики проводимости кожи, дыхания и пульса. При изменении их сигналов компьютер вмешивался в воспроизводимые кадры (что и наблюдали зрители на экране). Таким образом, визуальная часть представления оказывалась отражением зрительного опыта и эмоциональных откликов на него у "второго дирижёра" — той самой дамы в кресле.

Насколько этот видеоряд удачно дополнял музыку, можно только догадываться. Но, заметим, музыку ведь женщина тоже слышала, и её физиологическая реакция отчасти зависела от нот.

Биолог Анна Мура (Anna Mura), один из участников проекта, сравнивает MBO с обычным оркестром: "У нас есть первая скрипка, вторая скрипка и так далее, за исключением того, что вместо скрипок тут — мозги".

Кстати, MBO — не первый пример использования мозговых сигналов для музыки. Скажем, ещё в 1965 году американский композитор Элвин Люсьер (Alvin Lucier) представил композицию Music for Solo Performer, в которой в качестве главной составляющей (дополненной ударными) были использованы "озвученные" альфа-волны из мозга исполнителя (снятые через электроды на коже головы).

Но в MBO впервые в качестве управляющих музыкой элементов были применены "рисунки" мозговой активности более высокого уровня (такие как сигналы P300 и SSVEP).

Как видим, зрителей на премьере было немало. Автор этого снимка пишет, что получилось всё у мозговых музыкантов "на удивление хорошо" (фото Arenamontanus/flickr.com).

Для Верчура и его команды данный эксперимент — скромный шаг на пути к заманчивой цели: раскрепостить мозг в творчестве, дать ему возможность сбросить оковы тела и начать проявлять себя через прямой интерфейс мозг-компьютер, дабы преодолеть границы реальности и расширить субъективный опыт. "Мы умеем это делать, когда спим, – напоминает SPECS. — А с новыми технологиями мы можем проявить этот потенциал, создавая тем самым ноосферу".

Получается, что за курьёзным опытом стоит философия познания себя при помощи техники. И это только начало.

"Люди считают, что понимание того, как мы чувствуем, поможет нам осмыслить, что такое собственно сознание. Наша технология идёт в этом направлении. Пока мы не можем с её помощью объяснить сознание, но мы, по крайней мере, изучаем его поверхность", — поясняет Анна.

А как всё это выглядело, можно увидеть в ролике, показывающем финальную репетицию оркестра перед дебютом на публике.