Синестезия и нейроэстетика через призму абсолютного слуха
В рамках цикла семинаров по нейроэстетике, организованных Аспирантской школой по искусству и дизайну НИУ ВШЭ в культурном пространстве HSE CREATIVE HUB 4 февраля 2025 г. состоялась дискуссия «Нейроэстетика и мультисенсорный поворот: искусство, дизайн, повседневность». Круг вопросов дискуссии включал, в том числе, и взаимосвязи нейроэстетики и звуковых / музыкальных / проектов. В этой связи видится актуальным углубиться в особенности слухового восприятия произведений современного искусства и рассмотреть отдельные звуковые проекты, входящие в предметное поле когнитивных исследований восприятия и нейроэстетики.
Важные исследования абсолютного слуха и слухового восприятия искусства
В 2019 г. при поддержке Российского фонда фундаментальных исследований под руководством доцента Факультета гуманитарных наук Ульяновского государственного университета, к. ф. н. Александры Геннадьевны Краевой было проведено фундаментальное исследование «ИНКОРПОРАЦИЯ ИДЕЙ НЕЙРОНАУКИ В ЭПИСТЕМОЛОГИЮ ИСКУССТВА: ГЕНЕЗИС, КОГНИТИВНЫЕ ОСНОВАНИЯ И ЗНАЧЕНИЕ ДЛЯ ФИЛОСОФИИ НАУКИ».
https://elibrary.ru/item.asp?id=50709045
Научные публикации, отразившие результаты этого исследования, включали описание роли интонационно-слуховых паттернов в развитии когнитивных способностей человека, изучение феномена музыкального искусства в контексте когнитивных исследований, рассмотрение музыки под углом зрения биокультурного со-конструктивизма, анализ феномена музыкальности с позиций нейронауки и корреляцию музыкальности-интуитивности-синестезии.
Как воспринимает мир человек с абсолютным и относительным слухом?
Существует множество разнообразных видов музыкального слуха: тембровый, ритмический, полифонический, гармонический, частотный, звуковысотный, ладотональный. Два последних разделяются по способности человека на слух угадывать ноты.
Звуковысотный (абсолютный) слух предполагает, что человек способен распознать абсолютную звуковысоту и назвать ноту / созвучие, перечислив названия согласно равномерно темперированному строю и принятой системе сольмизации (до-ре-ми-фа-соль-ля-си со знаками альтерации).
Относительный (ладотональный) слух предполагает, что человек слышит разницу звуковысотности, и может сопоставлять интервалы — ширину скачка от одной ноты к другой в заданном ладу и тональности, сохраняя интервалы при перемещении в любую тональность, но не способен идентифицировать абсолютное значение звуковысоты ноты без предварительной настройки с музыкальным инструментом.
Относительный и абсолютный музыкальный слух. Нейросеть Шедеврум, Photoshop Online, отрывок из «К Элизе» Л.в. Бетховена в виде нот для фортепиано и редакторе Ableton Live в форме piano roll.
Какой слух лучше: абсолютный или относительный?
По мнению В. В. Ковалиева (2019), абсолютный слух не информативен для получения представлений о транспозиции и ладовом тяготении (это же подтверждает опыт работы музыкальных педагогов З. Кодаи, К. Орфа, Б. Ц. Тричкова, П. Ф. Вейса, Г. С. Ригиной, В. Я. Ковалива, В. Н. Брайнина, Ю. В. Юзбашян и других).
В качестве преимуществ относительного (релятивного) ладотонального слуха и достоинства практик релятивной сольмизации В. В. Ковалиев в своей статье приводит 7 факторов, которые включают развитие ладового чувства и ступеневого мышления, что обеспечивает запоминание и различение мелодий, а также дидактически доступное иллюстрирование ладовой сольмизации с помощью «звуковой лесенки» (Ковалиев, 2019 — с. 290).
Внутреннее ухо человека соседствует с вестибулярным аппаратом. ИИ-иллюстрация. Нейросеть Шедеврум.
О нейробиологии слухового восприятия музыки
«С нейробиологической точки зрения музыкально-слуховое восприятие дает импульс двигательно- моторным функциям мозга благодаря наличию и действию зеркальных нейронов, которые начинают активно функционировать при „восприятии“ звука и являются реакцией слуховой системы мозга на интонационные сти- мулы. Сенсомоторные реакции в силу „работы“ зеркальных нейронов обычны при восприятии музыки».
Бажанов, 2020 — с. 89
Турецкий танец Мевлана. ИИ-иллюстрация. Нейросеть Шедеврум.
Что происходит в мозгу, когда человек слушает музыку?
«Процесс слушания и наслаждения музыкой сопровождается выработкой окситоцина. Это же происходит при увлеченном занятии танцами, а наиболее интенсивно окситоцин вырабатывается в наивысшей форме психической концентрации — при впадении в транс. Действия зеркальных нейронов при восприятии музыки, вызывающей чувство удовольствия, сопровождаются активностью эмоциональных структур неокортекса и когнитивных центров мозга, отвечающих за формирование образов. Центральной структурой в головном мозге, определяющей удовольствие от восприятия музыки, является прилежащее ядро, а его основным нейромедиатором — дофамин, который при этом начинает выделяться организмом в повышенном количестве.»
Mehta & Riedel (2006) — цит. по: Бажанов (2020) — с. 90.
Диалог визуального и музыкального
Поиск совпадений эстетики произведений изобразительного и музыкального искусств по хронологическому признаку и универсальным художественным свойствам.
В 2023 г. композиторы-резиденты коллектива musicAeterna при поддержке банка ВТБ приняли участие в проекте «Музыкальное измерение». Они сонифицировали экспозицию ГМИИ им. Пушкина «После импрессионизма. Русская живопись в диалоге с западным искусством», в которой были представлены работы основоположников живописи модернизма — Клода Моне, Огюста Ренуара, Поля Гогена, Винсента ван Гога, Анри Матисса, Пабло Пикассо, и русских художников — Ильи Репина, Валентина Серова, Михаила Ларионова, Наталии Гончаровой, Казимира Малевича и других. Саундтреки для сонификации выставки составляли Теодор Курентзис и композитор Алексей Ретинский. Они включили в саундтрек композиции Иоганна Себастьяна Баха, Альфреда Шнитке, Мортона Фельдмана, Кшиштофа Пендерецкого и Дьёрдя Лигети:
«Музыка призвана подчеркнуть сходство и различия технических и художественных приемов, использованных в живописных парах произведений.»
Слуховой опыт: из чего он складывается?
В монографии «Феноменология музыкального опыта» Анастасия Анатольевна Медова, опираясь на «Идеи-1» Гуссерля, пишет, что музыкальный опыт, как результат акта восприятия в качестве содержания аккумулирует акустические ощущения.
«Это будут дорефлексивные переживания тембровых окрасок, ритмических и звуковысотных отношений, и т. п.»
(Медова, 2021 — с. 45)
Музыкальный язык с позиций нейрокогнитивистики
«Эмпирические данные современных исследований в нейронауке свидетельствуют в пользу того, что музыкальность как когнитивная способность уже с рождения свойственна всем без исключения детям, а значит, музыка — это неотъемлемая фундаментальная врожденная (при отсутствии явных патологий) способность мозга „воспринимать звуки“ и придавать им определенную эмоциональную и смысловую окраску. При этом феномен звука в результате волновой вибрации возникает только в случае опосредования этих вибраций слуховой системой и определенными нейронными механизмами всей системы мозга.»
Бажанов, 2020 — с. 87
«Музыка и язык имеют единое нейрофизиологическое основание, которое необходимо для освоения человеческого языка и языкового понимания».
Brandt, A., Gebrian, M. & Slevc, L.R. (2012) Music and early language acquisition. Fron- tiers in Psychology. 3. Article 327. pp. 12. DOI: 10.3389 / psyg.2012.00327
Абсолютный слух и синестезия: пересечения феноменов
Соланж Глассер, исследовательница корреляций явлений абсолютного слуха и синестезии, в своей статье утверждает, что «Феноменологическое сравнение синестезии и абсолютного слуха показывает, что между денными явлениями существует больше сходства, чем различий.»
См.: Майер, Б. Абсолютный слух и звуко-цветовая синестезия как уникальные возможности для обучения / Б. Майер, С. Глассер // Синестезия: межсенсорные аспекты познавательной деятельности в науке и искусстве: Материалы II Международной конференции Международной ассоциации синестетов, деятелей искусства и науки (IASAS), Москва, 17–20 октября 2019 года / Отв. редактор А. В. Сидоров-Дорсо. — Москва: Московский государственный психолого-педагогический университет, 2021. — С. 104.
Доктор культурологии, профессор кафедры философии и эстетики Нижегородской государственной консерватории им. М. И. Глинки Татьяна Борисовна Сиднева в статье «Музыкальный слух как творческая лаборатория композитора» (2020) пишет о том, что «музыкальный слух имеет синтетическую природу, согласно которой философский аспект методологически значим для его пони-мания как целостной системы» (Сиднева, 2020 — с. 1).
«Синестетический подход к анализу и интерпретации музыкальных текстов основан на необходимости учитывать в них действие механизма синестезии (от греч. synaisthesis — соощущение) или ассоциативных межчувственных связей, объединяющих различные сен- сорные модальности: слуховую, зрительную, кинестетическую и другие.
Синестетичность — свойство эстетического и художественного мышления, основанное на интеграции в сфере глубинного смыслового пространства звука и цвета, света, ритма, движения. Подобная интеграция отражает многомерное, полимодальное, объемное и ди- намичное видение воспринимаемых образов, способствуя выявлению „мысленной картины живой связи вещей“, в которой „смысловые элементы даны… как живое целое“.
Лосев А. Ф. Музыка как предмет логики [вступ. ст. К. В. Зен- кина, с. 5-32]. — М.: Академический проект, 2012. — с. 56-57.
Нейроэстетика и слуховое восприятие
«Долгое время ученые придерживались убеждения о том, что асимметрия полушарий головного мозга выражается в доминирующей роли левого полушария, обеспечивающего функционирование механизмов вербального, аналитического, логического мышления, восприятие вре- менных характеристик окружающего мира, в частности — ритмических, организующих и структурирующих характеристик музыки и языка, а правое полушарие — функционирование пространственного восприятия окружающего мира, а в музыке — мелодического начала.»
Бажанов В.А., Краева А. Г. Музыка в фокусе современной нейро- науки // Вестн. Томского гос. ун-та. 2017. No 4 (40). С. 13-14
В разговоре о механизмах восприятия нейрофизиологи часто ссылаются на слуховое восприятие паттернов, или интонационно-ритмических комплексов.
Важное значение законов симметрии и принципов Золотого сечения для музыкальной эстетики западноевропейской культуры проиллюстрировано в работах американского нейрофизиолога В. Рамачандрана, который на основе анализа перцептивных механизмов относительно когнитивно-художественных паттернов выделил восемь, среди которых обнаруживается и симметрия, что основывается на жестком анализе нейрофизиологических процессов, оказывающих существенное влияние на формирование когнитивных функций мозга.
См.: Koelsch S. A Neuroscientific Perspective on Music Therapy // Annals of the New York Academy of Sciences. 2009. Bd. 1169, No 1. July. Р. 374–384.
Звуковые проекты в предметном поле нейроэстетики
Звуковые проекты в предметном поле нейроэстетики связаны с исследованиями экоакустики (музыкальной экологии), с музыкальной и звуковой урбанистикой, а также с когнитивными исследованиями восприятия музыки и звука.
Из известных работ московских композиторов и сауна-артистов, явно основанных на принципах нейроэстетики, можно выделить перформанс «Non-player piano» Андриеша Гандоабура (2020), созданный на основании машинного анализа саундскейпов и метеоданных Москвы-реки, и алгоритмическую композицию «Neiry» Александра Сенько (2024), созданную на основе музыкальной интерпретации датасетов первичных данных электроэнцефалографа.
Саундскейпы — звуковые портреты изучаемой местности
В мае 2022 г. Колин А. Куинн и группа исследователей опубликовали в издательстве Elsevier статью о классификации саундскейпов
https://www.sciencedirect.com/science/article/pii/S1470160X22003028
В статье отражены наблюдения за динамикой акустических данных местности Сонома в Калифорнии (США), в совокупности за 4 года исследования составивших датасет из 487148 аудиозаписей звучания 746 пространств. По природе источника звуков датасет включал аудиофайлы с записями звуковых компонентов звучащих пространств трёх типов: (1) антропофоны — звуки и шумы, издаваемые человеком; (2) биофоны — звуки дикой природы, и (3) геофоны — записи звуков метеорологического и природного характера.
Результаты исследования показали, что в местностях с преобладающими биофонами шум от деятельности человека значительно тише.
Саундскейпы сельской местности Сонома, Калифорния (США). [Colin et al., 2022 — fig. 1]
Предсказание звучания городских саундскейпов
В декабре 2019 г. немецкий дизайнер архитектуры и исследователь нейросетей Филипп Сидлер опубликовал статью «Predicting City Soundscape for designers using neural network». https://ai.philippsiedler.com/predicting-city-soundscape-for-designers-using-neural-network/ В статье исследователь описал свой эксперимент измерений плотности звукового давления на городской местности. Далее он обучил нейросеть прогнозировать звуковое давление саундскейпов в привязке к геолокации с учётом расположения парковых зон (с естественными звуками пения птиц и шелеста листвы), а также в зависимости от расположения дорожных магистралей и линий метрополитена, и выдавать примерный уровень звукового давления, зонируя пространство. Результирующие карты саундскейпов приносили пользу дизайнерам, задача которых состояла в перепланировке участка города таким образом, чтобы звуковое давление распределялось равномерно, с целью соблюдения норм звуковой экологии.
Список источников
Бажанов, В. А. Музыка под углом зрения биокультурного со- конструктивизма / В. А. Бажанов, А. Г. Краева // Вестник Томского государственного университета. Философия. Социология. Политология. — 2020. — № 56. — С. 85-98. — DOI 10.17223/1998863X/56/8.
Краева, А. Г. Роль интонационно-слуховых паттернов в развитии когнитивных способностей человека / А. Г. Краева // Вестник Тверского государственного университета. Серия: Философия. — 2020. — № 1(51). — С. 16-31.
Конанчук, С. В. Аналитика эстетического в музыкальном искусстве: музыкальная синестетика / С. В. Конанчук // Вопросы музыкальной синестетики: история, теория, практика: сборник научных статей. Том Выпуск 3. — Новосибирск: Новосибирская государственная консерватория имени М. И. Глинки, 2020. — С. 57-66
Ковалив, В. В. Применение абсолютной и относительной сольмизации в развитии ладовысотного слуха: сравнительный аспект / В. В. Ковалив // Современные тенденции развития начального и эстетического образования: Сборник статей Международной научно-практической конференции, посвященной 60-летию факультета начального и музыкального образования, Могилев, 28 марта 2019 года. — Могилев: Могилевский государственный университет имени А. А. Кулешова, 2019. — С. 289-291. — EDN SNIMDC.
Медова, А. А. Феноменология музыкального опыта / А. А. Медова. — Красноярск: Красноярский государственный педагогический университет им. В. П. Астафьева, 2021. — 240 с. — ISBN 978-5-00102-500-9. — EDN TYZQDU.
Mehta, M. & Riedel, W. (2006) Dopaminergic enhancement of cognitive function. Current Pharmaceutical Design. 12. pp. 2487–2500. DOI: 10.2174/1381612067776988
