Взаимодействие визуальных образов с внутренним слухом человека
Содержание
1. Концепция исследования 2. Реалистичные образы 3. Текстовые образы 4. Воплощение звука в комиксах и манге 5. Музыкальные образы 6. Звук в современном искусстве
Концепция исследования
Каждое живое существо на Земле находится в определённой звуковой среде. Звук — это объективное физическое явление, которое представляет собой распространение вызванных механическими колебаниями упругих волн в среде. Однако восприятие звука у каждого человека индивидуально, ведь на него влияют не только физические характеристики звука (например: амплитуда, частота, тембр, продолжительность) или конкретных физических условий (например: среда распространения, акустические особенности, положение в пространстве), но и субъективные особенности человека, которые могут сильно отличаться от одного индивида к другому — физиологические (например: возраст, строение уха, состояние слухового аппарата, заболевания) и психологические (например: личный опыт, ассоциации). Хорошим примером является принцип восприятия громкости человеческим ухом.
Кривые Флетчера-Менсона. Особенности восприятия громкости человеком
Все вышеперечисленные факторы формируют у индивида в течение жизни так называемый «внутренний» слух — способность представлять звуки (мелодии, фразы, шумы и так далее), не воспроизводя их физически. Именно этот вид слуха позволяет взаимодействовать со зрителем через различные визуальные медиа, которые не предполагают воспроизведения звукового материала, а передают звук через различные изобразительные образы. В эпоху интернета нам стала доступна огромная база звукового и содержащего звук материала, поэтому представление обычного современного человека о том, каким он бывает, значительно шире, чем, например, столетие назад. Например, практически каждый может точно представить звук взрыва, даже если никогда не слышал его вживую, потому что с огромной вероятностью встречал его в определённом фильме или другом потребляемом контенте. Этот факт потенциально расширяет количество визуальных образов, через которые можно работать с внутренним слухом.
Динамические оттенки в нотных партитурах
В данном исследовании рассматривается набор способов передачи звука и его параметров через различные изобразительные образы. Цель исследования — выявление принципов взаимодействия различных визуальных элементов с внутренним слухом. В качестве материала для исследования выбраны отрывки из литературных и музыкальных произведений, а также произведения искусства разных эпох.
Реалистичные образы
Абсолютное большинство взрослых людей имеют чёткие представления о мире, который их окружает, начиная от природных явлений и заканчивая бытовой техникой дома. Для большинства объектов сознании человека есть устоявшаяся цепочка «объект — звук», в случаях, когда объект звучит сам по себе или при взаимодействии с другими объектами (средой). Реалистичные образы, отраженные в живописи, на фотографиях или на GIF-изображениях, сами по себе не являясь объектами, которые на них изображены, в силу своей реалистичности быстро распознаются человеческим мозгом и активируют ту самую цепочку. При этом, мощность триггера зависит от личного опыта взаимодействия человека с тем или иным объектом. Это утверждение отлично иллюстрирует распространённое шуточное выражение — «картинка со звуком».
Иван Айвазовский «Корабль среди бурного моря» (1887)
Гонг
Кока-кола
Несмотря на то, что в реальности объект может провоцировать сразу несколько звуковых событий, внимание человека обычно обращено на от одного до двух главных событий. Какие именно звуковые события человек для себя подчеркивает, наблюдая за тем или иным объектом в реальности, определяется личным опытом и ассоциациями.
Текстовые образы
Базовая единица любого текста — это буква. Буквы в привычном современному человеку виде не являются изобразительными образами. Они несут в себе определенные смыслы, а именно — фонемы, но это, грубо говоря, лишь результат общественного консенсуса, который был необходим для записи устного языка. Буквы складываются в слова, которые, в свою очередь, при помощи знаков препинания складываются в образующие текст элементы — предложения.
Буквы английского (слева) и русского (справа) алфавитов
Человек, читая текст, проговаривает слова про себя и слышит «внутренний голос». В психоакустике этот феномен называют термином «субвокализация». При этом процессе происходит физическое движение органов речи, помогая мозгу обрабатывать текст. Если, например, торопится, читает бегло, он вычленяет самые важные слова (например, из статьи или документа), для него важна только семантика, то и внутренний голос звучит также торопливо и монотонно. Однако если же человек читает вдумчиво, например, литературное произведение, для него также важны знаки препинания, которые могут влиять на интонацию, акценты, паузы при субвокализации, а наличие нескольких персонажей может влиять на тембр внутреннего голоса.
Антон Чехов «Вишнёвый сад» (1903)
При описании звуковых событий (например: «крепко целует», «вздыхая») или визуальных образов, которые вызывают у читателя ассоциацию с присущим им звуком, он тут же слышит его в своей голове.
Александр Островский «Гроза» (1859)
Отдельно стоит упомянуть сонорную поэзию, которая отказывается от семантической функции слов, представляя собой набор фонем, оставаясь открытой к интерпретации для читателя в вопросе вокализации (и субвокализации), хотя в такого рода произведениях зачастую есть авторская интонационная и эмоциональная детерминированность, которая отражается в том, как такое произведение записывается, как слоги расположены по отношению друг к другу, как они отличаются в размере, начертании и так далее.
Филиппо Томмазо Маринетти «Zang Tumb Tumb» (1914)
Курт Швиттерс «Ursonate» (1932)
Воплощение звука в комиксах и манге
Современные комиксы и манга достигли невероятных высот в работе с внутренним слухом. Художники выработали систему изобразительных образов, которые отлично считываются читателями.
Масаси Кисимото «Наруто» (1999)
Например, базовый элемент, который передаёт речь и, часто, мысли персонажей — баллон с текстом — передает эмоциональную окраску голоса, интонацию, громкость, динамику, пространственное расположение и так далее, как за счет самой формы баллона (например: эллипс — нейтральный тон, ломаная кривая — взволнованный) так и за счет пунктуации, шрифта и динамики баллонов внутри кадра или страницы. Представление о тембрах персонажей, в свою очередь, читатель вычленяет из их визуальных образов.
Сирай Каиу, Посука Демидзу «Обещанный Неверленд» (2016)
Эйитиро Ода «Ван Пис» (1997)
Коёхару Готоуге «Клинок, рассекающий демонов» (2016)
В основном, звуковые эффекты в комиксах и манге передаются при помощи двух приёмов: 1. Художественные образы. Например, когда персонаж бежит, его окружает множество параллельных направлению его движения линий, создавая некий эффект ветра в ушах. Ещё один пример: когда тяжелый предмет падает, от него летят искры в разные стороны. 2. Ономатопея, или же звукоподражание. Сама фонема даёт информацию о примерной высоте (частоте) звука, тембре. Пунктуация даёт представление о длине звука, размер — о громкости, расположение в кадре — пространственное расположение.
Масамуне Сироу «Призрак в доспехах» (1989)
Ёсида Акими «Банановая рыба» (1986)
Кагами Такая, Ямамото Ямато «Последний Серафим» (2012)
Музыкальные образы
Для записи музыки по сей день используются ноты, которые, как и буквы, являются результатом всеобщего консенсуса. Они образуют нотные партитуры и несут в себе такие характеристики, как высота, длительность, иногда штрих. Могут быть привязаны к слогам, если конкретная партия предназначена для вокального исполнения. Ноты являются главными, но далеко не единственными составляющими партитуры, так как в последней также присутствует информация о темпе, размере, составе инструментов, ключах, тональностях, паузах, динамике громкости и так далее.
Фрагмент партитуры Иоганнеса Брамса «Венгерский танец № 5» для фортепиано (1869)
Если вышеперечисленные примеры субвокализируются большинством людей плюс-минус одинаково, то в случае нотных партитур есть как минимум четыре подхода к субвокализации: 1. Отсутствие субвокализации: если человек не знает теорию музыки, то он не сможет прочитать, а следовательно субвокализировать партитуру или её часть, даже если он имеет развитый музыкальный слух. 2. «Речитативная» субвокализация: знает систему нотации, может выдержать ритм, однако не сможет адекватно расположить звуки относительно друг друга по высоте, так как не обладает достаточно развитым музыкальным слухом. 3. «Относительная» субвокализация: знает теорию музыки, может выдержать ритм, сможет адекватно расположить (пропеть про себя) звуки относительно друг друга по высоте, развит относительный музыкальный слух. 4. «Абсолютная» субвокализация: знает теорию музыки, может выдержать ритм, сможет с минимальной погрешностью расположить (пропеть про себя) звуки по высоте так, как написано в партитуре, обладает абсолютным музыкальным слухом. Кроме того, отдельный индивид может воспроизвести мелодию как, внутренним голосом, так и своим представлением о тембре конкретного инструмента, для которого написана партитура.
Фрагмент партитуры Иоганнеса Брамса «Сестрица» (1894)
С появлением технологий звукозаписи, появляется также понятие частотного спектра. Мыслить категориями спектра может каждый, кто знаком с основами физики звука и звукорежиссуры, однако субвокализировать визуально заданную частоту сможет только человек, который, помимо теоретических знаний, обладает абсолютным музыкальным слухом.
Спектр аудио файла на анализаторе
В XX веке, с началом применения новых технологий для создания музыки, появилась такая форма взаимодействия с внутренним слухом, как графическая партитура, так как классическая партитура не справлялась с задачами, которые ставили авангардисты. Особенность такой партитуры заключается в том, что зачастую в ней много импровизационных элементов, однако к каждой графической партитуре композитором прикладывается легенда с рекомендациями по исполнению. Для передачи звуковой информации могут использоваться как элементы стандартной нотации, так и любые другие графические элементы, любой набор текстовых символов и изобразительных образов. Для восприятия и исполнения графической партитуры (как внутреннего, так и внешнего) важно всё: форма, направление, цвет, размер и любой другой параметр каждого элемента. Зачастую для того, чтобы воспринять такого рода форму записи необходимо лишь иметь представление о логике произведения, необязательно хорошо знать теорию музыки, в отличие от нотных партитур, и слушать исполнения похожих произведений. То есть, достаточно знать, что такое графическая партитура, и как она взаимодействует со зрителем через визуальный канал восприятия, опираясь на личный опыт и ассоциации, не являясь результатом всеобщего консенсуса, в отличие от алфавита или общепринятой системы нотации. Таким образом, у каждого человека результат субвокализации графической партитуры будет заметно отличаться.
Фрагмент партитуры Карлхайца Штокхаузена «Kontakte» (1958)
Брайан Ино «Music for Airports» (1978)
Звук в современном искусстве
В современном искусстве некоторые художники также работают с внутренним слухом и субвокализацией, создавая трёхмерные объекты. В рамках своей работы «Гигантская риторика эксцесса» (2024) художник Глеб Глонти создаёт звучащий объект, который представляет собой расположенные некоторым образом пачки чипсов в шкафу. Так как, по сути, это объект, который выставляется в галерее — его нельзя трогать, однако пачки издают ярко запоминающийся характерный звук, что приводит к тому, что у человека в мозге закрепляется цепочка «пачка чипсов — шуршание», и внутренний слух моментально реагирует на визуальный образ упаковки.
Глеб Глонти «Гигантская риторика эксцесса» (2024)
Далее будут рассмотрены две работы художницы Анны Мартыненко.
Анна Мартыненко «Гости» (2022)
Анна Мартыненко «Гости» (2022)
Проект «Гости» (2022) — это художественный диалог с Римским-Корсаковым, который, будучи синестетом, воспринимал музыкальные тональности как цвета. Вдохновившись этим, художница «оживляет» голоса певцов, превращая их в скульптурные слепки. Форма каждой скульптуры строится по принципам синестезии: высота голоса задаёт количество выступов, диапазон — размах лучей, а колоратура — текстуру поверхности. При этом в работу вплетены как объективные характеристики звука, так и субъективные ощущения самой художницы — её «внутренний синестетический образ» голоса. Размещённые на пустых стульях музея — тех самых, где когда-то сидели знаменитые певцы, — эти скульптуры создают ощущение их присутствия: залы наполняются воображаемым звучанием и нематериальным движением, будто голоса всё ещё звучат, хотя их уже нет.
В данном проекте для активизации внутреннего слуха важен контекст. Зная, какие параметры голоса отражены в скульптурах и сравнивая их друг с другом, индивид сможет услышать своим внутренним слухом различные звуковые образы. Однако эта информация будет обрабатываться мозгом намного дольше, чем устоявшаяся цепочка «объект — звук».
Анна Мартыненко «Пустое место» (2025)
Для реализации проекта «Пустое место» (2025) была создана специальная микрофонная решётка, улавливающая звуковые вибрации с разных направлений вокруг центральной точки. Микрофоны размещались по всему пространству, фиксируя окружающие звуки. Из записей была выбрана одна секунда — яркое звуковое событие или характерный для места шум, чётко выделяющийся в своей структуре. Этот фрагмент затем трансформировался в скульптуру с помощью алгоритма, в котором громкость звука определяла степень давления на форму. В результате получился трёхмерный «слепок» воздушных колебаний — визуализация звука в конкретный момент времени, своего рода «застывшее мгновение».
В данном случае человек не сможет услышать в своей голове конкретные звуковые события, запечатленные в скульптуре, только лишь представить, какими они могли бы быть в контексте места расположения инсталляции. Однако он может прочувствовать разницу громкостей, в зависимости от расположения этих звуковых событий в пространстве, смотря на конкретную скульптуру, представляя себя на её месте.
Заключение
Таким образом, в ходе исследования было выявлено следующее: 1. Возможности субвокализации кратно превышают возможности вокализации 2. Проще всего для человеческого мозга обрабатывать те объекты, звукообразы которых ему уже знакомы 3. При помощи различных графических и типографических элементов можно управлять внутренним слухом читателя (зрителя) 4. Абстрактные образы также поддаются субвокализации, однако звук для каждого человека будет восприниматься по-разному, это связано с индивидуальными особенностями визуального восприятия
Вартанов Александр Валентинович, Шевченко Андрей Олегович ПСИХОФИЗИОЛОГИЧЕСКИЕ МЕХАНИЗМЫ ВНУТРЕННЕГО ПРОГОВАРИВАНИЯ ФОНЕМ // Вестник Московского университета. Серия 14. Психология. 2022. № 1. URL: https://cyberleninka.ru/article/n/psihofiziologicheskie-mehanizmy-vnutrennego-progovarivaniya-fonem (дата обращения: 26.11.2025).
Маклауд, С. Понимание комикса; пер. с англ. — Москва: Издательский дом «Бенефит», 2014.
«Гости» [Электронный ресурс] // Сайт Анны Мартыненко. — URL: https://annamartynenko.ru/project/2022-gosti (дата обращения: 27.11.2025).
«Пустое место» [Электронный ресурс] // Сайт Анны Мартыненко. — URL: https://annamartynenko.ru/project/2025-pustoe-mesto (дата обращения: 27.11.2025).
Проект «ГИГАНТСКАЯ РИТОРИКА ЭКСЦЕССА» [Электронный ресурс] // HSE Design. — URL: https://hsedesign.ru/project/f1220f731f634bb28b3ab51f31bc13be (дата обращения: 27.11.2025).
