Взаимодействие визуальных образов с внутренним слухом человека

1. Концепция исследования
2. Реалистичные образы
3. Текстовые образы
4. Воплощение звука в комиксах и манге
5. Музыкальные образы
6. Звук в современном искусстве

Каждое живое существо на Земле находится в определённой звуковой среде. Звук — это объективное физическое явление, которое представляет собой распространение вызванных механическими колебаниями упругих волн в среде. Однако восприятие звука у каждого человека индивидуально, ведь на него влияют не только физические характеристики звука (например: амплитуда, частота, тембр, продолжительность) или конкретных физических условий (например: среда распространения, акустические особенности, положение в пространстве), но и субъективные особенности человека, которые могут сильно отличаться от одного индивида к другому — физиологические (например: возраст, строение уха, состояние слухового аппарата, заболевания) и психологические (например: личный опыт, ассоциации). Хорошим примером является принцип восприятия громкости человеческим ухом.

Все вышеперечисленные факторы формируют у индивида в течение жизни так называемый «внутренний» слух — способность представлять звуки (мелодии, фразы, шумы и так далее), не воспроизводя их физически. Именно этот вид слуха позволяет взаимодействовать со зрителем через различные визуальные медиа, которые не предполагают воспроизведения звукового материала, а передают звук через различные изобразительные образы. В эпоху интернета нам стала доступна огромная база звукового и содержащего звук материала, поэтому представление обычного современного человека о том, каким он бывает, значительно шире, чем, например, столетие назад. Например, практически каждый может точно представить звук взрыва, даже если никогда не слышал его вживую, потому что с огромной вероятностью встречал его в определённом фильме или другом потребляемом контенте. Этот факт потенциально расширяет количество визуальных образов, через которые можно работать с внутренним слухом.

В данном исследовании рассматривается набор способов передачи звука и его параметров через различные изобразительные образы. Цель исследования — выявление принципов взаимодействия различных визуальных элементов с внутренним слухом. В качестве материала для исследования выбраны отрывки из литературных и музыкальных произведений, а также произведения искусства разных эпох.

Абсолютное большинство взрослых людей имеют чёткие представления о мире, который их окружает, начиная от природных явлений и заканчивая бытовой техникой дома. Для большинства объектов сознании человека есть устоявшаяся цепочка «объект — звук», в случаях, когда объект звучит сам по себе или при взаимодействии с другими объектами (средой). Реалистичные образы, отраженные в живописи, на фотографиях или на GIF-изображениях, сами по себе не являясь объектами, которые на них изображены, в силу своей реалистичности быстро распознаются человеческим мозгом и активируют ту самую цепочку. При этом, мощность триггера зависит от личного опыта взаимодействия человека с тем или иным объектом. Это утверждение отлично иллюстрирует распространённое шуточное выражение — «картинка со звуком».

Несмотря на то, что в реальности объект может провоцировать сразу несколько звуковых событий, внимание человека обычно обращено на от одного до двух главных событий. Какие именно звуковые события человек для себя подчеркивает, наблюдая за тем или иным объектом в реальности, определяется личным опытом и ассоциациями.

Базовая единица любого текста — это буква. Буквы в привычном современному человеку виде не являются изобразительными образами. Они несут в себе определенные смыслы, а именно — фонемы, но это, грубо говоря, лишь результат общественного консенсуса, который был необходим для записи устного языка. Буквы складываются в слова, которые, в свою очередь, при помощи знаков препинания складываются в образующие текст элементы — предложения.

Человек, читая текст, проговаривает слова про себя и слышит «внутренний голос». В психоакустике этот феномен называют термином «субвокализация». При этом процессе происходит физическое движение органов речи, помогая мозгу обрабатывать текст. Если, например, торопится, читает бегло, он вычленяет самые важные слова (например, из статьи или документа), для него важна только семантика, то и внутренний голос звучит также торопливо и монотонно. Однако если же человек читает вдумчиво, например, литературное произведение, для него также важны знаки препинания, которые могут влиять на интонацию, акценты, паузы при субвокализации, а наличие нескольких персонажей может влиять на тембр внутреннего голоса.

При описании звуковых событий (например: «крепко целует», «вздыхая») или визуальных образов, которые вызывают у читателя ассоциацию с присущим им звуком, он тут же слышит его в своей голове.

Отдельно стоит упомянуть сонорную поэзию, которая отказывается от семантической функции слов, представляя собой набор фонем, оставаясь открытой к интерпретации для читателя в вопросе вокализации (и субвокализации), хотя в такого рода произведениях зачастую есть авторская интонационная и эмоциональная детерминированность, которая отражается в том, как такое произведение записывается, как слоги расположены по отношению друг к другу, как они отличаются в размере, начертании и так далее.

Современные комиксы и манга достигли невероятных высот в работе с внутренним слухом. Художники выработали систему изобразительных образов, которые отлично считываются читателями.

Например, базовый элемент, который передаёт речь и, часто, мысли персонажей — баллон с текстом — передает эмоциональную окраску голоса, интонацию, громкость, динамику, пространственное расположение и так далее, как за счет самой формы баллона (например: эллипс — нейтральный тон, ломаная кривая — взволнованный) так и за счет пунктуации, шрифта и динамики баллонов внутри кадра или страницы. Представление о тембрах персонажей, в свою очередь, читатель вычленяет из их визуальных образов.