ПЕРЕОСМЫСЛЕНИЕ СИНЕСТЕЗИИ МУЛЬТЕМЕДИА. НЕЙРОСЕТИ В ИНСТАЛЛЯЦИЯХ
КОНЦЕПЦИЯ
Современное мультимедийное искусство находится в состоянии непрерывного поиска новых форм и форматов, чему активно способствует цифровая среда, её развитие и появление новых технических возможностей. Благодаря искусственному интеллекту происходит фундаментальное переплетение звука и изображения, ставшее ключевым направлением в работе мультимедийных художников. Нейросети позволяют звуку не просто сопровождать или иллюстрировать визуальный ряд, а напрямую генерировать его, выступая в роли универсального проводника между акустическим и оптическим.
Этот феномен выводит на новый уровень давние художественные поиски в области «визуальной музыки» и синестезии. Также важной особенностью нейросети является принцип её работы: она интерпретирует звук в математическую структуру, генерируя визуальную составляющую мультимедиа, которая является проекцией закономерностей, известные ей. Ранее исследования были основаны на связи звука и изображении, как физические отпечатки (пример «фигуры звука» Эрнеста Хладни [7]), когда звуковые колебания напрямую переводились в визуальную проекцию. Но в этом случае процесс преобразования исключал «обработку» нейронными связями.
Современное мультимедийное искусство активно исследует синтез звука и изображения с помощью нейросетей. Это определяет актуальность темы — то, как искусственный интеллект превращает звук в визуальные образы в современных инсталляциях.
Материал исследования включает работы ключевых художников — от пионеров медиаискусства до современных практиков, чьи проекты демонстрируют эволюцию аудиовизуального синтеза.
Визуальное исследование отражает эволюцию аудиовизуального синтеза: отправной точкой служат исторические примеры синестезии, затем фокус смещается на современные инсталляции, где ключевую роль играют нейросети. Теоретической основой стали работы таких философов, как Фридрих Китлер и Кростоф Кокс, которые помогают объяснить трансформацию взаимоотношений между звуком и изображением.
Основной вопрос, который я рассматриваю в своём визуальном исследовании: Как нейросети меняют аудиовизуальный синтез. В основе исследования лежит гипотеза о том, что нейросети создают не просто перевод, а сложную интерпретацию звука в изображение, порождая новый тип синестезии, где искусство рождается из самой логики вычислений.
РУБРИКАТОР
Глава 1: Эволюция взаимосвязи звука и изображения в мультимедийном искусстве
1. Аналоги синестезии у предшественников 2. Анализ особенностей сопоставления аудиального и визуального в эпоху до-цифрового искусства 3.Гегемония изображения над звуком
Глава 2: Анализ современных инсталляций и практик
1. Аудиовизуальный синтез: звук является первичным генератором визуального образа 2.Нейросети как катализатор нового этапа 3.Синестезия или «мистификация»
Заключение
Библиография Источники изображений
Глава 1: Эволюция взаимосвязи звука и изображения в мультимедийном искусстве
1. АНАЛОГИ СИНЕСТЕЗИИ У ПРЕДШЕСТВЕННИКОВ
Классические примеры «синестезии» в искусстве рубежа XIX–XX веков — А. Н. Скрябин и В. В. Кандинский. Их целью был не просто перенос ощущений, а поиск универсального языка.
«Кандинский считал, что голубой цвет аналогичен звучанию флейты, синий — виолончели, темно-синий — контрабасу, глубокий синий — низким нотам органа, зеленый цвет — цвет покоя, белый — цвет вселенной, откуда исходит великое безмолвие (как пауза в музыке), черный — это мертвое ничто, вечное безмолвие без будущности и надежды. В частности, А. Скрябин эмпирически проработал параллельную таблицу музыкальных и цветовых тонов, убедительно применив этот принцип в „Прометее“ (1911).» [1]
Джим Ходжес «Я мечтал о мире и назвал его Любовь» в галерее Гладстон, Нью-Йорк, 2016
Кристоф Кокс: «Противосинестетика». Кокс противопоставляет традиционную синестезию тому, что он называет «противосинестетикой». Он утверждает, что звук и изображение по своей природе гетерогенны: вместо того чтобы пытаться их синхронизировать, искусство должно выявлять эту радикальную разницу. Работы Джима Ходжеса или Кристиана Марклея являются яркими примерами. [3]
2.АНАЛИЗ ОСОБЕННОСТЕЙ СОПОСТАВЛЕНИЯ АУДИАЛЬНОГО И ВИЗУАЛЬНОГО В ЭПОХУ ДО-ЦИФРОВОГО ИСКУССТВА
Джим Ходжес: Звук и изображение в одной инсталляции не объясняют и не дублируют друг друга. Они сосуществуют, создавая напряженное и многогранное переживание именно благодаря своей независимости.
Кристиан Марклей: В его знаменитой работе «The clock» он физически вырезает отдельные кадры из кинопленки, создавая визуальный ритм, который напрямую, материально влияет на звуковую дорожку. [5] Здесь связь не метафорическая, а индексная и причинная: визуальное изменение напрямую влияет на аудиальное.
3. ГЕГЕМОНИЯ ИЗОБРАЖЕНИЯ НАД ЗВУКОМ
Несмотря на всё многообразие подходов к использованию звука — от духовного синтеза у Кандинского до материальных экспериментов Марклея — общим для них остается один фундаментальный дисбаланс: гегемония визуального над аудиальным. Звук редко выступает как равноправный партнер; гораздо чаще он служит иллюстрацией, дополнением или декорацией для доминирующего изображения.
Композитор и теоретик Мишель Шион пишет: «Именно экран всегда излучает власть и зрелище, и именно изображение, эта собирающая точка и магнит для слуховых впечатлений, — то, что украшается звуком во всем его необузданном великолепии».[6]
Проведенный анализ искусства до-цифровой эры показывает: несмотря на цели и подходы рассмотренных выше художников, сохранялся фундаментальный дисбаланс: визуальное доминировало, а аудиальное подчинялось в качестве «украшения» или иллюстрации, что точно охарактеризовал Мишель Шион.
Кристоф Кокс предлагает смотреть на проблему иначе: как на два независимых потока. Они идут параллельно, взаимодействуют, но не подчиняются друг другу.
Такой подход ломает иерархию и порождает настоящее гибридное искусство. В нём звук и изображение живут вместе в сложной связи, где ничто не является простой иллюстрацией или переводом. Это даёт новую свободу для творчества.
Глава 2: Анализ современных инсталляций и практик
1. АУДИОВИЗУАЛЬНЫЙ СИНТЕЗ: ЗВУК ЯВЛЯЕТСЯ ПЕРВИЧНЫМ ГЕНЕРАТОРОМ ВИЗУАЛЬНОГО ОБРАЗА
Современные технологии радикально преобразуют медиаискусство, создавая новую парадигму аудиовизуального синтеза.
Нейросети и генеративные системы становятся «соавторами», так как с их помощью можно переводить звук в изображение на уровне кода, с учетом их «базы знаний». Этот технологический сдвиг открывает новые возможности для художественного исследования.
Пионеры электронной эры: новая волна медиаискусства
В этом разделе анализа я рассматриваю мультимедийное искусство: начиная с краткого обращения к пионерам электронной эпохи до современных инсталляций. А именно: творчество «новаторов» Нам Джун Пайка и Alva Noto (Карстен Николаи).
А так же Ryoji Ikeda (яп. Рёити Икеда), Robert Henke (Роберт Хенке), Nonotak Studio, 1024 Architecture и Dreamlaser, как последователей: студии и художники, создающие инсталляции сегодня.
1. Нам Джун Пайк и его работа TV Buddha (1974) 2. Инсталляция. Нам Джун Пайк (1993) 3. Alva Noto (Карстен Николаи)
Нам Джун Пайк и Noto
Работа Нам Джун Пайка Регистрация и звука и изображения как модуляция электронных сигналов, выявило возможность более прямых отношений между аудиальным и визуальным, чем ранее. Электронное соединение позволило использовать звук, чтобы менять изображение, и наоборот в реальном времени. [3] — стр. 274
«Проигранные в такой конфигурации треки порождают растровые паттерны… раскрывают электронную обусловленность видео как медиума… белые горизонтальные полосы поднимаются и падают, совмещаются и расходятся на черной поверхности телевизора.»
Работа «telefunken» художника Noto (2000) демонстрирует принципиально новый подход к мультимедиа. Художник выявляет взаимосвязь на уровне электронных сигналов. Его подход изменил саму природу мультимедийного искусства — аудиальное и визуальное порождают друг друга.
Ryoji Ikeda
Ryoji Ikeda: test pattern [100m version], 2013 Пример «постцифровой» эстетики: технология становится главным действующим лицом и смыслом художественного высказывания. Звук генерируется из тех же данных, что и изображение, создавая полный синтез медиа. Говоря о синестезии, то можно размышлять о том, что в данной инсталляции изображение и звук рождаются из одного источника — цифрового кода. С помощью нейросетей художник «перекодировал» данные.
Икэда превращает нематериальные цифровые данные — бинарный код, математические структуры, звуковые частоты — в визуально-звуковое произведение. Его подход заключается не в иллюстрировании, а в демонстрации самого процесса существования цифровой информации, где визуальное и звуковое становятся равноправными проявлениями единого алгоритма.
Редзи Икэда, кадры из работы «Datamatics [prototype-ver.2.0]», 2006-08
Его визуальный язык, сознательно ограниченный монохромной палитрой и минималистичными формами (линиями, точками, паттернами), находится в абсолютной синхронизации со звуковым рядом. Ключевым принципом является объективность: звук и изображение не связаны метафорой или иллюстрацией, а сведены к общим математическим параметрам, что позволяет зрителю наблюдать непосредственный процесс трансляции информации в сенсорный опыт.
Robert Henke (Monolake)
Robert Henke (Monolake), кадры «Lumière III», 2017-2021.
Lumière III (2017-21) Исследование лазера как универсального медиума для синтеза звука и изображения.
Серия аудиовизуальных перформансов «Lumière» (2013-н.в.), является объективному, машинному синтезу медиа. В его работах лазерные лучи — геометрические формы, линии, вспышки становятся его прямым физическим следом.
Роберт Хенке подчеркивает, что в его системе звук всегда является первичным генератором визуального образа. Алгоритм анализирует аудиосигнал в реальном времени и преобразует его параметры (амплитуду, частоту) в команды для управления лазерами. Этот объективный метод, при котором визуализация строго опирается на параметры звука и управляется через собственную программную систему. [11]
Deep Web (2016-19) Это иммерсивная аудиовизуальная система.
Как и в рассмотренной ранее работе: визуальная композиция не интерпретирует звук, а становится его пространственным продолжением. Перфоманс состоит из 175 световых сфер и лазеров, следующих математической логике музыкальной структуры, создавая аудиовизуальную архитектуру.
Трехмерность как новый параметр синтеза. Работа выходит за рамки экранной визуализации аудиального. Хенке использует реальное пространство как средство выразительности. Динамические паттерны формируются в объеме, где внутри звуково-светового поля оказывается зритель.
Инсталляция размывает границы между источником звука и его визуализацией. Световые сферы в своем движении и интенсивности свечения отражают звук в соответствие его силой и частой. [12]
Nonotak Studio
NONOTAK — это творческий дуэт, основанный художницей Ноэми Шипфер и художником по свету и звуку Таками Накамото в конце 2011 года. [13]
NONOTAK работает со световыми и звуковыми инсталляциями и перформансами, создавая произведения, сочетающие свет, звук и пространство, чтобы предоставить зрителям уникальные визуальные и чувственные впечатления.
Эстетика Nonotak вдохновлена архитектурой в стиле минимализм и оптическим искусством.
Важнейшее отличие практики NONOTAK — отказ от экрана. В работах «DAYDREAM V» или «SHIRO» проекции направляются непосредственно на архитектурные элементы и в пространство, превращая зал в гигантский резонансный ящик. Архитектура не просто служит поверхностью для проекции, а становится активным соучастником: ее физические параметры (размер, форма, материал) начинают модулировать и звук, и свет. Это создает эффект тактильной вибрации, где зритель ощущает среду физически, переходя от аудиовизуального ощущения пространства к соматическому.
Nonotak
Nonotak Studio демонстрируют эволюцию синестезии от индивидуального феномена к коллективному переживанию. Их иммерсивные среды, основанные на ритмической синхронизации света и звука, создают общее психофизиологическое состояние аудитории.
Их работы переходят грань общепринятой синестезии: вместо субъективных ассоциаций — прямое воздействие на восприятие через вибрацию. Художники «ломают» восприятие инсталляции как «аудиальное с визуальным», заменяя единой энергетической пульсацией, где технология программирует цельный телесный опыт, а не создает визуальные метафоры звука.
1024 Architecture
Архитектурное бюро 1024, основанное в 2007 году Пьером Шнайдером и Франсуа Вуншелем, создает аудиовизуальные инсталляции, стирающие границы между архитектурой и медиаискусством. С 2014 года к команде присоединился архитектор и композитор Нико Мерлен, усилив музыкальную составляющую их проектов.
Студия работает в диапазоне от камерных выставочных объектов до монументальных городских инсталляций, преобразуя пространство через синтез геометрии, света, звука и движения. Их работы превращают статичную архитектуру в динамичные временные структуры, а мультимедийные перформансы — в иммерсивный опыт реального времени, гармонично интегрированный в городскую среду.
Space Beat (2024)
Монументальная иммерсивная инсталляция «Space Beat» преобразует архитектурное пространство в «пульсирующий организм» света и звука. Восемнадцать 14-метровых светодиодных линий образуют дышащую световую поверхность, существующую в абсолютном ритмическом соответствии с генеративной аудиокомпозицией. [14] [15]
Проект функционирует как исследование синестезии в её пространственном воплощении. Здесь архитектура становится ритмом, а пространство — вибрацией, создавая непрерывный сенсорный опыт. Динамичная, гипнотическая среда периодически нарушается неожиданными визуальными и звуковыми событиями. в «Истории звука» Кристофа Кокса это описывается как «разрыв»
1024 Architecture " Space Beat» 2024
Звук усиливает изображение, а изображение подсвечивает звук. Но это — не синестезия, не какая-то ловкая неврологическая или произвольно-технологическая активация одного чувства другим. [3] — стр. 294
Phorest (2024) — синестезия природного и цифрового
Масштабная инсталляция Phorest преобразует бамбуковую рощу в иммерсивную среду, где лазерный свет ритмично пульсирует над стеблями, создавая «световой лес». Переосмысление: тактильность бамбука, визуальная динамика лучей и звуковой контекст сливаются в единый сенсорный опыт.
Здесь технология не доминирует, а вступает в диалог с органическим. Ритм света, аналогичный природным циклам, обращается к до-цифровому, телесному чувству синтеза, но реализуется через алгоритмическую точность. 1024 Architecture демонстрирует, как современная синестезия выходит за рамки аудиального и визуального, работая с ландшафтом. [16]
Dreamlaser
Dreamlaser — объединение, работающее в сфере мультимедийных технологий с 2005 года. Их работы известны мне благодаря крупному ежегодный фестивалю INTERVALS, проходящий с 2017 года в г. Нижний Новгород.
Каждая из медиа-арт-работ становится высказыванием, которое стремится задать новые направления для осмысления привычной реальности.
404.zero 8.0 — 404.zero — Восемь лазерных проекторов управляются случайными алгоритмами, а звук генерируется модульными синтезаторами в режиме реального времени. Никаких записей лупов. Чистая математика, код и электрические сигналы. [17]
CHAOS audiovisual installation by dreamlaser
Это иммерсивная инсталляция, где звук и изображение порождаются единым алгоритмом. Визуальные паттерны, основанные на математическом хаосе, и звуковые частоты взаимно модулируют друг друга, создавая не иллюстрацию, а неразделимый аудиовизуальный поток.
Это преодоление классической синестезии, где «хаос» становится средой для возникновения нового типа восприятия. Зритель испытывает не слияние чувств, их фундаментальное единство на уровне данных, что характерно для «постцифровой» эпохи мультимедийного искусства.
2.НЕЙРОСЕТИ КАК КАТАЛИЗАТОР НОВОГО ЭТАПА
Нейросети стали катализатором нового этапа в развитии мультимедиа-искусства. Рассмотренные работы демонстрируют фундаментальный сдвиг: от поиска формальных соответствий между звуком и изображением — к их алгоритмическому порождению из единого цифрового источника.
Нейросети преодолели ограничения традиционной синестезии, заменив на модель, в которой: звук и изображение возникают из общих данных, их связь имеет общий первоисточник, а не является метафорой. Технология становится не инструментом, а соавтором
Это образует переход к эпохе, где медиа не иллюстрируют друг друга, а совместно разворачиваются из архитектуры самой нейросети, создавая принципиально новый тип аудиовизуального опыта, основанный на сложности и непредсказуемости алгоритмических процессов.
3.СИНЕСТЕЗИЯ ИЛИ «МИСТИФИКАЦИЯ»
Фридрих Киттлер «Общая цифровизация каналов и информации стирает различия между отдельными медиа. Звук и изображение, голос и текст сводятся к поверхностным эффектам, знакомым потребителям в качестве интерфейсов. Ощущения и чувства превратились в чушь… Все внутри компьютера становится числом: количество без изображения, звука или голоса. И покуда оптоволоконные сети превращают ранее раздельные течения данных в стандартизированные серии оцифрованных чисел, любой медиум может быть переведен в любой другой .» [3] -стр. 266
Фридрих Киттлер, лекция «Chaos and Order», 1989.
Высказывание Китлера 1980-х годов о тотальной оцифровке медиа, казалось бы, ставит под сомнение саму возможность подлинной синестезии. Если звук и изображение — лишь «поверхностные эффекты» единого числового кода, то любое их взаимодействие сводится к техническому переводу данных, а не к глубинной связи восприятий.
Но современные нейросети дают возможность «выхода за рамки» прямой трансляции. Они осуществляют не перевод, а интерпретацию, порождая новые смыслы на стыке медиа. Вместо «общей цифровизации», стирающей различия, возникает система, где медиа не нивелируются, но вступают в сложный диалог, обогащая друг друга.
Таким образом, нейросети преодолели связь соответствия, предложив модель, где синестезия это результат сложного вычисления. Где образовываются скрытые, неочевидные связи между звуком и изображением во время обработки алгоритмов нейронными связями.
Anaconda by S E T U P at Tseh.space (2019) SETUP работает с темнотой: они воспринимают ее как точку входа в историю и возможность появления, рождения чего-либо. Сорокаметровая труба, состоявшая из тысячи диодных палок, восьми лазеров и шестнадцати каналов звука, находилась под потолком, но ее аудиовизуальная энергия заполняла все пространство. Свет появлялся одновременно с акцентами в музыке, металлическое существо дышало и «двигалось», захватывая внимание зрителей и погружая их в созданные медиахудожниками обстоятельства. [17]
Заключение
Проведенное визуальное исследование рассматривает эволюцию аудиовизуального синтеза — от экспериментов раннего авангарда к алгоритмическим системам нейросетей.
Нейросети становятся катализатором принципиально нового этапа, преодолевая как традиционную синестезию, так и предсказание Фридриха Китлера о простой оцифровке медиа.
Современные технологии осуществляют не перевод данных, а их интерпретацию
Медиа художники создают не иллюзию связи медиа, а рождают искусство на основе их первоначальной математической структуры. Таким образом мультимедийное искусство находится в состоянии перехода от «репрезентации» к «генерации». Искусство становится процессом совместного бытия человека и алгоритма.
БИБЛИОГРАФИЯ
Харитонова Н. С. Синтез искусств в контексте теории Василия Кандинского. Вестник ВГИК. 2017; 9(4(34)): 96-104.
Цвет времени Василий Кандинский. «Желтый звук» [Электронный ресурс]. — Режим доступа: https://smotrim.ru/video/1674976
К.Кокс Звуковой поток. Звук, искусство и метафизика / Кристоф Кокс; пер. с англ. Н. Сафонова — М.: Новое литературное обозрение — 304 с.
Джим Ходжес: исследование искусства, идентичности и эмоций посредством смешанных медиа [Электронный ресурс]. — Режим доступа: https://www.artmajeur.com/ru/magazine/8-vstrecajte-i-otkryvajte-dla-seba/dzim-hodzes-issledovanie-iskusstva-identicnosti-i-emocij-posredstvom-smesannyh-media/336295
Кристиан Марклей. «The clock» [Электронный ресурс]. — Режим доступа: https://www.youtube.com/watch?v=rB3CgEnxnYY
К.Кокс Звуковой поток. Звук, искусство и метафизика / стр. 267
Stöckmann, HJ. Chladni meets Napoleon. Eur. Phys. J. Spec. Top. 145, 15–23 (2007).
Деникин А.А. «Постцифровая эстетика» в художественных практиках цифрового искусства [Электронный ресурс]. — Режим доступа: https://cyberleninka.ru/article/n/posttsifrovaya-estetika-v-hudozhestvennyh-praktikah-tsifrovogo-iskusstva/viewer
Ryoji Ikeda: test pattern [100m version], 2013 [Электронный ресурс]. — Режим доступа: https://www.google.com/search?q=Ryoji+Ikeda+-+%C2%ABdata.path%C2%BB+%2F+%C2%ABtest+pattern%C2%BB&oq=Ryoji+Ikeda+-+%C2%ABdata.path%C2%BB+%2F+%C2%ABtest+pattern%C2%BB&gs_lcrp=EgZjaHJvbWUyBggAEEUYOTIHCAEQIRifBdIBBzk4M2owajSoAgCwAgE&sourceid=chrome&ie=UTF-8#fpstate=ive& vld=cid: 96916a09, vid: RZ-dLYmoGW4, st: 0
Ryoji Ikeda [Электронный ресурс]. — Режим доступа: https://www.ryojiikeda.com/project/datamatics/
Lumière III: Robert Henke on the evolution of his A/V project [Электронный ресурс]. — Режим доступа: https://inn8.net/interview-robert-henke-on-lumiere-iii/
DEEP WEB [Электронный ресурс]. — Режим доступа: https://www.deepweb.art/about.html
NONOTAK STUDIO [Электронный ресурс]. — Режим доступа: https://www.nonotak.com/ABOUT-CONTACT
1024 Architecture [Электронный ресурс]. — Режим доступа: https://www.1024architecture.net/about
Искусство звука и света. История, теория, практика. Вып. 1 / Российский институт истории искусств; ред.-сост. О. В. Колганова. — СПб., 2021. — 348 с., ил.
Phorest [Электронный ресурс]. — Режим доступа: https://www.1024architecture.net/projects/phorest
Dreamlaser [Электронный ресурс]. — Режим доступа: https://www.dreamlaser.ru/work
