Конференция «Алгоритмизация музыки»
5 апреля в пространстве CREATIVE HUB спикеры поговорили в рамках конференции об искусственном интеллекте в саунде, использовании алгоритмов продвижения музыки, алгоритмизации любых процессов, связанных с созданием музыки и её постпродакшном.
В формате TED talk были представлены доклады от ведущих экспертов из академической, исследовательской и бизнес среды. Мы посмотрели проекты с музыкальным ПО, использующим любые алгоритмы, прослушали доклады о произведениях и жанрах цифровой культуры, связанной с ИИ и алгоритмами.
В панельной дискуссии «Использование алгоритмов и генеративных техник в современной музыке» эксперты обсудили актуальные темы развития саунд индустрии.
Завершилось событие презентацией Михаила Мясоедова курса ДПО Max. Визуальное программирование синтезаторов и эффектов.
Первым в TED talk «Проекты в сфере алгоритмического звука» выступил тимлид команды Генеративная музыка в SberDevices Алексей Минин.
SberDevices — подразделение Сбера, которое занимается разработкой девайсов и различных систем искусственного интеллекта абсолютно в разных направлениях. У SberDevices есть также отдел управления экспериментальных систем машинного обучения, в котором работает команда генеративной музыки.
Для начала Алексей ввел в курс дела и дал историческую справку и определение понятия «искусственный интеллект».
Впервые этот термин озвучил еще в 1950-х годах американский информатик Джон Маккарти.
Искусственный интеллект — это область науки и технологий, занимающаяся созданием систем для решения интеллектуальных задач, которые подразумевают использование некоего мышления для их решения.
Поэтому различают прикладной искусственный интеллект или общий, сильный ИИ. Прикладной решает конкретные задачи и более ограничен. Сильный ИИ — это система, которая сможет решить абсолютно разные в неограниченном количестве задачи (как человек).
Все люди сейчас так или иначе пользуются искусственным интеллектом, который зашит в смартфоны и другие девайсы. Но Алексей сделал акцент на ИИ в контексте музыки.
Генеративная музыка — это музыка, которая создается без композиторского участия человека. То есть автоматически компьютер или другая система создает музыкальные композиции.
Для работы с ИИ есть такие варианта, как писать алгоритмы для каждого стиля музыки или обучить нейросеть делать это самостоятельно, предварительно загрузив в нее какое-то количество мелодий.
«Мы можем рассматривать музыку в виде звуковых волн, которые имеют амплитуду, частоту и прочие характеристики или можем ее рассматривать как нотный текст, который записан в определенном специфическом словаре».
Алексей Минин: «Превалирующий подход в генерации музыки сейчас звучит как text-to-music. То есть вы текстом, привычным вам образом описываете, что вы хотите получить».
Раньше генерация одного 2 или 3-минутного трека шла несколько часов, а сейчас это занимает минуты.
Кроме скорости, такие системы на основе ИИ очень хорошо попадают в ожидания. При условие, что было загружено в нейросеть достаточно аналогичного материала, на базе которого можно было создавать новое.
Один из главных минусов такой генеративной музыки — отсутствие простора для творчества. Что-то можно переделать, но в основном это музыка, созданная ИИ, а не человеком.
Сложно переписать такую музыку потому, что ИИ работает поэтапно. Первая программа получает текст, который преобразует его в форму понятную нейронке. Следующий шаг выполняется другой программой, которая пишет ноты. И только третья программа преобразует ноты в звуковые волны.
После насыщенной теоретической части Алексей предложил аудитории поиграть в игру, цель которой угадать, какой музыкальный отрывок написан исключительно человеком без применения ИИ-технологий.
Алексей Минин: «Комбинация различных подходов дает нам замечательный результат. Мы можем нагенерить кусочки аудио-сэмплов и вставить в свой микс. Можем нагенерировать гармонии, нужной тональности треки и все это подсвести. Комбинируя те и иные подходы в различных сервисах, мы достигнем того, что у нас появляется мощный инструмент».
Разработчик отечественного производителя синтезаторов SOMA Lab Вадим Минкин рассказал о том, как создавать функциональные секвенции. Вадим разработал такие устройства, как Ornament 8, Metaconformer, Simplex FM.
Сейчас существуют 3 вида нотной записи информации: — нотная запись, — трекерная запись, — пиано-ролл запись.
На примере растровой и векторной записи изображений Вадим объяснил, как работает синтезатор. Ornament 8 это устройство, которое позволяет функциональным образом синтезировать не только растровые секвенции, в которых нужно постоянно перечислять параметры. Задавая диапазон каждой ячейке синтезатора, можно миксовать ритмы и таким образом создавать новые электронные мелодии.
Посмотреть и послушать, как работает синтезатор Ornament 8, можно в трансляции конференции.
«Ornament позволяет именно интуитивным образом через вращение ручек, через соединение модулей, через создание какой-то логики их взаимодействия получать новые ритмы. Их можно потом сохранить в компьютер и дальше модифицировать, но именно этап творчества, импульс вдохновения, так скажем, он позволяет получить».
Вадим Минкин: «Когда я разрабатывал свой первый синтезатор Ornament 8, у меня в голове крутилась такая мысль: я хочу создать устройство, позволяющее музыканту, управляя этим устройством, синтезировать хотя бы ритмические рисунки».
Руководитель отдела саунд-дизайна и голосовых технологий для электронного транспорта в Атоме Гренков Александр рассказал, как компания разрабатывает сейчас новый электромобиль на базе КАМАЗа.
В связи с диджитализацией автомобиль становится не только средством передвижения, но и личным гаджетом, который человек может настраивать под себя.
Александр поделился, что саунд-дизайнер сейчас делает звуковую айдентику для современных автомобилей. Прорабатывает комфортную среду для потенциального пользователя электрокара, с точки зрения саунда.
«Комфорт, безопасность, адаптивность, самовыражение — все эти вещи мы также реализуем в виде звука».
Гренков Александр: «У нас достаточно большое количество электрического транспорта появилось, он бесшумный, и возникла такая задача, что транспорт должен звучать, транспорт должен иметь какой-то определенный саунд. Это, в первую очередь, мера безопасности».
Сейчас компания Атом занимается разработкой голосового помощника, задача которого будет «не развлекать водителя, отвлекая его от дороги, а наоборот обеспечивать управление функциями автомобиля с помощью голоса».
Гренков Александр: «Я занимаюсь проектированием голосового управления автомобилем, и это также завязано на звуковом дизайне. Все звуковые сигналы, которые сопровождают любое действие водителя, должны быть максимально продуманы, не вызывать страх».
Александр считает, что востребованность именно в саунд дизайне электротранспорта будет только расти. Особенно востребованы будут специалисты, которые понимают не только как создавать генеративную музыку и звуки для автомобиля, но и инженерную часть.
«Это такая комплексная работа на стыке саунд дизайна, инженеринга и работы юзер-экспириенс-специалиста. То есть многопрофильного дизайнера».
Куратор программы Music Business в Moscow Music School и основатель музыкального агентства mishas agency Михаил Мазунов тоже рассказал про технологии искусственного интеллекта в музыкальной индустрии, но с точки зрения бизнеса, владельцев авторскими смежными правами, дистрибьютеров.
Что может делать ИИ в музыке?
- создавать музыкальный каталог, где могут систематизировано хранится все треки. Сейчас развивается синхронизация — процесс, когда музыку накладывают на видеоконтент. И с помощью каталога легче найти по тэгу подходящую мелодию, а создатель мелодии может настроить монетизацию за использование своего произведения. - написание текстов (пресс-релизов, питчей, текстов песен) - создание обложек для альбомов и синглов - создание видео
Михаил Мазунов: «Как бы классно не научились нейронки делать музыку, у них нет одного качества. Они не умеют страдать».
Михаил рассказал про интересный кейс, как артисты по его просьбе попробовали сделать с помощью нейросетей текст песни, обложку, видео для выступления на фоне и пресс-релиз. Одна команда создала трек, который вышел и попал в несколько плейлистов в ВК.
Как ИИ помогает с продвижением музыки?
На большинстве платформ таких, как Яндекс Музыка и Spotify, есть система рекомендаций. Это позволяет любым, даже неизвестным исполнителям быть услышанными и стать популярными. Также ИИ помогает настраивать таргетированную рекламу. Сейчас стали появляться специализированные чат-боты, которые становятся почти что личным менеджером для артистов, отвечая на их вопросы.
С помощью ИИ создаются цифровые копии известных артистов. Такие аватары могут 24/7 общаться с фанатами, создавать рекламные видео.
Однако возникла проблема с кражей авторских прав из-за возможности клонирование голоса и множества каверов.
Происходит замусоривание цифровых площадок генеративной музыкой.
Что с этим делать? Вводить новое законы, регулирующие защиту образа человека в целом: внешность, голос и другие параметры.
Дмитрий Соколов как предприниматель с 15-летний опытом рассказал, как можно на практике применять те алгоритмы, про которые говорил предыдущий спикер.
«10 лет назад я был тем человеком, кто в России первый начал продавать музыкальные рекомендации. Еще 10 лет назад я создал первый стриминговый lossless сервис, и с этим выиграл хакатон в Яндексе вместе со своей командой».
Что можно предложить пользователю для того, чтобы составить ему уникальный плейлист?
Очень важно понимать, какая проблема у пользователя, c которым ты работаешь. Дмитрий понял, что у многих людей просто не хватает времени, чтобы составить новый плейлист для пробежки, например. И они готовы заплатить деньги, чтобы получить новый плейлист. Но при условие, что человек, предоставляющий такую услугу, достаточно авторитетный или из известной компании.
Для предпринимателя важно понимать, в чем ценность продукта. Почему он удачный или нет? Lifetime Value — самый точный показатель качества. Это то, сколько зарабатывает предприниматель за весь жизненный цикл клиента.
Также важны retention (сколько пользователей вернулось на сайт), лайки, реальная прибыль, инвесторы и своя команда.
Большую ценность имеет общение с клиентами, подробное интервью, в котором можно выяснить все детали о плюсах и минусах своего продукта или услуги. Так можно понять, как его улучшить.
«Реклама на языке пользователя».
Дмитрий Соколов: «Самый быстрый путь захотеть что-то делать на самом деле — это сначала сходить к тем, кто потенциально может быть вашим клиентом. Вы получите подтверждение, что вы придумали фигню или получите энергию от того, что это может быть нужно».
По QR-коду из презентации гости конференции могли сгенерировать в своем телефоне свою первую афишу с помощью чат-бота, разработанного Дмитрием.
Дмитрий Соколов закончил свое выступление предложением о сотрудничестве, которому он всегда будет рад.
Преподаватель по специальности «Арт-менеджмент», автор лекционных курсов, менеджер направления «Саунд-арт и саунд-дизайн» Школы дизайна НИУ ВШЭ Анна Шелепова поделилась кейсами студентов и преподавателей, которые создавали свои проекты с помощью искусственного интеллекта.
Например, студент Александр Малевич под кураторством Евгения Фадеева создал генеративную музыку и описание к альбому с помощью ИИ. Анна предложила послушать небольшой кусок композиции.
Владислава Абрамов и Олег Дорофеев, куратором которых был Александр Сенько создали саунд-арт-работу Moscow Time Capsule (МТС), посвященную Москве. Проект Александра Сенько Up and Away тоже интересный эксперимент со звуком и изображением, выглядит как «графическая партитура».
Панельная дискуссия
«Использование алгоритмов и генеративных техник в современной музыке» — так была сформулирована тема панельной дискуссии. Модератором выступила аспирантка Аспирантской школы по искусству и дизайну, приглашённый преподаватель Школы дизайна НИУ ВШЭ, композитор Евгения Евпак. Началась беседа с вопроса всем участникам:
Какие творческие музыкальные проекты создают сейчас спикеры?
Автор проекта экспериментальной музыки «NEmonitor» Виктор Дёмин ответил, что сейчас он работает над созданием алгоритма, который может генерировать музыку бесконечно, при этом не повторяясь. Его вдохновило в свое время приложение Eternal Flow, которое может генерировать космическую музыку в реальном времени и никогда не повторяться.
Виктор подчеркнул, что создает не техно, а музыку в жанре IDM (Intelligent dance music).
Когда вы будете считать, что ваше изобретение удалось? Какую общественную пользу такое изобретение может принести?
Виктор: «Надо научить секвенсор создавать самому новые звуки. Тогда это возможно будет. Пока я эти звуки делаю сам».
Композитор и преподаватель композиции, автор курсов по современной музыке Владимир Горлинский рассказал про алгоритмизацию композиторского процесса. Во второй половине XX века композиторы стали использовать особые приёмы в партитурах, которые расшатывают стройность музыкального текста и дают больше свободы и вариативности.
Владимир продемонстрировал проявление алгоритмического подхода в музыке. На нотном изображение мы видим, как с помощью алгоритма в музыкальном тексте прописано перемещение звука.
«Каждое новое сочинение — это новые задачи для исполнителя. Оно должно приводить к некоторому новому языку. В нотном редакторе композитор сочиняет некий новый графический язык».
Владимир Горлинский: «Секвенсор наследовал идею партитуры, выразил её в другом графическом измерении. Поэтому алгоритмический подход уже заложен у академических композиторов как бы с молоком.То есть мы, изучая партитуры, уже изучаем, на самом деле, алгоритмику».
Что сейчас является передовыми задачами для вас?
Музыкант, композитор и преподаватель в московской Консерватории Фёдор Веткалов поделился, что предмет его исследования — естественная потребность использовать эти алгоритмы для того, чтобы реализовать порывы души, то есть это просто способ самореализации.
«Моя задача фактически заниматься оживлением звука. Мне кажется, любой человек занимается созданием мира своего. Создавать реальный мир не нужно, потому что он уже есть. А создавать свой, мне кажется, это и есть самая интересная задача в искусстве».
Фёдор Веткалов: «Я понял, что любой самый плохо настроенный инструмент, например, какая-нибудь ужасная гитара, она всегда будет лучше самого плохого на земле синтезатора, потому что она живая, просто ее природа живая».
В процессе дискуссии возник вопрос о реакции целевой и нецелевой аудитории на восприятие алгоритмической музыки. В качестве примера Евгения Евпак вспомнила, как возрастное поколение попросило на одну часть сократить её сочинение «Случайный НЛО». Эксперты отметили, что подобные истории среди неподготовленной аудитории имеют место.
Владимир добавил, что, вероятно, такая острая реакция произошла из-за того, что алгоритм — это что-то очень архаическое. Эту идею спикер узнал впервые в контексте творчества композитора и математика Яниса Ксенакиса. Его сложные партитуры очень органично ложились на балетные перфомансы. То есть люди легко подключались к таким схемам, причем больше телом, чем разумом.
Евгения Евпак: «Ритм — это одна из первых музыкально-семантических форм, которые появились в истории музыки. Может быть, чуть раньше только появилось пение».
Спикеры поделились своими взглядами на творчество. Рассказали, как они сами сочиняют музыкальные произведения.
Виктор сказал, что пишет музыку «на глаз». Причем ему не нужно вдохновение извне. Наоборот Виктор закрывается дома, задвинув шторы и, только буквально отгородившись от мира, может творить. Создает отдельные кусочки, из которых потом начинает «что-то лепить».
Владимир отметил, что он ищет во всех музыкальных произведениях аналогии. Ему необходимо понимать всю конструкцию целиком: «момент обратной связи от чего-то большего для меня важен».
Фёдор старается относится к любой мелодии бережно: «Я её слушаю, и в какой-то момент я пытаюсь просто понять, что бы сделать, чтобы это не испортить. Человек начинает разговаривать с инструментами, инструмент с ним начинает разговаривать».
Как понять что качественно, хорошо в музыке или в вокале? Какие параметры это определяют?
Используют ли спикеры ИИ при создании своей музыки?
Такие вопросы из зала были заданы Владимиру, Виктору и Фёдору. Что ответили эксперты, вы можете узнать, посмотрев трансляцию .
Композитор, художник и сотрудник саунд-лаборатории Школы дизайна НИУ ВШЭ Михаил Мясоедов продемонстрировал, как проходят его практические занятия со студентами курса ДПО «Max. Визуальное программирование синтезаторов и эффектов».
Михаил рассказал, чему можно научиться на курсе и показал, как работает его собственный интерактивный софт Max, который позволяет генерировать музыку, но может быть связан не только со звуком. Посмотреть, как это происходит, можно в трансляции.
Мероприятие прошло 05 апреля с 17:30 до 22:00 в пространстве HSE CREATIVE HUB.
Подробнее об этом и других событиях, проходящих на площадке CREATIVE HUB, можно узнать на сайте creative.hse.ru/hub
