24.11.2023
Генерация музыки стала возможна в GigaChat благодаря интеграции нейросетей CLaMP и SymFormer. Для обучения SymFormer применили платформу ML Space на базе суперкомпьютера Christofari и датасет из более чем 200 тысяч композиций разных музыкальных стилей: от классики до современной электронной и тяжёлой музыки. В основе модели генерации композиций лежит принцип рассмотрения музыки в качестве нотного текста — в этом помогла адаптация подхода text-2-image к нотному домену.
Ранее этой осенью в рамках культурной программы Восточного экономического форума (ВЭФ) во Владивостоке состоялся первый в мире симфонический концерт с импровизациями, созданными искусственным интеллектом. Нейросеть SymFormer выступила на этом концерте вместе с оркестром Мариинского театра Приморской сцены. В первой части симфонии «Космос», написанной композитором Петром Дранга, SymFormer управляла экспрессивностью исполнения. В третьей и четвёртой частях симфонии нейросеть импровизировала в режиме реального времени на основе информации, полученной от партитуры музыканта.
Николай Фрей
«Сбер» научил GigaChat сочинять музыку по текстовому описанию
«Сбер» научил своего ИИ-чат-бота GigaChat генерировать музыкальные композиции по текстовым запросам пользователей. Новостью поделился вице-президент по цифровым поверхностям «Салют» Сбербанка Денис Филиппов в рамках международной конференции по искусственному интеллекту AI Jorney 2023. Возможности сервиса были расширены путём интеграции нейросетей CLaMP и SymFormer.
Генерация музыки стала возможна в GigaChat благодаря интеграции нейросетей CLaMP и SymFormer. Для обучения SymFormer применили платформу ML Space на базе суперкомпьютера Christofari и датасет из более чем 200 тысяч композиций разных музыкальных стилей: от классики до современной электронной и тяжёлой музыки. В основе модели генерации композиций лежит принцип рассмотрения музыки в качестве нотного текста — в этом помогла адаптация подхода text-2-image к нотному домену.
- Текстовый запрос пользователя с помощью модели CLaMP конвертируется в понятный для генератора мелодий язык.
- Данные от CLaMP, включая информацию о стиле, поступают на вход SysFormer, которая выполняет генерацию нескольких вариантов мультидорожечной композиции, из которых нейросеть выбирает наиболее удачные варианты по стилю.
- На последнем этапе генерации механизм рендеринга формирует аудиофайл и отправляет результат пользователю.
«Новые возможности GigaChat будут полезны не только музыкальным энтузиастам и представителям творческих профессий. Одним из сегментов целевой аудитории сервиса мы видим представителей малого и среднего бизнеса. Благодаря GigaChat они смогут быстро, качественно и, что важно, абсолютно легально решать задачи бизнеса: создавать фоновое музыкальное сопровождение для кафе, залов ожидания и салонов красоты, создавать мелодии для рекламных видеороликов и соцсетей»,— поясняет Денис Филиппов.
Ранее этой осенью в рамках культурной программы Восточного экономического форума (ВЭФ) во Владивостоке состоялся первый в мире симфонический концерт с импровизациями, созданными искусственным интеллектом. Нейросеть SymFormer выступила на этом концерте вместе с оркестром Мариинского театра Приморской сцены. В первой части симфонии «Космос», написанной композитором Петром Дранга, SymFormer управляла экспрессивностью исполнения. В третьей и четвёртой частях симфонии нейросеть импровизировала в режиме реального времени на основе информации, полученной от партитуры музыканта.
Николай Фрей