Искусственный интеллект Riffusion генерирует музыку по текстовым подсказкам

0
Riffusion

Энтузиасты Сет Форсгрен и Хайк Мартирос разработали нейросеть Riffusion, которая генерирует музыку на основе текстовых подсказок. Она обучается и накапливает информацию о музыке при помощи сонограмм – визуальной формы представления звуков. Данный формат принципиально отличается от нотной записи и позволяет визуализировать произвольные звуки в любых комбинациях.

Сонограмма является разновидностью графика, на котором по одной оси откладывается время исполнения каждого звука, а на другой его частота. Каждый пиксель имеет свой цвет, который означает амплитуду звука в каждый момент времени. Сонограммы строятся с использованием модели цифрового обучения Stable Diffusion, поэтому их легко ассоциировать с текстом. Например, задать ИИ придумать и озвучить «джаз с нотками летнего дождя».

Riffusion является своего рода экспериментом — благодаря специальному веб-приложению пользователи могут создавать произвольные мелодии и комбинации звуков. Весь процесс автоматически визуализируется, результат сохраняется в базе данных для дальнейшего обучения ИИ. Строго говоря, большинство созданных Riffusion мелодий звучат довольно странно, зато это прекрасный пример весьма перспективной технологии манипуляции звуками в реальном времени.

СонограммаСонограмма
Источник — Riffusion
Поделиться
Вконтакте
ЧИТАЙТЕ ТАКЖЕ
Комментарии  0
    (без регистрации)
    Любопытный факт
    Первый карандаш с ластиком на обратном конце был изобретен в 1858 году Гименом Липманом из Филадельфии.
    Обновить
    Свежие Комментарии

    ВойтиРегистрация
    Вход
    Почта:
    Пароль:
    Регистрация
    Почта:
    Имя:
    Пароль: