Нейросеть научили «слышать» цвета и «видеть» музыку

0
Визуализация

«Синестезия» – это редкий психофизиологический феномен, при котором происходит смешивание разных сенсорных ощущений. Например, у человека появляется способность слышать цвета или чувствовать вкус слов. Обычно синестезия возникает при серьезных сбоях в работе нервной системы, при употреблении веществ для расширения сознания, либо при целенаправленном проведении творческих экспериментов. Теперь это редкое умение доступно и искусственному интеллекту.

Бельгийский исследователь и преподаватель в области машинного обучения Ксандер Стинбрюгге разработал нейросеть нового типа, которая способна «включать» синестезию по команде. Она так и называется «Neural Synesthesia». На данный момент нейросеть подбирает визуальные формы для музыкальных композиций, используя готовые художественные решения и сгенерированные ей самой образы.

По словам Стинбрюгге, этот проект является попыткой создания новых подходов в разработке аудиовизуальных решений, основанных на применении ИИ. Оператор не знает и даже не представляет себе конечный результат, он лишь задает ИИ некоторые критерии и дает указания, какие базы данных, какой контент следует использовать. Далее нейросеть сама генерирует визуальный ряд, который может быть принят оператором или отправлен на доработку. Это не чистое творчество – скорее, попытка обучить ИИ воспринимать музыку так, чтобы уметь выразить ее в ином сенсорном формате.

Источник — Xander Steenbrugge
Поделиться
Вконтакте
ЧИТАЙТЕ ТАКЖЕ
Комментарии  0
    (без регистрации)
    Любопытный факт
    Марс обладает 37,5% гравитации Земли. Это означает, что человек, весящий 45 кг на Земле, на Марсе будет весить лишь 17 кг и сможет прыгнуть в три раза выше.
    Обновить
    Свежие Комментарии

    ВойтиРегистрация
    Вход
    через соцсети
    Вход
    Почта:
    Пароль:
    Регистрация
    Почта:
    Имя:
    Пароль: