ИИ научился эффективно разделять аудиозаписи на музыку и вокал

ИИ научился эффективно разделять аудиозаписи на музыку и вокал

Очень часто при создании музыки требуется изолировать один из каналов, к примеру, убрать вокал или басы. Однако, по большей части это дорого и неэффективно. Разработчики популярного стримингового сервиса Deezer представили обучающуюся нейросеть, способную совершить революцию в музыкальной индустрии.

Программисты выпустили в свободный доступ программу Spleeter с открытым исходным кодом. Она построена на Python и TensorFlow и использует машинное обучение для быстрого разделения музыки на различные каналы.

Скачав полностью готовое к работе ПО, пользователь получит доступ к библиотеке, которая на данный момент предоставляет следующие возможности:

  • Разделение двух каналов аудио — вокал и любое другое сопровождение.
  • Разделение четырёх каналов аудио — вокал, ударные, бас, другие.
  • Разделение пяти каналов аудио — вокал, ударные, бас, фортепиано, другие.

Как сообщают уже установившие эту программу пользователи, обработка аудио происходит очень быстро. Так, для разделения 5,5-минутного трека на пять каналов требуется порядка трёх минут. Что до результатов, то по мнению экспертов, уже сейчас они превосходят всё, что было создано другими разработчиками. Даже если сравнивать программу с платными инструментами, которые берут по 4 доллара за обработку одной песни, у Spleeter выходит гораздо лучше.

Что интересно, разработчики не планируют брать за своё приложение денег. Тем не менее, они просят каждого кто будет ей пользоваться, подходить к этому делу ответственно, понимая и ценя чужой труд и интеллектуальную собственность. По ссылке можно послушать больше примеров разделения треков.

Источник: waxy.org


  • Dezmant18
    Рад кому это нужно
    • donatello2005
      Dezmant18,
      Диджеям это очень нужно, иначе приходится глушить музыку бассами, что не очень качественно
      • sidney
        donatello2005,
        бассссами. :)
      • Dezmant18,
        Ну любителям музыки... Иногда хочеться послушать трек без вокала допустим.
        • sidney
          Drnid,
          скорее любителям караоке. :)
          • G-Low777
            sidney,
            Есть такие треки, где композитор от души поработал, написал убойный трек, а вокал всё испоганил: убогим пением через кампухтер или тупыми до невозможности словами. Или и то, и другое вместе. Ну а я, после прочтения этой новости, пожалел, что не записал названия тех треков.
            • 4stories
              sidney,
              Да для караоке вообще вещь, можно ещё одновременно обучить распознавать или качать с инета тексты песен, то есть создать комбайн для трансформации песни в караоке версию и даже оставить на всякий случай дорожку с приглушоным вокалом, если нужен для тренировки или дуэта
          • compmenrl
            Dezmant18,
            Гитаристам, басгитаристам, барабанщиками и тем же вокалистам
            • AndrewAks
              Dezmant18,
              Всем нужно. Обучить эту софтину отделять любые другие звуки, и можно наслаждаться шумодавами совершенно другого уровня, нежели сейчас. Голосовые помощники будут работать гораздо более качественно. Применений программе можно найти массу
              • Zeitnoks
                Dezmant18,
                Вам бы учебник по грамматике.
              • Страннык
                Ура, теперь можно разобрать песни Biopsyxoz'а.
                • valeryjan
                  Страннык,
                  Песни Скриптонита и это не поможет разобрать
                  • Страннык
                    valeryjan, а нафиг мне Скриптонит?
                    • valeryjan
                      Страннык,
                      А остальным нафик Biopsyxoz ?
                      • Страннык
                        valeryjan, Биопсихоз нужен мне.
                    • sidney
                      valeryjan,
                      а кто это?
                    • monologue
                      Страннык,
                      Как бы нет никаких проблем с текстами Биопсихоза, всё и так прекрасно слышно, если уши, так скажем, натренерованны на тяж. музыку, да и у Сергея на сайте вроде всё есть, ну на крайняк в оф. группе ВК в обсуждениях вроде что-то было.
                      • Страннык
                        Unholyblight, Биопсихоз как пример, а за инфу спасибо. :-)
                    • gfox78
                      Круто. То что надо
                      • dexxxqqq
                        Очень круто!
                        • Necrolatria
                          Так а где сие чудо скачать можно?
                          • Chr15nic
                            Necrolatria,
                            github.com в помощь)
                            • Necrolatria
                              Chr15nic,
                              ну от туда скачал кучу папок и файлов, а как установить/запустить не пойму, прошу помощи.
                              • CoolMops
                                Necrolatria,
                                Читайте реадми.мд. Там все написано.
                            • powerbook
                              Necrolatria,
                              Скачивать нужно Izotope Rx7,там всё есть, называется Music Rebalanced по моему
                            • Подвыпимшим женщинам за 40 в караоке будет лучше петься, естесственней
                              • andyha
                                Ремиксеры очень рады!!!
                                • chevchelios1989
                                  Вот когда их ИИ научится проходить миссию с вертолетиком в вайс сити, то да, молодцы, а это так, игрульки)
                                  • dave3d
                                    Ну давайте, что там дальше еще нейросеть научилась делать? Не щадите уже никого.
                                    • androguy
                                      dave3d,
                                      Нейросеть можно научить чему угодно. Вопрос только во времени и ресурсах.
                                    • ruschecker
                                      не эффективно - я пробовал
                                      • madcat9000
                                        ruschecker,
                                        Да, одночастотные инструменты все равно давит и начинает звучать как 15 кбитный трек
                                      • nikmenru
                                        С хорошим живым звучанием соснёт эта "нейросеть", а роботизированный вокал и так сто лет как врезается без проблем. Audition в помощь.
                                        • Viktormmm
                                          Причем тут ИИ, 😂. Это обычный алгоритм да-да нет-нет. Щас любую ахинею будут с умным видом называть -ИИ
                                          • CoolMops
                                            Viktormmm,
                                            #define ИИ "Нейронная сеть"
                                        • UnterWasser
                                          Какая классная выйдет утилита. Серьезно, многим нужна
                                          • DarkCat09
                                            Интересно)
                                            • denbakalavr
                                              Ну час эту контору купит какой-нибудь крутая контора и все станет платно. Надо брать пока не поздно)
                                              • CoolMops
                                                denbakalavr, о свободном ПО, вы, видимо, не слышали?
                                              • vital1122
                                                2031 год, школота снимает свои фильмы с умершими звездами на мобильные 20 ядерные мобильные телефоны с фильтрами от Adobe, рарешением 16к 60 кадров в секунду и оптикой на 240 мегапикселей с помощи Deep fake, заменений голоса, разделений и продвинутой системой искуственного интеллекта которая на основе анализа других фильмов и сцен, корректирует конечный результат
                                                • dx1983
                                                  vital1122, и всё равно получается херня...))
                                                • paul-xxx
                                                  Izotope RX7 делает это лучше
                                                  • DronFox
                                                    paul-xxx,
                                                    Да в rx рабоатю вот как этот плагин запустить и из под чего он работает, скачал, а что делать с ней то.
                                                    • old|boy
                                                      DronFox,
                                                      из под питона, читай ридми, как ты вообще работаешь в RX если даже с этой утилиткой разобраться не можешь
                                                      • DronFox
                                                        old|boy,
                                                        Спокойно работаю, я не просто не углублялся.
                                                • CoolMops
                                                  4PDA как обычно... Если перейти по ссылке, то там говорят, мол: "Закрытые решения давно существуют, потому мы создали открытое". То есть, "ИИ" ничему не научился, он давно это умел. Только теперь любой желающий может это использовать в любых целях.
                                                  • orkusan
                                                    CoolMops,
                                                    Да, есть платный сайт phonicmind, и xtras stems программа.
                                                  • Если честно, на мой слух ничем не лучше Izotope RX, плюс там можно регулировать силу разделения, потом кое какие моменты исправлять, в видео слышны ударные, например, которые перебивают голос, в Izotope можно лучше сделать щасчет количества инструментов. Это как минуса в инете качать в 120mbps mp3...
                                                    • orkusan
                                                      qeur,
                                                      В Rx все руками надо делать)
                                                    • Наконец рыперки будут брать под свои го...шедевры нормальные минуса
                                                      • mrNats
                                                        Что то не понятно, как скачать программу. На том сайте нет инстал
                                                        • RiverTIka
                                                          Во это реально круто
                                                          • Neko(~_~)
                                                            Можно норм озвучку и кавер делать
                                                            • orkusan
                                                              Блиин, только купил audinamix xtras stems на тех же алгоритмах
                                                              • KOTYAR0
                                                                Можно ли его использовать, чтобы удалять фоновую музыку из сериалов и телевизора?
                                                                • tolya-grom666
                                                                  Попробовал, реально классно работает!!! Пока виндузятники кипятком писают, что нет .exe инсталлятора, быстренько на своем линуксе открыл терминал, вбил пару команд и запустил процесс разделения дорожек :)))
                                                                  • Zvezdunov
                                                                    Переведу пожалуй Rammstein без вокала

                                                                    В последние несколько лет всё больше геймеров жалуется на «повестку» в видеоиграх — навязываемое разработчиками расовое разнообразие, заниженные стандарты красоты женских персонажей и так далее. Оказывается, всё это результат целенаправленных усилий.

                                                                     

                                                                    Один из пользователей Reddit задался целью создания бесшумной системы охлаждения для своего ПК. Чтобы достичь желаемого результата, он использовал крайне нестандартное решение, включающее комбинацию из огромного медного бруска и двенадцати радиаторов.

                                                                     
                                                                    <div></div><div></div><div></div><a href='/2024/03/28/6418418/' target='_blank'><img src='https://4pda.to/s/as6ywue3S4wsjFGg0z2I2iyY7kHEE0EmiXkPLY783uK3Miqm98HafRECC.jpg' title='' /></a><div ><img src='https://4pda.to/s/as6yu42hlyXjD7kQLqbvVMOGid.gif' /></div><div></div><div></div>
                                                                    Кремний-углеродный аккумулятор и смартфон за 28 секунд — чем ещё удивила нас фабрика Honor?
                                                                    36
                                                                    31.01.24News

                                                                    Фабрика компании, где производятся смартфоны, расположилась в пригороде Шэньчжэня. Именно здесь сейчас выпекаются новенькие Honor Magic6, которые сходят с линии со скоростью один смартфон за 28 секунд.

                                                                     

                                                                    The Day Before вышла и самоуничтожилась, однако слава её живёт. Сотрудники немецкого издания GameStar выпустили большой материал с новыми деталями разработки этой игры, которые по-прежнему удивляют.

                                                                     

                                                                    ASUS объявила о старте продаж новой беспроводной низкопрофильной игровой клавиатуры ROG Falchion RX. Среди её особенностей можно выделить интерактивную сенсорную панель, разные способы подключения и оптические переключатели.

                                                                     

                                                                    Автор YouTube-канала Samuel Nam провёл необычный эксперимент, отказавшись от своего 16-дюймового MacBook Pro на M1 Max в пользу Samsung Galaxy S24 Ultra. В течение трёх недель он использовал флагманский смартфон в качестве полноценной замены компьютеру для выполнения всей повседневной активности.

                                                                     

                                                                    Нынешний генеральный директор Intel Пэт Гелсингер в прошлом был одним из ключевых инженеров-конструкторов компании и принимал участие в разработке процессора i386 (Intel 80386). Очевидно, в то время 24-летний разработчик мечтал оставить свой след в истории и поэтому «расписался» на каждом выпущенном CPU.

                                                                     

                                                                    Компания Apple запатентовала гибкий дисплей для мобильных устройств, заметно отличающийся от конкурентов по своим заявленным характеристикам. Компания намерена решить два главных недостатка таких панелей: это образование складки по линии сгиба и низкая стойкость к царапинам.

                                                                     

                                                                    Госдума во втором чтении одобрила законопроект, регулирующий права между операторами связи и собственниками жилых помещений в многоквартирных домах. Говоря простым языком — вскоре провайдеры получат свободный доступ в подъезды для размещения оборудования.

                                                                     

                                                                    В своём новом патенте компания показала необычную разработку, ориентированную на стандартизацию аккумуляторов для разных видов цифровой техники. Если оно дойдёт до серийного производства, пользователи смогут менять батареи iPhone, iMac и периферии за считаные секунды и даже переставлять из одного устройства в другое.

                                                                     

                                                                    Samsung обновила список устройств, которые в ближайшее время будут получать регулярные обновления системы. Компания включила в него и новейшие флагманы Galaxy S24, значительно увеличив для них срок поддержки.

                                                                     

                                                                    Разработчики AnTuTu опубликовали итоговый рейтинг самых производительных Android-устройств на конец декабря 2023 года. Хотя в список вошли модели, представленные в самых разных странах, победителем оказался смартфон из Китая.

                                                                     
                                                                    Honor Magic6 Pro признан лучшим в мире камерофоном по версии DxOMark Популярное

                                                                    Эксперты DxOMark протестировали основную камеру флагманского смартфона Honor Magic6 Pro. Новинка не только установила три рекорда лаборатории, но и стала лидером глобального рейтинга. В DxOMark рассказали, за какие качества смартфон занял первое место.

                                                                     

                                                                    Лаборатория DxOMark опубликовала результаты тестирования камеры смартфона Redmi Note 13 Pro+ 5G. Особенность модели в том, что она предлагает в среднем ценовом сегменте модуль на 200 Мп с большим сенсором (1/1,4 дюйма). Эксперты рассказали, как это работает на практике.

                                                                     

                                                                    Инсайдеры обнаружили в свежей тестовой сборке Windows 11 небольшое, но важное изменение списка процессоров, совместимых с актуальной десктопной ОС Microsoft. Начиная с версии 24H2, она перестанет запускаться на ПК с устаревшими чипами, не поддерживающими определённую инструкцию.

                                                                     
                                                                    AMD анонсировала новые процессоры Ryzen под сокет AM4 Популярное

                                                                    В ходе мероприятия AMD Advantage Club компания сообщила партнёрам, что готовится к выпуску серии десктопных чипов Ryzen 5000XT для процессорного разъёма AM4. Кроме того, стало известно о других грядущих новинках «красного» бренда.

                                                                     

                                                                    После новости о появлении на iOS в Европе сторонних магазинов и возможности загрузки приложений вне App Store многие явно задумались о создании европейского аккаунта. Но похоже, что Apple предусмотрела этот момент и ввела ряд ограничений на этот случай. 

                                                                     
                                                                    Microsoft отключает россиян от своих сервисов, Samsung переосмысливает дизайн Galaxy S25. Главное за неделю Популярное
                                                                    99
                                                                    23.03.24News

                                                                    Вспоминаем о важных событиях минувшей недели. В этом выпуске: отключение облачных сервисов Microsoft и Amazon, POCO M6 Pro на распродаже AliExpress и первые подробности о флагманских Samsung Galaxy S25.

                                                                     
                                                                    Google открыла доступ к Gemini 1.5 Pro — самой мощной нейросети в мире Популярное

                                                                    Ведущий научный сотрудник Google Джефф Дин сообщил об открытии публичного доступа к нейросети Gemini 1.5 Pro. Фирменная языковая модель справляется с широким спектром задач и, по заявлению её создателей, значительно превосходит по своим возможностям GPT-4.

                                                                     

                                                                    Студент Люк Фарритор из Университета Небраски в Линкольне разработал алгоритм машинного обучения, сумевший распознать содержимое свёрнутого папируса, пережившего пожар. Исследователь использовал тонкие и едва явные различия в текстуре поверхности, чтобы натренировать свою нейронную сеть определять чернила.

                                                                     

                                                                    Глава мобильного подразделения Samsung Тэ Мун Ро прокомментировал информацию о платной подписке на ИИ-сервисы для смартфонов Galaxy. Официальное заявление на этот счёт он сделал в рамках интервью порталу ET Telecom.

                                                                     

                                                                    Представленная в сентябре в Китае (а позже — и в Индии) серия недорогих смартфонов Redmi Note 13 теперь представлена и на глобальном рынке. В Европе уже доступны обычный Redmi Note 13, Redmi Note 13 Pro и топовый Redmi Note 13 Pro+. Цены, как обычно, отличаются от китайских.

                                                                     

                                                                    Девятое поколение консолей наверняка запомнится как очень странное: вот уже больше трёх лет прошло с момента запуска устройств, но PlayStation 4 и Xbox One всё ещё не утратили актуальность, а многие игры выходят на всех системах. Что ж, теперь поколение официально стремится к своему закату.

                                                                     
                                                                    Саморазогревающийся бетон очищает дороги от гололёда и снега Популярное

                                                                    Учёные из Университета Дрекселя в Пенсильвании разработали саморазогревающийся бетон, способный избавить дороги от снега и гололёда. Разработка поможет не только увеличить срок службы дорожных покрытий, но и снизить количество аварий.

                                                                     

                                                                    Аналитики медиакомпании Visual Capitalist составили список из 15 бестселлеров мобильного рынка за всю его многолетнюю историю. Рейтинг оказался любопытным: его практически поровну поделили всего два бренда, из которых на плаву к 2024 году остался только один.

                                                                     

                                                                    Недавно популярная X-серия бренда POCO пополнилась двумя моделями: X6 и X6 Pro. С базовым вариантом ознакомились зарубежные СМИ. По сравнению с «прошкой» новинка предлагает более скромные характеристики, но не менее заманчивое соотношение цены и качества. Резюмируем обзоры изданий.

                                                                     

                                                                    После череды утечек и тизеров компания Nothing официально презентовала новый смартфон Phone (2a). В ассортименте бренда он занял промежуточное место между оригинальным Phone (1) и флагманским Phone (2). В то же время производитель пошёл на некоторые упрощения, чтобы сделать аппарат доступнее. 

                                                                     

                                                                    Вчера вечером во время презентации PC Gaming Show: Most Wanted 2023 показали отрывки из самых ожидаемых и громких релизов ближайших лет. Помимо очевидных тайтлов, вроде S.T.A.L.K.E.R. 2: Heart of Chornobyl, нового рекламного ролика удостоился и боевик SPINE.

                                                                     

                                                                    Разработчики приложения Nordpass в сотрудничестве с независимыми исследователями обновили список из 20 самых «бесполезных» паролей. По словам экспертов, 17 из них хакеры взламывают менее чем за секунду. Кроме того, в этом году первое место в «антирейтинге» заняла новая комбинация символов.

                                                                     

                                                                    В магазине Google появилось любопытное приложение, ориентированное на пользователей, ностальгирующих по «плиточному» интерфейсу Windows Phone. В отличие от ряда подобных лончеров, оно не просто стилизует интерфейс домашнего экрана Android, а модернизирует его с помощью виджетов.

                                                                     

                                                                    Инсайдер Digital Chat Station опубликовал любопытный аналитический отчёт о текущем положении дел на рынке смартфонов. Он отметил, что ещё недавно ставший рекордом объём оперативной памяти Android-смартфонов не спешит обновляться. Более того, производители гаджетов всё чаще «занижают» этот показатель — и, по мнению инсайдера, делают это осознанно.

                                                                     

                                                                    Resizable BAR — это технология, позволяющая процессору обращаться ко всему объёму видеопамяти. Старое железо её не поддерживает, но пользователь GitHub под ником xCuri0 решил это исправить. Он написал и выложил в открытый доступ утилиту ReBarUEFI, которая, по его словам, способна заметно повысить производительность некоторых игр.

                                                                     

                                                                    Как сообщают «Ведомости», компания «Байкал Электроникс» продолжает налаживать производство процессоров Baikal на отечественных мощностях. Речь идёт о корпусировании — финальной и одной из самых затратных стадий сборки. Источники издания утверждают, что на выходе получается большой процент брака, но эксперты считают это нормальным явлением при налаживании нового производства.