Meta ha creado una herramienta de Inteligencia Artificial (IA) generativa llamada AudioCraft, que está diseñada para generar audio y música a partir de entradas de texto y que se entrena con señales de audio sin procesar.
AudioCraft engloba tres modelos de lenguaje: EnCodec, AudioGen y MusicGen, siendo esta última la que presentó el pasado mes de junio como un modelo simple de lenguaje desarrollado bajo un enfoque de una sola etapa de patrones de tokens eficientes entrelazados.
🎵 Today we’re sharing details about AudioCraft, a family of generative AI models that lets you easily generate high-quality audio and music from text.https://t.co/04XAq4rlap pic.twitter.com/JreMIBGbTF
— Meta Newsroom (@MetaNewsroom) August 2, 2023
En este caso, Meta ha recordado que MusicGen es un modelo entrenado con música propiedad de la compañía y con licencia específica, que genera música a partir de entradas de usuario basadas en texto.
AudioGen, por su parte, se entrenó con efectos de sonido de uso público y genera audio a partir de entradas de usuario basadas en texto. Finalmente, el decodificador EnCodec, permite “generar música de mayor calidad con menos artificios”. Todos estos modelos están disponibles para fines de investigación.
Meta ha reconocido que, si bien los modelos de lenguaje de IA generativa han generado expectación y demostrado “habilidades excepcionales”, no se ha mostrado el mismo interés por la IA generativa de audio.
Esto podría deberse a “que la música es el tipo de audio más difícil de generar porque se compone de patrones locales y de largo alcance, desde un conjunto de notas hasta una estructura musical global con múltiples instrumentos”, según ha comentado en el anuncio de AudioCraft.
Esta herramienta de IA generativa de música y sonido de código abierto, que también ofrece la capacidad de compresión, permite que los usuarios trabajen sobre la misma base de código bien construir sobre lo que otros han hecho.
De ese modo, estos creadores pueden ampliar estos modelos y adaptarlos a sus casos de uso para la investigación, para lo que Meta ofrece “posibilidades casi ilimitadas”, según este documento.
