Hacer música con IA

Una aplicación entrenada con muchos ejemplos MIDI que toca la continuación de lo que tocas tú. Toca unas notas y responde con lo que viene después.

Una ópera cantada por cuatro blobs entrenados con aprendizaje automático. Ajusta con el mouse la altura y la vocal y cantan armonizando en tiempo real.

Toca junto a un pájaro con IA entrenado con grabaciones de chelo y violín. Según muevas el mouse, la IA genera en tiempo real el movimiento del arco y la afinación.

Dibujas en el lienzo y suena música según la posición y el instrumento. Un experimento de IA sinestésico para vivir cómo se convierte lo visual en sonido.

El primer doodle con inteligencia artificial de Google, publicado en 2019 por el cumpleaños de Bach. Un modelo de aprendizaje automático le pone armonías al estilo de Bach a la melodía de dos compases que escribas. Usa el modelo Coconet, entrenado con 306 corales armonizados por Bach.

Un experimento de Google Arts & Culture donde el aprendizaje automático le pone armonías al estilo de Bach a la melodía que marques. La pieza terminada se puede volver a escuchar cambiando el instrumento y el tempo, o compartir con un enlace.

Compone piezas con el modelo Performance RNN, teniendo en cuenta con qué frecuencia se usa cada nota. El modelo aprendió estructuras y patrones musicales con LSTM.

Una aplicación que genera melodías repetidas con el modelo MusicVAE. MusicVAE enlaza varias melodías con suavidad para armar una que suene armónica.

Hecho con Magenta e Improv RNN para tocar patrones de arpegio. Improv RNN genera la melodía condicionada por la progresión de acordes de base.

Una aplicación de composición de batería hecha con un modelo Drums RNN ya entrenado. Le das un patrón inicial y va generando los siguientes a partir de él.

La IA de generación musical más popular ahora mismo: le das un prompt de texto y devuelve una canción de buena calidad, con letra, voz y acompañamiento.

Un experimento de Google Creative Lab que reúne miles de sonidos grabados de la vida diaria, agrupados por parecido como en un mapa, para armar con ellos un ritmo de batería. El material no son instrumentos, sino sonidos de todos los días.

Un experimento que pone un patrón de batería distinto en cada esquina y genera ritmos nuevos a medida que te mueves por el espacio intermedio. Sirve para escuchar qué ritmos pueden existir entre dos ritmos dados.

Un experimento de Magenta para armar lo-fi hip hop haciendo clic en los objetos de un cuartito dentro del navegador. La televisión del centro está conectada a MusicVAE, que mezcla melodías, y la radio de al lado a MelodyRNN, que crea melodías nuevas, así que la música cambia en vivo con cada clic.

Un experimento de Google Magenta que convierte lo que cantas o golpeas en el sonido de una flauta, un saxofón, una trompeta o un violín. Cada modelo se entrenó con diez minutos de grabación de un intérprete real, así que vuelven también su respiración y el roce del arco.

Una herramienta web que sube una canción y separa la voz del acompañamiento con inteligencia artificial. Puedes descargar por separado la pista sin voz, para karaoke, y la pista con solo la voz, a capela. Según el sitio, el proceso suele tardar unos diez segundos.

La IA analiza cuánto se parece tu voz a la de Freddie Mercury, de la legendaria banda Queen. Analiza la afinación (Pitch), el timbre (Timbre) y la melodía para darte un puntaje.

La IA mira una imagen, imagina qué sonido le corresponde y te lo hace escuchar. Con Google Street View puedes recorrer el mundo y oír el sonido imaginado de cada lugar.