AI와 함께 음악 만들기

다양한 MIDI 예제로 학습해서 사용자의 연주에 맞춰 다음 부분을 연주해 주는 앱입니다. 몇 개의 음을 연주하면 그에 맞춰 다음 부분이 재생됩니다.

머신러닝으로 학습된 4마리의 블롭(Blob)들이 만드는 오페라입니다. 마우스로 높낮이와 모음을 조절하면 실시간으로 화음을 만들어 노래합니다.

첼로와 바이올린 연주 데이터를 학습한 AI 새와 함께 연주해보세요. 마우스 움직임에 따라 활을 켜는 동작과 음정을 AI가 실시간으로 생성합니다.

캔버스에 그림을 그리면 그 위치와 악기에 따라 음악이 연주됩니다. 시각적 요소가 어떻게 청각적 요소로 변환되는지 체험할 수 있는 공감각적 AI 실험입니다.

2019년 바흐 생일에 공개된 구글의 첫 인공지능 두들입니다. 사용자가 만든 두 마디 멜로디에 기계학습 모델이 바흐 스타일의 화음을 붙여 줍니다. 바흐의 코랄 화성 306곡으로 학습한 Coconet 모델이 쓰였습니다.

구글 아트 앤 컬처의 실험으로, 직접 찍은 멜로디에 기계학습이 바흐 스타일의 화음을 붙여 줍니다. 완성된 곡은 악기와 템포를 바꿔 다시 들어 보거나 링크로 공유할 수 있습니다.

Performance RNN 모델을 활용하여 조표의 사용 빈도를 참고해서 곡을 창작해줍니다. 모델은 LSTM을 이용하여 음악적 구조와 패턴을 학습했습니다.

MusicVAE 모델을 활용하여 반복되는 멜로디를 생성하는 앱입니다. MusicVAE는 여러 멜로디를 부드럽게 연결하여 조화로운 멜로디를 만들 수 있습니다.

Magenta와 Improv RNN를 활용하여 아르페지오 패턴을 연주하게 제작하였습니다. Improv RNN은 기본 코드 진행에 따라 멜로디를 조건부로 생성합니다.

사전 훈련된 드럼 RNN 모델을 이용하여 만든 드럼 작곡 앱입니다. 씨앗 패턴을 제공하면 이를 바탕으로 다음 패턴을 연속적으로 생성해줍니다.

텍스트 프롬프트만 입력하면 가사, 보컬, 반주가 포함된 고퀄리티 노래를 만들어주는 현재 가장 인기 있는 음악 생성 AI입니다.

구글 크리에이티브 랩이 만든 실험으로, 일상에서 녹음한 수천 개의 소리를 비슷한 것끼리 지도처럼 모아 놓고 그 소리로 드럼 비트를 만들어 보는 곳입니다. 악기가 아니라 생활 속 소리가 재료가 됩니다.

네 모서리에 서로 다른 드럼 패턴을 놓고 그 사이 공간을 오가면 중간중간의 새로운 비트가 만들어지는 실험입니다. 두 리듬 사이에 어떤 리듬이 있을 수 있는지를 귀로 확인해 볼 수 있습니다.

브라우저 안의 작은 방에서 물건을 클릭하며 로파이 힙합을 만들어 보는 마젠타의 실험입니다. 방 가운데 TV는 멜로디를 섞는 MusicVAE, 옆의 라디오는 새 멜로디를 만드는 MelodyRNN과 연결되어 있어, 누를 때마다 음악이 실시간으로 바뀝니다.

노래하거나 두드린 소리를 플루트·색소폰·트럼펫·바이올린 같은 악기 소리로 바꿔 주는 구글 마젠타의 실험입니다. 각 악기 모델은 실제 연주자의 10분짜리 녹음으로 학습되어, 연주자의 숨소리나 활이 스치는 소리까지 함께 되살아납니다.

노래 파일을 올리면 인공지능이 보컬과 반주를 분리해 주는 웹 도구입니다. 목소리를 뺀 노래방용 트랙과 목소리만 남긴 아카펠라 트랙을 각각 받을 수 있습니다. 처리에는 보통 10초 정도가 걸린다고 안내합니다.

전설적인 밴드 Queen의 프레디 머큐리 목소리와 내 목소리가 얼마나 비슷한지 AI가 분석해줍니다. 음정(Pitch), 음색(Timbre), 멜로디를 분석하여 점수를 매겨줍니다.

이미지를 보고 AI가 어울리는 소리를 상상해서 들려줍니다. 구글 스트리트 뷰를 통해 전 세계를 돌아다니며 해당 장소의 '상상의 소리'를 들어볼 수 있습니다.