wevi (워드 임베딩 학습 관찰기)
word2vec이 단어 벡터를 만들어 가는 과정을 한 단계씩 눈으로 따라가는 도구입니다. 'eat|apple, drink|milk'처럼 아주 작은 학습 데이터를 넣고 학습을 진행시키면 입력·출력 가중치 행렬의 칸 색이 조금씩 바뀌고, 아래 PCA 그림에서 단어 점들이 자리를 잡아 갑니다. 임베딩이 미리 정해진 값이 아니라 반복 학습을 거치며 조금씩 만들어진 결과라는 점을 이해하게 됩니다.
이렇게 해보세요
'Presets'에서 'Fruit and juice (CBOW)'나 'King and queen' 같은 예제를 고르고 'Update and Restart'를 누른 뒤, 'Next'나 20·100·500 버튼으로 원하는 만큼 학습을 진행시킵니다. Neurons, Weight Matrices, Vectors, PCA 화면에서 같은 학습이 각각 어떻게 보이는지 비교할 수 있고, 학습 데이터와 은닉층 크기·학습률을 직접 고쳐 넣어 볼 수도 있습니다. 화면과 입력이 영어로만 제공되며 화면이 넓어 데스크톱 브라우저를 권장합니다.