Transformer Explainer (트랜스포머 동작 원리)

GPT 계열 언어 모델이 다음 단어를 어떻게 고르는지 단계별로 보여 주는 학습용 시각화입니다. 브라우저에서 GPT-2(small)를 실제로 돌려, 입력한 문장이 토큰과 임베딩으로 바뀌고 셀프 어텐션과 MLP를 거쳐 다음 단어 확률이 나오기까지의 흐름을 따라갈 수 있습니다. 언어 모델이 마법이 아니라 '다음에 올 가능성이 가장 큰 단어'를 계산하는 장치라는 점을 이해하게 됩니다.

이렇게 해보세요

위쪽 입력창에 영어 문장을 쓰거나 'Examples'에서 예문을 고른 뒤 'Generate'를 누르면 각 단계의 값이 화면에 채워집니다. Temperature와 Top-k·Top-p 값을 바꿔 가며 다음 단어 확률 목록이 어떻게 달라지는지 비교해 보고, 임베딩 사각형이나 어텐션 부분에 마우스를 올리면 세부 설명이 나옵니다. 화면이 영어로만 제공되고, 처음 실행할 때 600MB 크기의 GPT-2 모델을 내려받느라 시간이 걸립니다.