Attention Viz (트랜스포머 어텐션 전역 지도)
트랜스포머 모델의 어텐션 패턴을 층과 헤드별로 한 화면에 늘어놓아 비교하는 시각화 도구입니다. 쿼리 벡터와 키 벡터를 같은 공간에 함께 투영하기 때문에, 헤드마다 전혀 다른 모양의 패턴이 나타나는 것을 한눈에 볼 수 있습니다. 어텐션 헤드들이 각자 다른 관계를 보고 있다는 점을 확인하게 되며, 트랜스포머 구조를 이미 알고 있는 학습자를 대상으로 합니다.
이렇게 해보세요
행렬 화면에서 세로는 층, 가로는 헤드로 늘어선 그림 중 하나를 클릭하면 그 헤드로 확대되고, 2D와 3D를 전환하거나 투영 방식과 모델을 바꿔 볼 수 있습니다. 검색창에 토큰을 넣어 찾거나 점 크기와 색 기준을 조절할 수 있고, 'about'의 Documentation과 Paper에서 그림을 읽는 법을 확인할 수 있습니다. 화면이 영어로만 제공되고, 페이지 안내대로 데이터가 수십 MB라 처음 그려지기까지 1분 정도 걸릴 수 있습니다.