Fill in the Blank (언어모델은 무엇을 배웠나)
구글 PAIR가 만든 시각 해설로, 언어모델 BERT에게 문장의 빈칸을 채우게 해서 모델이 세상에 대해 무엇을 배웠는지 살펴봅니다. 'in texas, they like to buy ___'처럼 지역 이름 하나만 바꿔도 후보 단어와 확률 순위가 달라지는 것을 직접 확인할 수 있습니다. 언어모델의 예측이 중립적인 지식이 아니라 학습한 문장에 담긴 통계적 연상이며, 그래서 사회적 편향까지 함께 배운다는 점을 이해하게 됩니다.
이렇게 해보세요
본문 예문의 단어를 클릭하거나 입력칸에 문장을 고쳐 넣고 'Update Sentence'를 누르면 BERT가 예측한 후보 단어가 확률과 함께 줄줄이 나열됩니다. 아래 비교 도구에서는 표시할 토큰 개수와 차트 종류를 고르고 모델을 BERT와 Zari 사이에서 바꿔 가며 두 문장의 예측 차이를 볼 수 있습니다. 화면과 입력이 영어로만 제공되며, 페이지에도 표시되어 있듯 모델이 학습한 글에는 해로운 고정관념이 포함되어 있습니다.