토크나이저 플레이그라운드

입력한 문장이 인공지능 모델 안에서 어떤 조각(토큰)으로 쪼개지는지 색으로 보여 주는 페이지입니다. GPT-4, Claude, Llama 3, Gemma, Mistral, BERT, T5 등 13가지 모델의 토크나이저를 골라 비교할 수 있습니다.

이렇게 해보세요

위쪽 선택 상자에서 모델을 고르고 아래 입력창에 문장을 쓰면 토큰이 색깔 조각으로 나뉘어 표시되고 개수가 함께 나옵니다. 같은 뜻의 한국어 문장과 영어 문장을 번갈아 넣어 보면 한국어가 훨씬 많은 토큰으로 쪼개지는 것을 확인할 수 있는데, 이것이 한국어 이용 시 비용과 길이 제한에 영향을 줍니다. 토크나이저 파일을 우리 서버에서 함께 제공하므로 별도 가입이나 외부 접속 없이 사용할 수 있습니다.