Tiktokenizer (토큰 분해 체험)
언어 모델이 문장을 어떤 단위(토큰)로 쪼개는지 눈으로 확인하는 도구입니다. 글을 입력하면 토큰 개수와 함께 색으로 구분된 토큰 조각, 그리고 각 토큰의 숫자 ID가 바로 표시됩니다. 대화 형식이 실제로 어떤 특수 표시와 함께 모델에 전달되는지도 볼 수 있습니다.
이렇게 해보세요
왼쪽 위에서 gpt-4o 같은 모델을 고르고, System과 User 칸에 문장을 넣으면 오른쪽에 Token count와 토큰 조각, 숫자 ID 목록이 즉시 갱신됩니다. 'Add message'로 대화를 늘려 보고, 'Show whitespace'를 켜면 띄어쓰기가 어떻게 토큰에 붙는지 확인할 수 있습니다. 한국어를 입력해 영어보다 토큰이 몇 배 더 쓰이는지 비교해 보면 좋으며, 화면은 영어로만 제공됩니다.