💬

言葉と文章を扱うAI

文字がモデルにどう入るのかから、モデルごとに答えが違う理由、自分の文書を読んで答えるAI、翻訳と校正まで。言語モデルを実際に使いながら、何が得意でどこで間違えるのかを見ます。

一部はログインが必要です。Papago・バルン・꼬맨틀のように韓国語を中心に作られたサービスも含まれています。

1

文字がモデルに入るしくみ

言語モデルは文章をトークンという断片に分けて読みます。同じ文がモデルごとに何個に分かれるか比べてみてください。

Tiktokenizer (トークン分割の体験)

言語モデルが文章をどんな単位(トークン)に分割するかを目で確かめるツールです。文章を入力すると、トークン数と色分けされたトークンの断片、そして各トークンの数値IDがすぐに表示されます。会話形式が実際にどんな特殊記号とともにモデルへ渡されるかも確認できます。

トークナイザー・プレイグラウンド

入力した文がAIモデルの中でどんな断片(トークン)に分けられるかを色で見せるページです。GPT-4、Claude、Llama 3、Gemma、Mistral、BERT、T5など13種類のモデルのトークナイザーを選んで比較できます。

2

モデル同士を比べる

同じ質問を複数のモデルに投げ、答えを並べて見ます。ブラウザの中だけで動く小さなモデルとも比べてみてください。

LMアリーナ(AIモデル比較)

同じ質問に対して複数のAIモデルがどう答えるかを比べるサイトです。画面上部の「Battle Mode」からプロンプトを送ると複数モデルの応答を並べて比較でき、サイトはモデルのランキングも公開しています。サイト名は画面上では「Arena」と表示されます。

Ai2 プレイグラウンド(オープンモデル体験)

アレンAI研究所(Ai2)が公開したOlmoモデルと直接対話できる場所です。画面には使用中のモデル名が表示され、取得時点ではOlmo 3.1 32B Instructが指定されていました。ツール呼び出し(tool calling)を有効にして自分でツールを追加することもできます。

WebLLM Chat (ブラウザで動く対話AI)

言語モデルをブラウザの中で直接動かして対話するサービスです。会話の内容がサーバーに送られず、自分のパソコンの中だけで処理される点が他のチャットボットと違います。画面は韓国語に対応しています。

3

自分の資料で尋ねる

PDFや動画、文書を入れて、その中から答えを探させます。答えに付いた引用を押して、原文と本当に合っているか確かめてください。

ChatPDF(PDFと対話する)

PDFファイルをアップロードして、その内容について質問できるサービスです。回答には引用が付き、PDFのどの部分を根拠にしたのかをすぐ確認できます。PDFのほかWord、PowerPoint、Markdown、テキストファイルにも対応しています。

Lilys AI(動画・文書の要約)

YouTube動画やPDF、Web文書、音声を入れると要点を要約してくれる韓国発のサービスです。要約だけでなく、内容をやさしく解説したり、資料をもとに続けて質問したりできます。動画はタイムスタンプ付きのスクリプトと韓国語訳を並べて表示します。

4

翻訳と校正

同じ文を二つの翻訳機に入れて結果を比べ、AIのスペルチェッカーが何をどう直すのかを見ます。

Papago(NAVERの翻訳サービス)

NAVERが提供する翻訳サービスで、韓国語を中心に英語・日本語・中国語など多くの言語に対応します。テキスト翻訳のほか、画像・文書・音声・ウェブサイト翻訳のタブが分かれており、用途に合わせて選べます。翻訳結果には発音再生や翻訳評価の機能が付いています。

DeepL翻訳

長い文章を自然に訳すことに重きを置く翻訳サービスで、100以上の言語に対応すると案内しています。テキスト翻訳のほかファイル翻訳や音声翻訳のモードがあり、訳文を整えるDeepL Writeも提供されます。敬体・常体の切り替えや用語集など、文体を調整する機能も備えています。

バルン(韓国語スペルチェッカー)

韓国語の文章のスペル・分かち書き・文法をAIが校正する韓国発のサービスです。BAIKAL.AIが開発し、スペルチェックのほかに形態素解析や単語分割(トークナイザー)も同じサイトで利用できます。固有名詞や専門用語はユーザー辞書に登録して検査に反映できます。

5

言葉の意味で遊ぶ

AIが言葉と言葉の意味の近さをどう測るのかを、ゲームで体感します。

Semantris (単語連想AI)

Googleが作った単語連想ゲームです。AIが単語の意味と文脈をどれだけよく理解しているかゲームを通してテストしてみることができます。

꼬맨틀 (韓国語の単語類似度あてゲーム)

その日の正解の単語を当てる韓国語の単語ゲームです。単語を入力すると正解と意味がどれだけ近いかを -100 から +100 の類似度スコアで教えてくれ、上位1,000語に入れば順位も表示されます。綴りではなく意味で単語を比べるワード埋め込みとは何かを、遊びながら体感できます。