LLM のしくみ：トークン・プロンプト・知識の締め切り

01 / 17

AI に渡す文を「プロンプト」と呼びます。この章では、この1文が返事になるまでに何が起きるかを追いかけます。

質問でも、頼みごとでも、貼り付けた長い資料でもかまいません。AI に入力として渡す文章は、どれもプロンプトです。

会話では：「プロンプトを工夫する」「このプロンプトで頼んで」のように使います。頼む文の書き方は第7章でくわしく見ます。

02 / 17

LLM は文を、文字のまま読むのではありません。「トークン」と呼ぶ細かい単位に区切ってから扱います。

区切るのは「トークナイザー」という道具です。「プログラム」が3つに分かれたように、区切りは言葉の切れ目と同じとは限りません。

会話では：「この文は何トークン？」のように、文の長さをトークンの数で言います。AI の話でよく出てくる言葉です。

03 / 17

区切ったトークンは、1つずつ番号に置き換えられます。LLM が実際に受け取るのは、この番号の並びです。

番号は、その方式が持っているトークンの一覧（語彙）の中での番号です。返事も番号の並びとして作られ、最後に文字へ戻して表示されます。

会話では：AI を使うときに、番号そのものを見ることはふだんありません。「トークナイザーが違う」と言われたら、区切り方と番号の振り方が違うという意味です。

04 / 17

同じ文でも、区切り方の方式が違えばトークンの数が変わります。どの方式で区切るかは、モデルごとに決まっています。

図の数は、OpenAI が公開しているトークナイザーで、この教材が実際に数えたものです。3社とも、自分のモデルでトークンを数える方法を用意しています。

会話では：「日本語はトークンを多く使う？」と聞かれたら、方式と文しだいです。図の例でも、方式によって日本語の文の数が変わります。

05 / 17

トークンの数は、AI を使うときの「ものさし」です。料金も、一度に読める量も、トークンで数えます。

使った分だけ払うしくみの料金は、主に、読ませた側（入力）と書かせた側（出力）のトークンの数で決まります。単価と上限はモデルごとに違い、変わることがあります。

会話では：「この資料を全部貼るとトークンを食う」は、読ませる量が増えて、料金や一度に読める量の上限に響くという意味です。

06 / 17

返事を作るときは、ここまでのトークンの並びから「次に来るトークン」の候補を確からしさつきで出し、1つ選びます。

第1章で見た「続きの言葉を当てる」しくみを、トークンの単位で行っています。図の候補と棒の長さは説明のための例です。

会話では：「次のトークンを予測する」は、LLM のしくみを説明するときによく出てくる言い方です。

07 / 17

選んだトークンを後ろに足して、また次を予測します。これをくり返して、返事が1トークンずつ伸びていきます。

終わりにふさわしいところまで来たと判断したところで止まります。あらかじめ決めた長さの上限に達したときも止まります。

会話では：AI が書いた側の文章を「出力」、文章を作ることを「生成」と呼びます。「返事が途中で切れた」ときは、長さの上限に当たったことがあります。

08 / 17

同じ質問でも、返事が毎回少し違うことがあります。いつもいちばん確からしい候補を選ぶとは限らないからです。

このばらつきの大きさを決める値を「温度」と呼びます。高いほど珍しい候補も選ばれ、低いほど確からしい言い回しに寄ります。低くしても毎回同じになるとは限りません。

会話では：「同じ質問でも答えが毎回ちょっと違う」のは、このしくみのためです。違う答えが出ても、壊れたわけではありません。

09 / 17

返事は、できあがった部分から少しずつ画面に出てきます。これを「ストリーミング」と呼びます。

全部できあがるまで待たずに、できた部分から順に送って表示するしくみです。長い返事でも、早く読み始められます。

会話では：「返事がストリーミングで流れてくる」のように使います。文字が少しずつ出るのは、作りながら送っているからです。

10 / 17

アプリは、打った文だけを送っているわけではありません。「システムプロンプト」という指示を先に付けて、モデルへ送ります。

システムプロンプトは、使う人が打つのではなく、アプリを作った側が用意する振る舞い方の指示です。

会話では：Claude Code も、道具の使い方や安全な振る舞いの指示をシステムプロンプトとして、会話の前に毎回送っています。

11 / 17

2回目の質問をすると、アプリはそれまでのやりとりを全部まとめて、もう一度モデルへ送ります。

モデルは、システムプロンプト・1回目の質問と返事・2回目の質問を全部読んで、返事を作ります。会話が長くなるほど、毎回送る量も増えます。

会話では：「会話が長くなるとトークンを食う」のは、毎回それまでの分も読ませているからです。

12 / 17

モデルそのものは、前の会話を覚えていません。もし2回目の質問だけを送ったら、「それ」が何のことか分かりません。

覚えているように見えるのは、アプリが毎回まとめて送るからです。会話をサービスの側に保存するしくみもありますが、OpenAI はその場合も前の分を入力として数えると説明しています。

会話では：「新しく始めた会話では、前の話は通じない」——Claude Code でも、新しく始めた会話は前のやりとりなしで始まります。

13 / 17

1回にまとめて読める量には上限があり、「コンテキストウィンドウ」と呼びます。大きさはトークンの数で表します。

システムプロンプトも、会話のすべても、これから書く返事も、この中に収まる必要があります。大きさはモデルごとに違います。いっぱいになったときの話は第9章で見ます。

会話では：「コンテキストがいっぱいになってきた」は、この上限に近づいたという意味です。

14 / 17

LLM が知っているのは、学習に使った文章の時点までのことです。この締め切りを「知識のカットオフ」と呼びます。

日付はモデルごとに違い、各社のモデルの説明ページに載っていることがあります。それより後のできごとは学んでいません。

会話では：「それ、知識のカットオフより後の話だから知らないよ」は、モデルが学んだ時点より新しい話だ、という意味です。

15 / 17

新しいことを答えさせたいときは、検索という道具で調べた結果を文章として会話に足し、モデルに読ませます。

検索の結果も、モデルにとっては「いま渡された文章」です。トークンとして数えられ、コンテキストウィンドウに入ります。道具のしくみは第4章で見ます。

会話では：「検索をオンにして聞いて」は、調べた結果を読ませてから答えさせて、という意味です。

16 / 17

知らないことを聞かれても、LLM はもっともらしい続きを作れてしまいます。そのため、事実と違う答え（ハルシネーション）が出ることがあります。

分からないときに「分からない」と言うより、当て推量で答えてしまうことがある、と説明する研究もあります。新しいことや細かい事実は、出典で確かめます。

会話では：「カットオフより後のことを、それらしく答えてきた」「調べてから答えて」のように使います。

17 / 17

まとめると、プロンプトは会話全体と一緒にトークンに区切られてモデルへ届き、次のトークンの予測をくり返して返事になります。

会話を覚えているように見えるのはアプリのしくみで、知っていることには締め切りがあります。次の章では、3社のモデルの違いと選び方を見ます。

会話では：「このモデルの知識はいつまで？」「コンテキストの上限は？」と気になったら、各社のモデルの説明ページで確かめます。