AI大規模モデルにおいて、あなたが支払うトークン代は実はGPUの計算能力をレンタルしている費用だということをどう理解すればいいのでしょうか？

簡単に言えば、トークンはAI大規模モデルの「最小の食料単位」です。私たちが子供の頃に文字を覚えるとき、まず一つ一つの文字を学び、その後でよく使う熟語を直接覚える方が効率的なのと同じです。

実はAIは漢字や英語を認識しているわけではなく、数字だけを認識しています。あなたが文章を入力すると、それはまず一つ一つのトークンに分割され、各トークンは一つの数字コードに対応します。AIが実際に処理しているのはこの数字の列です。出力時も逆の流れで、まず数字コードを生成し、それを文字に変換してあなたに見せます。

🔹では、AIはどうやって次に来る単語の確率が高いことを知るのでしょうか？

膨大なテキストデータで学習し、各トークンの後に何が来る確率が最も高いかを記憶しています。これらの確率は数千億のパラメータに保存されており、まるで大規模モデルの「知識ハンドブック」のようなものです。

回答を生成するとき、AIは実は「一つのトークンずつ」次々と出力していきます。一つ出力するたびに、ハンドブックを一周めくり、辞書にあるすべての可能な次の単語にスコアをつけて、最もスコアの高いものを選び出して出力します。

🔹だからこの作業は非常に計算量を必要とし、GPUの重要性が高まるのです。

CPUは一つの賢いがシングルスレッドの教授のようなもので、ページをめくるのがどんなに速くても限界があります。GPUは何千人もの小学生が同時に作業しているようなもので、ハンドブックを何千分割もして、みんなが並列に計算し、一瞬で数億のパラメータを処理します。

だから、ビデオカードには二つの重要なポイントがあります：コア数が多いほど、並列計算能力が高いということです。今、世界中で狂ったようにトークンを消費していますが、実際には無数のビデオカードが裏でハンドブックを狂ったようにめくり、スコア付けをしているのです👇

つまり、あなたが支払うトークン代は、実はGPUの計算能力を借りる費用なのです。

そして、GPUを動かすには電力も必要で、ストレージも必要です。だから業界内では次のようにまとめられています：

AIは短期的には計算能力が不足し、長期的にはエネルギーが不足し、永遠にストレージが不足しているのです。