推論

一言で

推論とは、すでに学習を終えたAIモデルを実際に動かし、入力に対して答えを出す処理のことです。

もう少し詳しく

AIを使う場面は大きく「学習（Training）」と「推論（Inference）」に分かれます。学習は、大量のデータを使ってAIモデルを賢く育てる段階。推論は、出来上がったモデルに質問や画像を入力し、答えを返してもらう段階です。

たとえばChatGPTにメッセージを送ると、その裏ではOpenAIのGPTモデルが「推論」を行い、もっとも自然な続きの単語を順番に予測して返してきます。私たちがふだん「AIを使っている」と感じる動作は、ほぼすべて推論にあたります。

推論の1回あたりのコストは、モデルの大きさ・出力の長さ・サーバーの性能で決まります。LLMを動かすには高性能なGPUや専用チップが必要で、世界中でデータセンターの取り合いになっているのは、この推論需要の急増が大きな理由です。

主な特徴

• 学習よりも頻度が圧倒的に多い: 1回学習したモデルを何百万回も推論する
• 速度とコストが重要: ユーザー体験と事業性に直結する
• 専用ハードが鍵: GPU、TPU、推論専用チップなどが活躍

使われ方の例

• ChatGPTやClaudeに質問して返答を受け取る瞬間
• 写真をアップロードして物体検出する処理
• 音声アシスタントが音声を文字に変換する処理

関連する話題

LLMの利用料金（APIの「入力トークン」「出力トークン」単価）は、すべて推論コストの考え方をベースに決められています。各社が推論コストを下げる競争を続けているのが現在の業界トレンドです。