生成の仕組み（トークン・Temperature・コンテキストウィンドウ）の一問一答

LLMにおける「トークン化」の説明として、最も適切なものを1つ選びなさい。

• ①次に来るトークンの確率をもとに、文章を1つずつ生成していくこと
• ②単語や文章を、意味の近さを反映した数値のベクトルに変換すること
• ③長い文書を、検索しやすい大きさのかたまりに分けて保存しておくこと
• ④入力された文章を、単語や単語の一部などの小さな単位に区切ること

埋め込み（Embedding）に関する記述として、適切でないものを1つ選びなさい。

• ①埋め込みでは、意味が近い単語ほど、ベクトルの空間の中で遠くに置かれる。
• ②単語や文章を、多くの数値を並べたベクトルとして表す方法のことである。
• ③文章の意味の近さを計算できるため、文書の検索などに広く活用されている。
• ④ベクトルどうしの近さは、コサイン類似度などの方法で測ることができる。

生成AIがハルシネーションを起こす理由として、最も適切なものを1つ選びなさい。

• ①利用者が入力した文章を、インターネット上の正しい情報と毎回照合して、必ず書き換えているため
• ②事実かどうかを確かめるのではなく、もっともらしい次のトークンを確率的に選んで文章を作るため
• ③生成AIは学習データを一切持たずに、その場で完全にランダムな文字を並べて文章を作っているため
• ④入力された文章の文法の誤りを直す処理だけを行い、文章の内容は一切確認しない仕組みであるため

生成パラメータの「Temperature（温度）」の説明として、最も適切なものを1つ選びなさい。

• ①値を低くすると確率の低いトークンも選ばれやすく、出力が意外性のある多様なものになりやすい。
• ②値を高くするほど、モデルの計算が速くなり、回答が表示されるまでの時間が短くなっていく。
• ③値を低くすると確率の高いトークンが選ばれやすく、出力が安定して一貫したものになりやすい。
• ④値を高くすると、一度に扱える入力の長さの上限が大きくなり、長い文書を読み込めるようになる。

生成パラメータの「Top-p」の説明として、最も適切なものを1つ選びなさい。

• ①確率の高い順に候補を足していき、合計が値pに達するまでの候補の中から次のトークンを選ぶ。
• ②出力する文章の長さを、上から数えてp番目までの段落だけに制限して、それ以降を切り捨てる。
• ③過去の会話のうち、新しいほうから数えてp件分だけを記憶して、それ以前を忘れるようにする。
• ④学習データのうち、品質の評価が上位p％に入る文章だけを使って、モデルを学習させ直す。

コンテキストウィンドウに関する記述として、適切でないものを1つ選びなさい。

• ①上限が大きいモデルほど、長い文書でも、まとめて一度に読み込ませることができる。
• ②LLMが一度に扱える長さの上限で、多くの場合はトークン数で示されている。
• ③コンテキストウィンドウの上限には、入力の長さだけが数えられ、出力は含まない。
• ④長い文書を扱うときには、必要な部分だけを選んで入力する工夫が役に立つ。

生成AIの出力の性質と生成パラメータに関する記述として、適切でないものを1つ選びなさい。

• ①Temperatureを低くすると、出力が安定しやすくなる。
• ②同じ指示を入力しても、生成のたびに異なる回答が返されることがある。
• ③出力の最大トークン数を小さく設定すると、回答が途中で切れることがある。
• ④Temperatureを高くするほど、毎回同じ答えが出やすくなる。

生成AIの生成の仕組みに関する次の記述a〜dのうち、適切なものの組合せを1つ選びなさい。
a．サブワードによるトークン化では、珍しい単語も、よく使われる部品に分けて表せる。
b．日本語の文章は、トークン数が常に文字数のちょうど半分になる。
c．LLMは、次に来るトークンの確率をもとに、文章を1トークンずつ生成していく。
d．Top-pの値を小さくするほど、候補が増えて出力が多様になる。

• ①a・b
• ②a・c
• ③b・d
• ④c・d

正確さが求められる社内規程の要約を生成AIで作るときの生成パラメータの設定として、最も適切なものを1つ選びなさい。

• ①Top-pもTemperatureも高くして、意外性のある表現の要約が得られるようにしておく。
• ②Temperatureを最大に設定し、毎回まったく違う表現の要約が得られるようにしておく。
• ③Temperatureを低めにして、確率の高い表現を中心に安定した出力が得られるようにする。
• ④生成パラメータは出力に一切影響しないため、どのような値に設定しても違いは生じない。

生成AIの生成の仕組みに関する次の記述a〜dのうち、適切なものの組合せを1つ選びなさい。
a．コンテキストウィンドウは、学習データ全体のトークン数の合計を指す。
b．Temperatureを高くすると、出力が多様で意外性のあるものになりやすい。
c．LLMは、出力するたびにすべての内容の事実確認を行ってから文章を作る。
d．埋め込みでは、意味が近い単語ほど近いベクトルで表されるように学習する。

• ①c・d
• ②a・c
• ③a・b
• ④b・d