言語モデル(LM:Language Model)の説明として、最も適切なものを1つ選びなさい。
- ①単語の並びがどのくらい出やすいかを確率として扱い、文章のもっともらしさを表すモデル
- ②日本語や英語などの文法の規則を、人間がすべて書き込んで作られた辞書のようなモデル
- ③画像と文章を共通のベクトルの空間で表し、写真の内容を説明する文章を作るためのモデル
- ④人間の評価をもとに、回答がどれだけ望ましいかを点数として推定するためのモデル
答えと解説を見る
言語モデル(LM:Language Model)は、単語やトークンの並びがどのくらい出やすいかを確率として扱うモデルです。「今日は天気が」のあとに「良い」が来る確率は高く、「机」が来る確率は低い、といった文章のもっともらしさを表します。
古くは、直前のいくつかの単語から次の単語の確率を数えるn-gramモデルが使われていました。その後、ニューラルネットワークを使ったニューラル言語モデルが登場し、さらにパラメータ数やデータ量を大規模にしたものがLLM(大規模言語モデル)です。
他の選択肢が不適切な理由
・文法の規則を人間が書き込む:ルールベースの考え方です。言語モデルは、単語の並びの出やすさを確率として扱います。
・画像と文章を共通の空間で表す:マルチモーダルモデルの説明です。
・回答の望ましさを点数で推定する:RLHFで使う報酬モデルの説明です。
覚え方のポイント
言語モデル=「この言葉の次には、この言葉が来やすい」という確率の地図。