2026年版・4-5

AttentionとTransformerの一問一答

G検定（ジェネラリスト検定）「ディープラーニングの要素技術」から、AttentionとTransformerに関する4択問題を10問。「答えと解説を見る」を開くと、正解とその理由がその場で読めます。会員登録は不要です。

この分野の演習

全10問／解説つき・基本無料

アプリ形式で解く（全480問）ディープラーニングの要素技術の要点解説を読む

問題

上から順に解いてみてください。答えは各問の下で確認できます。本試験は多肢選択式で、問い方は問題ごとに異なりますが、ここでは4択で出題しています。

問14-5

ニューラルネットワークにおける「Attention（注意機構）」の説明として、最も適切なものを1つ選びなさい。

①入力の各要素をすべて同じ重みで平均し、どの部分も区別せずに扱うための仕組み
②学習時にランダムに入力の一部を隠し、特定の部分に頼りすぎないようにする仕組み
③入力の各要素にどれだけ注目するかの重みを計算し、重要な部分を重視して使う仕組み
④入力の周囲を0で埋めることで、端の情報も中央と同じように扱えるようにする仕組み

答えと解説を見る

正解 ③入力の各要素にどれだけ注目するかの重みを計算し、重要な部分を重視して使う仕組み

解説
Attention（注意機構）は、出力を計算するときに、入力のどの要素にどれだけ注目すべきかを表す重み（注意の重み）を計算し、その重みで入力の情報を足し合わせて使う仕組みです。たとえば機械翻訳で英単語を1つ出力するときに、日本語の文のうち、その単語に対応する部分に強く注目できます。注目の度合いはデータに応じて動的に決まるため、長い系列でも必要な情報を取り出しやすくなります。

他の選択肢が不適切な理由
・すべて同じ重みで平均する：どこにも注目の差をつけないため、Attentionの考え方とは逆です。
・ランダムに入力の一部を隠す：これはドロップアウトやデータ拡張（Cutoutなど）の考え方に近く、Attentionではありません。
・周囲を0で埋める：これは畳み込みのパディングの説明です。

覚え方のポイント
「Attention＝どこに注目するかを重みで表す」。Attentionの重みを見れば、モデルが入力のどこを重視したかをある程度確認できるため、解釈性の観点からも注目されています。

問24-5

Transformerの中心となる「Self-Attention（自己注意機構）」の説明として、最も適切なものを1つ選びなさい。

①デコーダの各要素が、エンコーダの出力のどの部分に注目するかだけを計算する仕組み。
②前の時刻の隠れ状態を次の時刻に順番に渡し、系列の情報を1つずつ引き継いでいく。
③画像の上で小さなフィルタをずらし、近くの画素どうしの関係だけを取り出していく。
④同じ系列の中の各要素どうしの関連の強さを計算し、各要素の表現に文脈を取り込む。

答えと解説を見る

正解 ④同じ系列の中の各要素どうしの関連の強さを計算し、各要素の表現に文脈を取り込む。

解説
Self-Attention（自己注意機構）は、1つの系列（たとえば1つの文）の中で、各要素（単語）が、同じ系列の他のすべての要素とどれだけ関連しているかを計算し、その関連の強さに応じて他の要素の情報を取り込む仕組みです。たとえば「彼はリンゴを食べた。それは甘かった。」の「それ」が「リンゴ」を指すことを、文中の単語どうしの関係から捉えられます。系列の中の離れた要素どうしも直接つなげられ、RNNのように順番に処理する必要がないため、並列に計算できます。

他の選択肢が不適切な理由
・デコーダがエンコーダの出力に注目する：これは「Source-Target Attention（エンコーダ・デコーダ注意）」の説明で、2つの異なる系列の間で注目を計算します。
・前の時刻の状態を順番に渡す：これはRNNの説明です。
・フィルタをずらして近くの画素の関係を取り出す：これはCNNの畳み込みの説明です。

覚え方のポイント
「Self-Attention＝同じ系列の中どうし」「Source-Target Attention＝入力の系列と出力の系列の間」。「自己（Self）」は同じ系列の中で注目し合うという意味です。

問34-5

Transformerの注意機構で用いられるQuery（クエリ）、Key（キー）、Value（バリュー）の関係の説明として、最も適切なものを1つ選びなさい。

①QueryとKeyの類似度から注目の重みを求め、その重みでValueを足し合わせて出力する。
②ValueとKeyの類似度から注目の重みを求め、その重みでQueryを足し合わせて出力する。
③Query・Key・Valueをすべて同じ重みで平均し、そのまま次の層の出力として渡す。
④QueryとValueの類似度から注目の重みを求め、その重みでKeyを足し合わせて出力する。

答えと解説を見る

正解 ①QueryとKeyの類似度から注目の重みを求め、その重みでValueを足し合わせて出力する。

解説
Transformerの注意機構では、各要素から、Query（問い合わせ）、Key（見出し）、Value（中身）という3種類のベクトルを作ります。ある要素のQueryと、各要素のKeyとの類似度（内積）を計算し、それをソフトマックス関数で合計1の重みに変換します。そして、その重みで各要素のValueを足し合わせたものを出力とします。辞書で、調べたい言葉（Query）に近い見出し（Key）を探し、その項目の中身（Value）を取り出す仕組みにたとえられます。内積の値が大きくなりすぎないよう、ベクトルの次元の平方根で割ってから重みにする（Scaled Dot-Product Attention）のが特徴です。

他の選択肢が不適切な理由
・ValueとKeyの類似度でQueryを足し合わせる：QueryとValueの役割が逆になっています。
・すべて同じ重みで平均する：注目の度合いを計算しないため、注意機構の説明ではありません。
・QueryとValueの類似度でKeyを足し合わせる：KeyとValueの役割が逆になっています。類似度を測る相手はKey、足し合わせる中身はValueです。

覚え方のポイント
「Query×Key → 重み → Valueの重み付き和」。Self-Attentionでは、Query・Key・Valueのすべてを同じ系列から作ります。

問44-5

Transformerで用いられる「Multi-Head Attention」の説明として、最も適切なものを1つ選びなさい。

①注意機構を1つだけ用い、その計算を何度も繰り返して同じ関係を強めていく仕組み。
②注意機構を複数並列に用い、それぞれが異なる観点から要素どうしの関係を捉える。
③系列をいくつかの区間に分け、各区間の中だけで注意機構を計算する仕組みである。
④複数のモデルを別々に学習させて、それらの予測を多数決でまとめる仕組みである。

答えと解説を見る

正解 ②注意機構を複数並列に用い、それぞれが異なる観点から要素どうしの関係を捉える。

解説
Multi-Head Attention（マルチヘッド注意機構）は、Query・Key・Valueを複数の組（ヘッド）に分けて、注意機構を並列に複数実行し、その結果を結合する仕組みです。それぞれのヘッドが、文法的な関係、意味的な関係、近くの単語との関係など、異なる観点から要素どうしの関係を捉えられるようになり、1つの注意機構だけを使う場合より豊かな表現が得られます。

他の選択肢が不適切な理由
・1つの注意機構を繰り返す：複数のヘッドを並列に使うのがMulti-Head Attentionの特徴です。
・系列を区間に分けて区間の中だけで計算する：計算量を減らすための局所的な注意機構の考え方で、Multi-Head Attentionの説明ではありません。Multi-Head Attentionでは、それぞれのヘッドが系列全体を対象に注目を計算します。
・複数のモデルの予測を多数決でまとめる：これはアンサンブル学習の説明です。

覚え方のポイント
「Multi-Head＝頭（ヘッド）が複数＝いろいろな観点で同時に注目する」。Transformerは、Multi-Head Attention、位置エンコーディング、スキップ結合、レイヤー正規化などの部品から構成されます。

問54-5

2017年に発表された論文「Attention Is All You Need」で提案されたモデルとして、最も適切なものを1つ選びなさい。

①LSTM
②ResNet
③Transformer
④GAN

答えと解説を見る

正解 ③Transformer

解説
Transformerは、2017年にGoogleの研究者らが論文「Attention Is All You Need」で提案したモデルです。それまで系列データの処理に使われていたRNNや、画像処理で使われていたCNNを用いず、注意機構（Attention）を中心に構成されています。系列を順番に処理する必要がないため並列計算がしやすく、大量のデータで大規模なモデルを学習させられるようになりました。BERT、GPTをはじめとする現在の大規模言語モデルの多くが、Transformerを基盤としています。

他の選択肢が不適切な理由
・LSTM：1997年に提案された、ゲートを持つRNNです。
・ResNet：2015年に発表された、スキップ結合を持つ画像認識のモデルです。
・GAN：2014年にイアン・グッドフェローらが発表した、生成器と識別器を競わせる生成モデルです。

覚え方のポイント
「2017年・Attention Is All You Need・Transformer・Google」。論文のタイトルは「必要なのはAttentionだけ」という意味で、RNNやCNNを使わない点を表しています。

問64-5

Transformerで、入力の単語の並び順の情報をモデルに与えるために用いられる仕組みとして、最も適切なものを1つ選びなさい。

①ゼロパディング
②バッチ正規化
③ドロップアウト
④位置エンコーディング

答えと解説を見る

正解 ④位置エンコーディング

解説
Transformerの注意機構は、系列のすべての要素どうしの関係を一度に計算するため、そのままでは単語がどの順番で並んでいたかという情報を区別できません。そこで、各単語のベクトルに、その単語が系列の何番目にあるかを表す値（位置の情報）を加える「位置エンコーディング（Positional Encoding）」を用います。元のTransformerでは、sin関数とcos関数を使って位置の情報を作りました。位置の情報を学習によって決める方法もあります。

他の選択肢が不適切な理由
・ゼロパディング：畳み込みで入力の周囲を0で埋める処理です。系列の長さをそろえるために末尾を埋めることもありますが、並び順の情報を与える仕組みではありません。
・バッチ正規化：ミニバッチ単位で層への入力を正規化する手法です。
・ドロップアウト：学習時にランダムにニューロンを無効にする、過学習の対策です。

覚え方のポイント
「RNNは順番に処理するから順序が分かる。Transformerは一度に処理するから、位置エンコーディングで順序を教える」。この対比で覚えましょう。

問74-5

Transformerのデコーダで、学習時に、まだ生成していないはずの後ろの単語を参照できないようにする仕組みとして、最も適切なものを1つ選びなさい。

①Masked Self-Attention
②Multi-Head Attention
③Source-Target Attention
④Global Average Pooling

答えと解説を見る

正解 ①Masked Self-Attention

解説
Transformerのデコーダは、文を1単語ずつ順番に生成します。しかし学習時には正解の文全体を一度に入力するため、そのままでは、ある位置の単語を予測するときに、それより後ろにある正解の単語を「カンニング」できてしまいます。これを防ぐため、デコーダのSelf-Attentionでは、自分より後ろの位置への注目の重みを0にする「マスク」をかけます。これをMasked Self-Attentionと呼びます。GPTのような、前の単語から次の単語を予測する言語モデルでは、この仕組みが中心的な役割を果たします。

他の選択肢が不適切な理由
・Multi-Head Attention：注意機構を複数並列に使う仕組みで、後ろの単語を隠すための仕組みではありません。
・Source-Target Attention：デコーダが、エンコーダの出力のどこに注目するかを計算する仕組みです。
・Global Average Pooling：特徴マップ全体を平均して1つの値にまとめる、CNNの手法です。

覚え方のポイント
「Masked＝未来（後ろ）を隠す」。BERTの事前学習の「Masked Language Model（文中の一部の単語を隠して当てる）」とは、同じ「マスク」でも目的が違う点に注意しましょう。

問84-5

Transformerが、それ以前のRNNを用いたモデルと比べて優れている点として、最も適切なものを1つ選びなさい。

①系列を1要素ずつ順番に処理するため、計算を並列化せずに済み、必要なメモリが常に少ない。
②系列を順番に処理する必要がないため並列計算がしやすく、離れた要素の関係も捉えやすい。
③注意機構を使わないため計算が単純で、系列の長さにかかわらず計算量が一定に保たれる。
④単語の位置の情報を加えなくても、語順の違いを構造上そのまま区別することができる。

答えと解説を見る

正解 ②系列を順番に処理する必要がないため並列計算がしやすく、離れた要素の関係も捉えやすい。

解説
RNNは、系列を前から1要素ずつ順番に処理するため、計算を並列化しにくく、離れた位置にある要素どうしの関係は、何ステップもの計算を経由しないと伝わりません。Transformerは、Self-Attentionによって系列のすべての要素どうしの関係を一度に計算するため、GPUで並列に計算しやすく、離れた要素どうしの関係も直接捉えられます。これにより、大量のデータで大規模なモデルを効率よく学習できるようになりました。

他の選択肢が不適切な理由
・1要素ずつ順番に処理する：これはRNNの特徴で、Transformerの利点ではありません。
・注意機構を使わず計算量が一定：Transformerは注意機構を中心に構成されており、その計算量は系列の長さの2乗に比例して増えるという課題があります。
・位置の情報なしで語順を区別できる：Self-Attentionだけでは語順を区別できないため、Transformerでは位置エンコーディングで位置の情報を加えます。

覚え方のポイント
Transformerの長所は「並列計算」「長距離の依存関係」、短所は「系列が長いと計算量とメモリが2乗で増える」。短所を改善するための効率的な注意機構の研究も進んでいます。

問94-5

Transformerの構造を基盤とするモデルの組み合わせとして、最も適切なものを1つ選びなさい。

①LeNet・AlexNet・VGG
②LSTM・GRU・双方向RNN
③BERT・GPT・ViT
④k-means・PCA・t-SNE

答えと解説を見る

正解 ③BERT・GPT・ViT

解説
BERTは、Transformerのエンコーダを重ねた言語モデルで、文の前後の文脈を両方向から捉えます。GPTは、Transformerのデコーダを重ねた言語モデルで、前の単語から次の単語を予測することを繰り返して文章を生成します。Vision Transformer（ViT）は、画像を小さなパッチ（区画）に分割し、それぞれを単語のように扱ってTransformerに入力する画像認識のモデルです。いずれもTransformerを基盤としています。

他の選択肢が不適切な理由
・LeNet・AlexNet・VGG：いずれも畳み込みニューラルネットワーク（CNN）のモデルです。
・LSTM・GRU・双方向RNN：いずれも回帰型ニューラルネットワーク（RNN）の系統のモデルです。
・k-means・PCA・t-SNE：いずれも教師なし学習の手法で、ニューラルネットワークのモデルではありません。

覚え方のポイント
「BERT＝エンコーダ（理解が得意）」「GPT＝デコーダ（生成が得意）」「ViT＝画像をパッチに分けてTransformerへ」。Transformerが言語から画像へと広がった流れを押さえましょう。

問104-5

Transformerのエンコーダ・デコーダ型の構成で、デコーダが、エンコーダの出力のどの部分に注目するかを計算する注意機構として、最も適切なものを1つ選びなさい。

①Masked Self-Attention
②Self-Attention（エンコーダ内）
③Squeeze-and-Excitation
④Source-Target Attention

答えと解説を見る

正解 ④Source-Target Attention

解説
Source-Target Attention（エンコーダ・デコーダ注意、クロスアテンションとも呼ばれます）は、デコーダ側の要素をQueryとし、エンコーダの出力をKeyとValueとして計算する注意機構です。機械翻訳であれば、訳文の単語を生成するときに、原文のどの単語に注目すべきかを求めることにあたります。入力の系列（Source）と出力の系列（Target）という、2つの異なる系列の間で注目を計算する点が特徴です。

他の選択肢が不適切な理由
・Masked Self-Attention：デコーダの中で、自分より後ろの単語を参照できないようにしたSelf-Attentionです。
・Self-Attention（エンコーダ内）：エンコーダの中で、入力の系列の要素どうしの関係を計算する注意機構です。
・Squeeze-and-Excitation：SENetで用いられた、画像のチャネルごとの重要度を計算して重み付けする仕組みで、系列の間の注目を計算するものではありません。

覚え方のポイント
Transformerのデコーダには「Masked Self-Attention」と「Source-Target Attention」の2種類の注意機構があります。「同じ系列の中＝Self」「2つの系列の間＝Source-Target」と区別しましょう。

G検定は一般社団法人日本ディープラーニング協会の登録商標です。本ページは一般社団法人日本ディープラーニング協会とは一切関係ありません。

G検定の対策問題（全480問）に戻る

非公式の資格試験対策サイトです。一般社団法人日本ディープラーニング協会とは一切関係ありません。

※本ページでは、アクセス解析（Googleアナリティクス）と、広告の配信・成果の計測（A8.net）のためにCookie等を利用し、閲覧に関する情報をGoogle LLC・株式会社ファンコミュニケーションズへ送信しています。詳しくはプライバシーポリシーをご覧ください。

※本ページの問題・解説は、生成AI（人工知能）を活用して作成しています。