RNN(回帰型ニューラルネットワーク)の特徴として、最も適切なものを1つ選びなさい。
- ①前の時刻の隠れ層の状態を次の時刻の計算にも入力し、時系列の文脈を扱えるようにしている。
- ②小さなフィルタを画像の上でずらし、画像の局所的な特徴を効率よく取り出すようにしている。
- ③入力と同じものを出力するように学習し、データを低次元に圧縮した表現を得るようにしている。
- ④生成器と識別器の2つのネットワークを競わせ、本物のようなデータを作り出すようにしている。
答えと解説を見る
RNN(Recurrent Neural Network)は、文章、音声、株価のように、順番に意味がある時系列データを扱うためのニューラルネットワークです。ある時刻の隠れ層の状態を、次の時刻の計算にも入力として使うことで、それまでの入力の情報(文脈)を引き継ぎながら処理できます。一方、系列が長くなると、時間をさかのぼって勾配を伝えるうちに勾配が消失・爆発しやすく、遠い過去の情報をうまく学習できないという課題があります。
他の選択肢が不適切な理由
・フィルタを画像の上でずらし局所的な特徴を取り出す:これはCNN(畳み込みニューラルネットワーク)の説明です。
・入力と同じものを出力するように学習する:これはオートエンコーダの説明です。
・生成器と識別器を競わせる:これはGAN(敵対的生成ネットワーク)の説明です。
覚え方のポイント
「RNN=前の時刻の状態を引き継ぐ(ループ構造)」。長期の依存関係を学べないという弱点を改善したのが、LSTMとGRUです。