GRU (Gated Recurrent Unit)とは【わかりやすく】

GRUの数式

GRUのWikipediaの数式を直感的に理解する。

変数\(x\)は新たに入ってきたインプットである。
各種\(W\)と\(b\)はモデルのパラメーターであり、\(W\)はウェイト、\(b\)はバイアスである。

その他が重要な変数である。
３つの変数\(z, r, h\)の直感的な意味は次の通り。

\(z\): 更新ゲート（upgate gate）
一時点前の隠れ層である\(h\)の情報のうち、いらないものをどれくらい忘れるかを表す。つまり古い情報をどれくらい捨てるかを表す。\(z\)は0と1の間の値をとるが、\(z\)が大きいほど、古い情報をたくさん捨てることになる。
\(r\): 初期化ゲート（reset gate）（resetのr）
隠れ層\(h_t \)を更新する際に、一時点前の隠れ層\(h_{t-1}\)の情報をどれくらい引き継ぐかを表す。\(r\)が大きいほど、過去の情報が多く引き継がれる。
\(h\): 隠れ層（hiddenのh）
過去から引き継がれてきた記憶（文脈）を表す。\(h_t\)は、一時点前の隠れ層\(h_{t-1}\)と、直近で新しく入ってきた情報から作られた情報（ここで\(r\)が使われる）を、\(1-z_t \)と\(z_t\)の割合で混合して作られる。

以上を踏まえて３本の数式の意味を直感的に理解する。

１本目の式の\(\sigma_g \)は、シグモイド関数なので０から１までの値をとる。\(z\)が１に近いほど、３本目の式で\(h_t\)を求める際に\(h_{t-1}\)の影響を受けなくなる。つまり、\(z\)が１に近いほど、\(h_t\)が直近の文脈の影響を受けなくなり、今までの記憶を忘れて大きく更新することになる。このように\(z\)は記憶を更新する度合いを表している。
２本目の式の\(r\)は、シグモイド関数なので０から１までの値をとる。１に近いほど過去の記憶\(h_{t-1}\)を将来に引き継ぐ。０に近いほど過去の記憶をリセットして、直近に入ってきたインプット\(x\)を重視して覚えておく。
３本目の式の\(h\)は、長期記憶を表す。なぜ長期記憶かというと、一時点前の\(h_{t-1}\)をもとに\(h_t\)が作られており、過去の自分自身が将来に受け継がれているからである。過去の情報が累積されているので長期的に残している記憶に対応する。
1. ３本目の \(h\) の式は、前半が過去の情報の一部を忘れずに引き継ぐことを表しており、後半が新しく入ってきた情報の一部を長期記憶に残しておくことを表している。