Управляемые рекуррентные блоки (англ. Gated Recurrent Units, GRU) — механизм вентилей для рекуррентных нейронных сетей, представленный в 2014 году. Было установлено, что его эффективность при решении задач моделирования музыкальных и речевых сигналов сопоставима с использованием долгой краткосрочной памяти (LSTM).[1] По сравнению с LSTM у данного механизма меньше параметров, т.к. отсутствует выходной вентиль.[2]
Архитектура
обозначает произведение Адамара.
.
![{\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\h_{t}&=z_{t}\circ h_{t-1}+(1-z_{t})\circ \sigma _{h}(W_{h}x_{t}+U_{h}(r_{t}\circ h_{t-1})+b_{h})\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/dca2c180eeed804e6ea23aeda5462b6b210e659e)
Переменные
: входной вектор
: выходной вектор
: вектор вентиля обновления
: вектор вентиля сброса
,
и
: матрицы параметров и вектор
Функции активации
См. также
Примечания