ReLU 激活函數 Rectified Linear Unit
⚠️ 本站內容僅作教育用途，不構成投資建議。投資涉及風險，作出任何投資決定前請諮詢持牌專業人士。
ReLU 激活函數 Rectified Linear Unit 是神經網絡中最流行的激活函數，數學形式為 $\phi(x) = \max(0, x)$：輸入高於零時原值通過，低於零時輸出零，功能類似一個開關。其形狀與認購期權的 payoff 函數相似。ReLU 受歡迎的主因有二：一是梯度計算極快，令反向傳播的優化循環效率高；二是它為網絡引入非線性，否則多層線性運算疊加後仍只是線性模型。要注意：ReLU 有多種變體（如 Leaky ReLU），用於處理輸出長期為零的「神經元死亡」問題。