Adam 優化器 Adaptive Moment Estimation
⚠️ 本站內容僅作教育用途，不構成投資建議。投資涉及風險，作出任何投資決定前請諮詢持牌專業人士。
Adam 優化器 Adaptive Moment Estimation 是訓練神經網絡最廣泛使用的梯度下降變體，2015 年由 Kingma 與 Ba 提出。它的核心思想是為每個參數分別維護兩個指數移動平均：梯度的一階矩（均值，類似動量）與二階矩（未中心化方差），再用兩者調整每個參數的實際更新步伐，令更新方向平穩、步長自適應。相較傳統隨機梯度下降（SGD）對所有參數使用同一學習率，Adam 收斂通常更快、對初始學習率的敏感度較低，常用的預設學習率為 0.001。要注意：Adam 並非萬能，部分任務上經過細心調校的 SGD 泛化能力反而更佳，選擇優化器應視乎模型與數據特性。