用自适应梯度下降求解电磁反演问题：向深度学习借一种更省时的优化器

论文信息：Liu, L., Yang, B., Zhang, Y., Xu, Y., Peng, Z., & Wang, F. (2023). Solving Electromagnetic Inverse Problem Using Adaptive Gradient Descent Algorithm. IEEE Transactions on Geoscience and Remote Sensing, 61, 5902415. https://doi.org/10.1109/TGRS.2023.3239106

大地电磁（MT）等频率域电磁（EM）反演属于典型的非线性、非唯一地球物理反问题，工程上多采用线性化迭代求解。其中非线性共轭梯度（NLCG）算法因实现简单、内存需求低而广受欢迎，但它每一步都要做费力费时的线搜索来确定步长——这正是本文想要"动刀"的地方。本文作者之一张壹参与的研究把深度学习里早已成熟的自适应梯度下降（AGD）算法引入 EM 反演，用简单的代数累积代替线搜索，在保持结果可比的同时，把计算成本砍掉三分之一以上。下面围绕这篇 IEEE TGRS 论文，梳理其动机、方法要点与主要结论。

为什么 NLCG 反演"贵"在线搜索

在 NLCG 的每次迭代里，模型梯度决定了搜索方向，而线搜索负责确定步长。线搜索每次通常要多次求解相应的正演问题；即便采用高效的伴随方程法，梯度估计本身也大致要花一次正演两倍的计算量，而线搜索至少还要再额外付出一到两次正演。粗略估算下来，线搜索约占 NLCG 总成本的三分之一。对于需要反复迭代、每个样本都要正演的大型 EM 反演，这一块开销相当可观。

一个自然的想法是：能不能不做线搜索？深度学习社区在过去十年里给出了答案——自适应梯度下降（AGD）。它的核心是把历次迭代累积的梯度与模型更新用简单的代数运算来估计当前迭代的模型参数，从而彻底躲开耗时的线搜索。从 Adagrad 到 Adadelta、RMSProp，再到广泛使用的 Adam 及其变体（Adamax、NAdam、AMSGrad），这些算法在深度学习里已被验证得非常成熟。尽管在地震全波形反演中已有研究指出 AGD 相对 NLCG / L-BFGS 在时间与分辨率上的优势，但不同研究也存在分歧，且此前尚无将 AGD 用于 EM 数据反演的系统工作。这正是本研究要填补的空白。

方法：用累积梯度替代线搜索的 AGD 反演框架

AGD 家族共享一个朴素而漂亮的思想：不再费力去"试"一个标量步长，而是把每次迭代的梯度（及其平方）累积起来，用它们自适应地调节每个模型参数的学习率，从而把步长从标量变成向量（逐参数不同）。以最简洁的 Adagrad 为例，模型更新形如

$$ m_k = m_{k-1} - \frac{\varepsilon}{\delta + r_k}\odot g_k,\qquad r_k = r_{k-1}+g_k\odot g_k $$

其中 $g_k$ 为梯度、$\odot$ 表示逐元素乘、$\varepsilon$ 为全局学习率、$r_k$ 累积梯度平方。RMSProp 在此基础上引入衰减率做梯度平方的滑动平均，Adam 则同时累积梯度一阶矩与二阶矩并做偏差校正，即当前业界最流行的形式。就反演而言，AGD 与非单调下降相伴：与 NLCG 的单调下降保证不同，AGD 的目标函数不一定每步都在降——而这恰恰是它能够跳出局部极小、向全局解探索的机制。

本文把 AGD 融入 EM 反演，稍作了几处关键设计：

• 正则化参数与 cool-down 降温：采用 cool-down 策略，从一个较大的正则化参数出发，当模型更新过小或达到"探索上限"时按冷却率 $\alpha$ 逐级减小 $\lambda$，从而在避免局部极小的同时控制计算量；线搜索不再是必需的。
• tolsearch 容忍停判：受深度学习"early stopping"启发，提出一个容忍准则——若目标函数在某次迭代不再下降，先容忍它继续迭代；但若在后续连续的若干次迭代里目标函数持续上升，则终止并输出较早的较优模型，以平衡全局搜索能力与总计算成本。
• 全局学习率的选取：深度学习常用的学习率并不直接适用于 EM 反演，作者通过数值试验分别为 Adam（推荐 0.05）与 RMSProp（推荐 0.005）选定合适的全局学习率。

主要结果：与 NLCG 相当的结果，三分之一以上的省时

作者在三个数据集上检验了框架的可行性，均以均匀半空间为初始模型、无任何先验信息：

1. 双块体合成模型（一个低阻、一个高阻块体）：Adam 与 RMSProp 恢复的导/阻异常体边界与真实模型吻合良好，且明显优于 NLCG——NLCG 恢复的低阻异常向真实块体上方偏聚，边界稍向外延展。
2. Sasaki 模型（含 4 个不同电性异常体）：三种算法在各降温阶段恢复的异常体形态与电阻率几乎一致，但背景电阻率略有差异——右底角背景 NLCG 恢复约 43 Ω·m，Adam/RMSProp 恢复约 49 Ω·m（更接近真实 50 Ω·m），暗示 AGD 具有更好的全局收敛能力。
3. 真实 AMT 数据（新疆西准噶尔阿克巴斯塔奥花岗岩体剖面）：Adam、RMSProp、NLCG 反演出的主要构造、岩体与断层（红色实线为达尔布特断裂）特征一致，仅个别低阻体（C1）在中心/底部电阻率上略有差异，且各站点的数据拟合均相当、可接受。

最直观的收益在计算成本上：相比 NLCG，Adam 节省约 34%–38%，RMSProp 节省约 36%–46% 的计算开销——三个算例分别是双块体（Adam 38%、RMSProp 46%）、Sasaki 模型（Adam 34%、RMSProp 42%）与阿克巴斯塔奥剖面（两者均约 36%）。由于省去了以正演为代价的线搜索，这部分节余基本直接来自计算量的削减，而恢复模型与 NLCG 相当甚至更好。

讨论：AGD 与 SGD 的辨析、代价与展望

作者特别澄清了一个常见混淆：AGD 与（小批量）随机梯度下降（SGD）并无本质联系。SGD 的"随机"指按数据子集估计梯度以提升效率；而 AGD 的"自适应"指自适应调节学习率或搜索方向。两者在深度学习里可以结合，在地球物理反演中也可以把随机选频（MT）或随机选源（CSEM/地震）的梯度估计与 AGD 相结合，以进一步节省每次迭代的正演开销——但作者提示，这样可能显著增加总迭代次数与小批量尺寸带来的稳定性问题，更适合计算资源受限的大型 3-D 反演。

AGD 也并非没有代价：由于目标函数非单调下降，它可能"冲过"局部（乃至全局）最优解，反而增大总成本。因此恰当的停止准则（如本文的 nRMS 阈值、模型更新阈值与 tolsearch 容忍准则）与 cool-down 降温策略的配合至关重要。一个值得注意的观点是：若把 AGD 的调节视为作用于步长/学习率，则调整后的步长是一个"向量"，算法得以在向量化解空间中寻找最优步长，其全局搜索能力理论上优于经典梯度下降与 NLCG（含线搜索）。

展望方面，作者指出最迫切的问题是为 AGD 设计一套自动计算全局学习率的规则，使其能无需人工调参地直接应用到不同地球物理反演中——NLCG 中确定线搜索初始步长的策略或可借鉴。此外，将 AGD 推广到 3-D 大规模 EM 反演、与随机梯度/小批量策略结合，都是自然的前进方向。

延伸阅读与引用

• Rodi, W., & Mackie, R. L. (2001). Nonlinear conjugate gradients algorithm for 2-D magnetotelluric inversion. Geophysics, 66(1), 174–187.
• Kingma, D. P., & Ba, J. (2014). Adam: A method for stochastic optimization. arXiv:1412.6980.
• Kelbert, A., Meqbel, N., Egbert, G. D., & Tandon, K. (2014). ModEM: A modular system for inversion of electromagnetic geophysical data. Computers & Geosciences, 66, 40–53.
• Yang, B., et al. (2016). Three-dimensional audio-frequency magnetotelluric imaging of Akebasitao granitic intrusions in Western Junggar, NW China. Journal of Applied Geophysics, 135, 288–296.
• Liu, L., Yang, B., Zhang, Y., Xu, Y., Peng, Z., & Wang, F. (2023). Solving Electromagnetic Inverse Problem Using Adaptive Gradient Descent Algorithm. IEEE Transactions on Geoscience and Remote Sensing, 61, 5902415. https://doi.org/10.1109/TGRS.2023.3239106

本文为对该论文的中文解读，图片均引自论文原文。