机器学习

论文信息：Liu, L., Yang, B., Zhang, Y., Xu, Y., Peng, Z., & Wang, F. (2023). Solving Electromagnetic Inverse Problem Using Adaptive Gradient Descent Algorithm. IEEE Transactions on Geoscience and Remote Sensing, 61, 5902415. https://doi.org/10.1109/TGRS.2023.3239106 大地电磁（MT）等频率域电磁（EM）反演属于典型的非线性、非唯一地球物理反问题，工程上多采用线性化迭代求解。其中非线性共轭梯度（NLCG）算法因实现简单、内存需求低而广受欢迎，但它每一步都要做费力费时的线搜索来确定步长——这正是本文想要"动刀"的地方。本文作者之一张壹参与的研究把深度学习里早已成熟的自适应梯度下降（AGD）算法引入 EM 反演，用简单的代数累积代替线搜索，在保持结果可比的同时，把计算成本砍掉三分之一以上。下面围绕这篇 IEEE TGRS 论文，梳理其动机、方法要点与主要结论。 为什么 NLCG 反演"贵"在线搜索 在 NLCG 的每次迭代里，模型梯度决定了搜索方向，而线搜索负责确定步长。线搜索每次通常要多次求解相应的正演问题；即便采用高效的伴随方程法，梯度估计本身也大致要花一次正演两倍的计算量，而线搜索至少还要再额外付出一到两次正演。粗略估算下来，线搜索约占 NLCG 总成本的三分之一。对于需要反复迭代、每个样本都要正演的大型 EM 反演，这一块开销相当可观。 一个自然的想法是：能不能不做线搜索？深度学习社区在过去十年里给出了答案——自适应梯度下降（AGD）。它的核心是把历次迭代累积的梯度与模型更新用简单的代数运算来估计当前迭代的模型参数，从而彻底躲开耗时的线搜索。从 Adagrad 到 Adadelta、RMSProp，再到广泛使用的 Adam 及其变体（Adamax、NAdam、AMSGrad），这些算法在深度学习里已被验证得非常成熟。尽管在地震全波形反演中已有研究指出 AGD 相对 NLCG / L-BFGS 在时间与分辨率上的优势，但不同研究也存在分歧，且此前尚无将 AGD 用于 EM 数据反演的系统工作。这正是本研究要填补的空白。 方法：用累积梯度替代线搜索的 AGD 反演框架 AGD 家族共享一个朴素而漂亮的思想：不再费力去"试"一个标量步长，而是把每次迭代的梯度（及其平方）累积起来，用它们自适应地调节每个模型参数的学习率，从而把步长从标量变成向量（逐参数不同）。以最简洁的 Adagrad 为例，模型更新形如 ...

论文信息：Liu, L., Yang, B., & Zhang, Y. (2024). Inverting magnetotelluric data using a physics-guided auto-encoder with scaling laws extension. Frontiers in Earth Science, 12, 1510962. https://doi.org/10.3389/feart.2024.1510962 大地电磁（MT）反演本质上是强非线性、多解的逆问题，传统上依赖奥卡姆（Occam）等确定性与贝叶斯等随机方法反复迭代，计算代价高昂。神经网络（ANN）号称能在训练后"瞬时"出结果，却长期困于两大顽疾：拟合不准（恢复的模型无法贴合实测数据的反演误差（RMS））与不可复用（换个观察系统就得从头重训）。本文作者之一是本站博主张壹，这篇 Frontiers in Earth Science 论文正是针对这两个痛点而作——用一条**物理引导自编码器（PGAE）解决"物理一致性"，再用尺度定律（scaling laws）**解决"跨系统复用"，把 ANN 型 MT 反演从"实验室玩具"推向复杂真实环境。 为什么要动 ANN 的"物理一致性"与"泛化性" MT 逆问题在地球物理中出了名的难缠：观测数据有限、噪声不可避免，加上模型固有的零空间，反演结果并不唯一（Backus & Gilbert, 1967; Parker, 1983）。传统做法要么走确定性路线（Tikhonov、Occam、NLCG、ModEM 等），要么走随机采样路线（Bayesian / trans-dimensional），无一例外需要频繁调用正演、反复迭代，代价高昂。 深度学习的兴起为 MT 反演带来了"训练一次、秒出结果"的希望。常规 ANN 反演大多走监督学习路线：先构造大量地电模型作为标签，正演算出对应的 MT 响应作为特征，再训练网络拟合数据→模型的映射。其问题也随之而来：其一，标签（地电模型）本身很难构造——要么融入测井、近地表地质等先验，要么依赖"模型应当平滑"这类人为约束；其二，即便训练好了，网络拟合的是统计关系而非法则，恢复出的模型常常无法真正匹配实测数据的差异；其三，这样的网络对观察系统极其敏感，频率范围一换，原来的网络就无法复用，只能推倒重训（Ling et al., 2023; Pan et al., 2024 等）。 正是这三点，让 ANN 反演在真实与复杂场景中举步维艰——本文要逐一破解。 方法：把正演物理"焊死"进网络，再借尺度定律"搬家" **物理引导自编码器（PGAE）**的构思非常直白（图1）：自编码器本是编码器把输入映射到一个隐参数空间、解码器再从隐空间重建输入的"无标签"结构。本文做的关键改动是——把解码器直接替换成 MT 正演算子。这样一来： ...