2024深度學習發(fā)論文&模型漲點之——PINN物理信息神經(jīng)網(wǎng)絡（Physics-Informed Neural Networks，簡稱PINN）是一種結(jié)合了深度學習和物理學知識的機器學習模型,。與傳統(tǒng)的數(shù)據(jù)驅(qū)動的神經(jīng)網(wǎng)絡不同，PINN在學習過程中利用物理法則對模型進行指導,，從而提高模型泛化能力,，特別是在數(shù)據(jù)較少或噪聲較大的情況下。 實際上,，物理信息機器學習一直是火爆且好發(fā)論文的方向,，目前已有多篇成果登上Nature及Science正刊。提起它的典型代表PINN,，大家應該都不陌生,。它通過將物理知識整合到機器學習模型中，能夠克服傳統(tǒng)方法對大量標記數(shù)據(jù)數(shù)據(jù)的依賴,，在提高模型預測準確性,、可解釋性、數(shù)據(jù)利用效率方面,，舉足輕重,！此外，該方向發(fā)展還不久,，既有很多成果可參考,，又有很多創(chuàng)新機會！你結(jié)合自己的數(shù)據(jù)集，換個場景,，便又是新文章,！ 小編整理了一些PINN論文合集，以下放出部分,，全部論文PDF版文末領取,。 【Nature】Physics-informed learning of governing equations from scarce data 從稀缺數(shù)據(jù)中學習物理信息以掌握控制方程物理信息神經(jīng)網(wǎng)絡（PINN）與稀疏回歸：提出了一種新方法，使用深度神經(jīng)網(wǎng)絡結(jié)合稀疏回歸來從少量且嘈雜的數(shù)據(jù)中發(fā)現(xiàn)控制非線性時空系統(tǒng)的偏微分方程,。 自動微分：利用深度神經(jīng)網(wǎng)絡的自動微分能力來準確計算解的導數(shù),，避免數(shù)值微分帶來的挑戰(zhàn)。 稀疏回歸：通過稀疏回歸來識別形成方程結(jié)構(gòu)和顯式表達式的關(guān)鍵導數(shù)項和參數(shù),。 交替方向優(yōu)化（ADO）算法：提出了一種優(yōu)化策略,，將整體優(yōu)化問題分解為一系列可處理的子問題，以順序優(yōu)化神經(jīng)網(wǎng)絡參數(shù)和稀疏PDE系數(shù),。
物理信息神經(jīng)網(wǎng)絡與稀疏回歸的結(jié)合：這種方法整合了深度神經(jīng)網(wǎng)絡的豐富表示學習能力,、自動微分的精確導數(shù)計算能力以及稀疏回歸的高效方程識別能力。 從少量且嘈雜的數(shù)據(jù)中學習：該方法能夠處理實際應用中常見的數(shù)據(jù)稀缺和噪聲問題,，提高了模型在現(xiàn)實世界數(shù)據(jù)條件下的適用性,。 “根-分支”網(wǎng)絡架構(gòu)：設計了一種新的網(wǎng)絡架構(gòu)，能夠處理來自不同初始/邊界條件的多個獨立數(shù)據(jù)集,，增強了模型的泛化能力,。 交替方向優(yōu)化策略：提出了一種新的優(yōu)化策略，有效地處理了稀疏回歸中的非光滑優(yōu)化問題,，提高了模型的優(yōu)化效率和準確性,。
論文2： 【Nature】Wavelets based physics informed neural networks to solve non-linear differential equations基于小波的物理信息神經(jīng)網(wǎng)絡解決非線性微分方程物理信息神經(jīng)網(wǎng)絡（PINN）：使用包含所有物理信息到損失函數(shù)中，構(gòu)建一個近似解的神經(jīng)網(wǎng)絡,。 小波激活函數(shù)：將小波作為激活函數(shù),，以提高神經(jīng)網(wǎng)絡的泛化能力。 自動微分技術(shù)：利用自動微分技術(shù)計算損失函數(shù)中的導數(shù),，簡化了PINN中的重要步驟,。 優(yōu)化算法：使用Adam優(yōu)化算法，結(jié)合了自適應梯度和均方根傳播的優(yōu)點,，以提高訓練效率,。
小波激活函數(shù)的應用：在PINN中使用小波作為激活函數(shù)，提高了模型的學習和泛化能力,。 多尺度和局部化特性：利用小波的多尺度和局部化特性,，有效表示函數(shù)，使用更少的系數(shù)和更快的算法,。 問題特定的神經(jīng)網(wǎng)絡設計：研究了神經(jīng)網(wǎng)絡設計中的關(guān)鍵因素,，如網(wǎng)絡架構(gòu),、隱藏層數(shù)量、神經(jīng)元數(shù)量對模型準確性的影響,。 損失函數(shù)的改進：通過在損失函數(shù)中加入更多信息,，提高了模型的性能，同時研究了動態(tài)權(quán)重分配對損失函數(shù)的影響,。
論文3： MetaNO: How to Transfer Your Knowledge on Learning Hidden Physics MetaNO：如何傳遞學習隱藏物理知識 元學習神經(jīng)算子（MetaNO）：提出了一種新穎的元學習方法,，用于在不同的參數(shù)場之間傳遞解算子的知識。 參數(shù)場捕獲：通過在神經(jīng)算子模型的第一層中適應參數(shù)場,，而不是在最后一層,，來捕獲底層參數(shù)場。 理論觀察：發(fā)現(xiàn)參數(shù)場可以在神經(jīng)算子模型的第一層中被捕獲,，這與傳統(tǒng)的元學習方法不同,。 應用驗證：在基于PDE的數(shù)據(jù)集和現(xiàn)實世界的材料建模問題上展示了所提方法的有效性。
第一層適應：與傳統(tǒng)的元學習方法不同,，MetaNO通過適應第一層而不是最后一層,，更適合于PDE求解任務。 通用解算子：MetaNO作為一個可證明的通用解算子,，能夠處理多個PDE求解任務,。 采樣效率：在新任務上，MetaNO能夠顯著提高采樣效率,，與可比精度相比,，節(jié)省了約90%的測量需求。 實際應用：在合成數(shù)據(jù)集,、基準測試數(shù)據(jù)集和現(xiàn)實世界的生物組織數(shù)據(jù)集上,，所提出的方法一致性地超越了現(xiàn)有的非元轉(zhuǎn)移學習方法和其他基于梯度的元學習方法。
論文4： Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation 通過概率表示學習PDEs的蒙特卡洛神經(jīng)PDE求解器 蒙特卡洛神經(jīng)PDE求解器（MCNP求解器）：提出了一種通過PDEs的概率表示來訓練無監(jiān)督神經(jīng)求解器的新方法,。 Heun方法：在模擬粒子軌跡的對流過程中使用Heun方法，以提高準確性,。 概率密度函數(shù)（PDF）：在擴散過程中,，通過鄰近網(wǎng)格點的概率密度函數(shù)來計算期望值，避免了蒙特卡洛方法中大量粒子采樣的需要,。
概率表示：將宏觀現(xiàn)象視為隨機粒子的集合,，為PDE系統(tǒng)提供了新的概率表示視角。 無監(jiān)督學習：MCNP求解器能夠在有限數(shù)據(jù)的情況下進行無監(jiān)督訓練,，適用于數(shù)據(jù)稀缺的場景,。 計算效率：通過避免精細的空間時間離散化，減少了計算挑戰(zhàn)和累積誤差,，提高了模擬的準確性和效率,。 處理高頻率空間場：由于其無導數(shù)特性，MCNP求解器能夠有效處理高頻率空間場。 自動編碼邊界條件：邊界條件被自然編碼到粒子的隨機過程中,，消除了引入額外損失項以滿足這些約束的需要,。
|
