?? 基于物理的神經(jīng)網(wǎng)絡(luò)及其在復(fù)雜流體動(dòng)力學(xué)中的應(yīng)用綜述

摘要

物理信息神經(jīng)網(wǎng)絡(luò)（PINNs）代表了一種新興的計(jì)算范式,，它結(jié)合了給定問題域中的觀測(cè)數(shù)據(jù)模式和基本物理定律。該方法在解決復(fù)雜流體動(dòng)力學(xué)領(lǐng)域中的多種難題方面具有顯著優(yōu)勢(shì),。我們深入探討了PINNs的模型架構(gòu)設(shè)計(jì),、收斂率優(yōu)化以及計(jì)算模塊的開發(fā)。然而,，高效、準(zhǔn)確地使用PINNs來解決復(fù)雜的流體動(dòng)力學(xué)問題仍是一個(gè)巨大的障礙,。例如,，從已知數(shù)據(jù)快速推導(dǎo)湍流的替代模型并準(zhǔn)確表征多相流場(chǎng)中的流動(dòng)細(xì)節(jié)，仍然具有極大的挑戰(zhàn)性,。此外,，在多物理耦合模型中預(yù)測(cè)參數(shù)，實(shí)現(xiàn)在多尺度建模中平衡所有尺度,，以及開發(fā)涵蓋復(fù)雜流體動(dòng)力學(xué)問題的標(biāo)準(zhǔn)化測(cè)試集,，都是亟需的技術(shù)突破。本論文討論了PINNs的最新進(jìn)展及其在復(fù)雜流體動(dòng)力學(xué)中的潛在應(yīng)用,，包括湍流,、多相流、多場(chǎng)耦合流和多尺度流,。我們還分析了PINNs在解決這些流體動(dòng)力學(xué)問題中面臨的挑戰(zhàn),，并概述了其未來發(fā)展趨勢(shì)。我們的目標(biāo)是增強(qiáng)深度學(xué)習(xí)與復(fù)雜流體動(dòng)力學(xué)的融合,，推動(dòng)更現(xiàn)實(shí)和復(fù)雜流動(dòng)問題的解決,。

1. 引言

近年來，基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)（DL）技術(shù)在解決物理和化學(xué)等領(lǐng)域的工程問題中變得越來越受歡迎,。通過構(gòu)建多層神經(jīng)網(wǎng)絡(luò)模型,，DL可以從數(shù)據(jù)中學(xué)習(xí)并提取復(fù)雜特征，從而有效地促進(jìn)模式識(shí)別和不同領(lǐng)域的預(yù)測(cè),。在解決偏微分方程（PDEs）方面,，DL已經(jīng)發(fā)展到不再依賴離散網(wǎng)格或手動(dòng)推導(dǎo)解析解，直接從數(shù)據(jù)中學(xué)習(xí)PDE解,，提供了有效的真實(shí)世界場(chǎng)景的近似,。

然而，DL方法的學(xué)習(xí)過程受到訓(xùn)練數(shù)據(jù)集范圍的限制,，例如指定的初始和邊界條件,、材料特性以及其他參數(shù)。這一限制降低了DL推廣至未知條件的能力,，顯著減少了DL技術(shù)在預(yù)測(cè)未知領(lǐng)域時(shí)的有效性,。此外,，存在一種基于DL的神經(jīng)算子技術(shù)（例如，深度算子網(wǎng)絡(luò)[DeepONet]和傅里葉神經(jīng)算子[FNO]）,，它們利用編碼和近似的概念來學(xué)習(xí)不同函數(shù)空間之間的非線性映射,。這些方法能夠解決多種初始和邊界條件下的PDEs問題。

雖然神經(jīng)算子展示了強(qiáng)大的實(shí)時(shí)推理能力,，但在應(yīng)用于大規(guī)模領(lǐng)域和多物理問題時(shí),，它們及其變體仍面臨挑戰(zhàn)。更嚴(yán)重的問題在于,，這些系統(tǒng)嚴(yán)重依賴于數(shù)據(jù),，因此當(dāng)數(shù)據(jù)獲取稀少或稀缺時(shí)，容易導(dǎo)致過擬合,。此外,，這些被稱為“黑箱”模型的方法，可能無法捕獲PDE解的數(shù)學(xué)性質(zhì),，并缺乏有效集成特定領(lǐng)域物理知識(shí)的能力,。幸運(yùn)的是，Raissi提出了物理信息神經(jīng)網(wǎng)絡(luò)（PINNs）,，這種范式豐富了DL在數(shù)學(xué)物理中的應(yīng)用,。

PINNs通過在神經(jīng)網(wǎng)絡(luò)架構(gòu)中集成物理約束和先驗(yàn)知識(shí)，結(jié)合有限的數(shù)據(jù),，實(shí)現(xiàn)了魯棒的泛化能力和出色的可解釋性,。PINNs通過利用控制方程、初始條件和邊界條件的殘差來創(chuàng)建損失函數(shù),。損失函數(shù)隨后被優(yōu)化以發(fā)現(xiàn)PDEs的解,，同時(shí)遵守物理定律所施加的約束。為了增強(qiáng)損失函數(shù),，主要策略包括將數(shù)學(xué)模型融入網(wǎng)絡(luò),，并利用來自控制方程的殘差項(xiàng)。殘差項(xiàng)作為懲罰項(xiàng),，限制了解的空間,，使其符合物理上可行的解空間。

自其問世以來,，PINNs在科學(xué)計(jì)算社區(qū)中獲得了顯著的認(rèn)可,。憑借這些優(yōu)勢(shì)，PINNs已廣泛應(yīng)用于各個(gè)領(lǐng)域,，包括流體力學(xué),、固體力學(xué)、生物醫(yī)學(xué)科學(xué)、材料科學(xué)和光學(xué)電磁應(yīng)用,。

另一方面,，作為最重要的學(xué)科之一，流體力學(xué)經(jīng)歷了從經(jīng)典流體力學(xué),、實(shí)驗(yàn)流體力學(xué)和計(jì)算流體動(dòng)力學(xué)（CFD）(^{18-20})的顯著進(jìn)步,，到基于人工智能的現(xiàn)代流體動(dòng)力學(xué)的開發(fā)?？茖W(xué)家們已經(jīng)在流體力學(xué)的各個(gè)領(lǐng)域取得了大量研究成果,。取得的成就表明，我們可以將流體力學(xué)研究劃分為三類：實(shí)驗(yàn)研究,、理論分析和數(shù)值模擬,。實(shí)驗(yàn)研究是最可靠且值得信賴的研究方法，因?yàn)樗鼈兡軌蛑苯佑^察和測(cè)量流體現(xiàn)象,。然而，當(dāng)處理復(fù)雜問題時(shí),，其與實(shí)際現(xiàn)象的吻合度可能會(huì)受到實(shí)驗(yàn)設(shè)計(jì),、儀器限制和不可控環(huán)境因素的制約。理論分析和數(shù)值模擬涉及構(gòu)建基于守恒方程（如質(zhì)量,、運(yùn)動(dòng)和狀態(tài)）的物理模型,。這些模型依賴于有限的基本數(shù)據(jù)，例如初始和邊界條件,。理論解利用了諸如變量分離(^{21})和拉普拉斯變換等解析技術(shù),。另一方面，數(shù)值解采用有限體積（FVM）(^{22}),、有限差分（FDM）(^{23})和有限元（FEM）(^{23})等方法來解決物理模型,。這些方法最終得出了關(guān)鍵的流體參數(shù),，例如流速,、速度和壓力(^{24,25})。然而,，理論研究和數(shù)值模擬存在固有的局限性,，這些局限性無法完全覆蓋真實(shí)世界中的過程,。例如，數(shù)值模擬中使用的條件往往是理想化的,，無法充分考慮真實(shí)世界的復(fù)雜系統(tǒng)建模,。這在涉及多物理場(chǎng)或多尺度流體動(dòng)力學(xué)問題時(shí)尤為困難，特別是那些涉及相變或化學(xué)反應(yīng)且具有多種邊界條件的過程,。這是因?yàn)閱栴}的復(fù)雜性在于維度的數(shù)量,。盡管如此，解決這些問題的計(jì)算方法仍需大量時(shí)間。

PINN在工程應(yīng)用中取得了顯著關(guān)注,，尤其是在解決流體力學(xué)領(lǐng)域的偏微分方程（PDEs）問題方面,。其優(yōu)點(diǎn)是能夠有效利用來自真實(shí)世界現(xiàn)象的先驗(yàn)知識(shí)，并能靈活處理實(shí)驗(yàn)數(shù)據(jù)或數(shù)值模擬輸出,。當(dāng)存在先驗(yàn)知識(shí)和初始/邊界條件時(shí),，PINNs可以作為一種正向建模方法，類似于數(shù)值模擬方法,。當(dāng)條件不足時(shí),，如先驗(yàn)知識(shí)不足，PINNs可以通過利用標(biāo)記數(shù)據(jù)同時(shí)處理參數(shù)反演問題(^{26}),。PINN方法的另一個(gè)優(yōu)勢(shì)在于它沒有嚴(yán)格的數(shù)據(jù)要求,，因?yàn)檫@一點(diǎn)取決于具體問題(^{27})。物理模型的復(fù)雜性,、神經(jīng)網(wǎng)絡(luò)的架構(gòu)以及可用數(shù)據(jù)集的總量共同決定了有效解決問題所需的數(shù)據(jù)量,。此外，PINNs在處理復(fù)雜流動(dòng)問題時(shí)表現(xiàn)出出色的適應(yīng)性,，這些問題以稀疏訓(xùn)練數(shù)據(jù),、噪聲數(shù)據(jù)或非線性或時(shí)間變化的邊界條件為特征。這通過其動(dòng)態(tài)修改激活函數(shù),、網(wǎng)絡(luò)結(jié)構(gòu)以及實(shí)時(shí)優(yōu)化器的能力來實(shí)現(xiàn),，基于當(dāng)前情況的需要(^{27})。因此,，PINNs具備將數(shù)據(jù)與物理知識(shí)相結(jié)合的能力,，并在解決這些挑戰(zhàn)中表現(xiàn)出顯著優(yōu)勢(shì)。

盡管使用PINNs解決流體力學(xué)問題已經(jīng)取得了顯著的成功,，特別是在高效處理相對(duì)簡(jiǎn)單的PDEs和特定物理任務(wù)方面,，但在處理更復(fù)雜的流體動(dòng)力學(xué)問題時(shí)仍然遇到了重大障礙。這些挑戰(zhàn)包括對(duì)基本原理的有限理解,、實(shí)驗(yàn)數(shù)據(jù)稀缺以及創(chuàng)建準(zhǔn)確模型的困難,。此外，即使涉及湍流,、多相流,、多場(chǎng)耦合和多尺度建模的復(fù)雜流體現(xiàn)象，訓(xùn)練的穩(wěn)健性和效率仍有改進(jìn)的潛力,。為解決這些困難,，本研究首先提供了對(duì)PINNs最近進(jìn)展的概述，包括模型結(jié)構(gòu)設(shè)計(jì),、收斂率優(yōu)化以及計(jì)算模塊開發(fā),。然后討論了在復(fù)雜流中PINNs在不同流體性質(zhì)上的應(yīng)用,，特別是在湍流、多相流,、多尺度建模等方面,。最后，我們通過提供針對(duì)這些交互流的代表性場(chǎng)景的研究,，總結(jié)了PINNs在這些復(fù)雜問題中的應(yīng)用潛力,，展望了未來的研究方向。

2,、PINN的最新進(jìn)展

在本節(jié)中,，我們從全面的角度提供了PINNs的原始架構(gòu)和工作原理。此外,，我們將分析近年來研究人員對(duì)原始框架進(jìn)行的各種修改,。這些修改包括設(shè)計(jì)模型架構(gòu)、優(yōu)化收斂速度以及開發(fā)庫(kù),。然而,，在分析這些方面之前，有必要提供自PINNs誕生以來,，在各種領(lǐng)域和研究機(jī)構(gòu)中的論文發(fā)表,、引用數(shù)量和應(yīng)用情況的綜合信息。這些數(shù)據(jù)將突出PINNs在DL領(lǐng)域的顯著貢獻(xiàn),。如圖1所示，PINNs領(lǐng)域的論文數(shù)量增長(zhǎng)迅速,，到2023年已經(jīng)達(dá)到了1426篇,。這些論文共獲得了20355次引用，展示了PINNs在各個(gè)學(xué)科中的廣泛應(yīng)用,，突出了其強(qiáng)大的能力和適應(yīng)結(jié)構(gòu),，徹底改變了問題解決方法。圖2提供了最具影響力的科學(xué)家名單,，他們?cè)赑INNs領(lǐng)域做出了重要貢獻(xiàn),。研究人員可以通過閱讀這些學(xué)者發(fā)表的文章，獲得有價(jià)值的知識(shí),，并促進(jìn)多學(xué)科合作,。本文的結(jié)構(gòu)和當(dāng)前文章的內(nèi)容框架如圖3所示。

A. PINN的結(jié)構(gòu)

在該框架內(nèi),，我們使用Raissi開創(chuàng)性工作的實(shí)例作為基礎(chǔ),，引入PINN模型結(jié)構(gòu)，以解決流體力學(xué)問題,。此外,，通過解決特定的非線性偏微分方程（NLPDEs），我們闡明了網(wǎng)絡(luò)的基本框架及其用于訓(xùn)練的方法。這為研究人員提供了在該領(lǐng)域中使用PINN時(shí)的寶貴見解,。無論是用于正向任務(wù)還是反向任務(wù),，PINN的強(qiáng)大之處在于它能夠有效地采用統(tǒng)一的框架。因此,，圖4中所示的配置還可以解決未來的困難,。

綜合的PINN架構(gòu)由兩個(gè)主要組成部分組成：一個(gè)神經(jīng)網(wǎng)絡(luò)組件和一個(gè)物理約束組件。在實(shí)際工程場(chǎng)景中,，神經(jīng)網(wǎng)絡(luò)處理從CFD仿真軟件獲得的輸入數(shù)據(jù),。隱藏層利用大量神經(jīng)元來獲取數(shù)據(jù)中的復(fù)雜非線性連接，最終產(chǎn)生預(yù)期的結(jié)果,。

相反,，物理約束組件將物理方程作為補(bǔ)充條件集成到神經(jīng)網(wǎng)絡(luò)中。以下三個(gè)方程描述了不可壓縮粘性流體問題：

第一個(gè)方程是連續(xù)性方程,，定義了流體的質(zhì)量守恒,。第二和第三個(gè)方程是動(dòng)量守恒方程， 和 分別表示未知參數(shù),，這些參數(shù)有效地描述了流體粘度的運(yùn)動(dòng)粘性系數(shù),。

此外，在損失函數(shù)組件下,，綜合損失 包括來自初始和邊界條件的損失,，以及源于控制方程的損失。其他問題還需要引入附加的損失項(xiàng),。重要的是要指出,，所有損失項(xiàng)都依賴于輸入?yún)?shù)，例如神經(jīng)元的權(quán)重和偏差,。它們使用損失函數(shù)的目標(biāo)是減少預(yù)測(cè)結(jié)果與物理限制和數(shù)據(jù)擬合要求之間的差異,。最終，利用優(yōu)化算法（如梯度下降或Adam）來修改神經(jīng)網(wǎng)絡(luò)參數(shù),，以最小化損失函數(shù),。通過持續(xù)優(yōu)化過程，物理模型被調(diào)整為符合現(xiàn)實(shí)世界的條件,。

因此,，當(dāng)采用PINNs解決實(shí)際問題時(shí)，最初的固定框架可以進(jìn)一步改進(jìn),。例如,，研究人員可以用貝葉斯神經(jīng)網(wǎng)絡(luò)（BNNs）取代傳統(tǒng)的全連接神經(jīng)網(wǎng)絡(luò)（FCNNs），或者使用分解技術(shù)捕獲非線性關(guān)系,，并結(jié)合不確定性評(píng)估進(jìn)行系統(tǒng)評(píng)估,。這樣的改進(jìn)有助于顯著提高PINNs在面臨真實(shí)世界挑戰(zhàn)時(shí)的整體應(yīng)用能力和適應(yīng)性,。

B. 模型架構(gòu)設(shè)計(jì)

原始的PINN已經(jīng)在解決PDEs方面展示了卓越的效率。然而,，PDEs的研究不僅涉及二階線性PDEs,，還包括高階、分?jǐn)?shù)階和NLPDEs,。這些類型方程的數(shù)值解通常無法產(chǎn)生令人滿意的結(jié)果,。最近，研究人員對(duì)PINN的結(jié)構(gòu)進(jìn)行了深入研究,，提出了專門針對(duì)不同類型PDEs的多個(gè)版本,。例如，Pang等人(^{29,30}) 提出了nPINNs和fPINNs,，作為積分方程和分?jǐn)?shù)階PDEs的解法,。研究人員能夠使用fPINNs和分?jǐn)?shù)階算子模擬并求解在高雷諾數(shù)下的雷諾平均納維-斯托克斯方程（RANS）。該方法非常適用于湍流應(yīng)力較高的雷諾數(shù)流體,。

在PDE問題的領(lǐng)域中,，NLPDEs的解決方案占多數(shù)，這些方程涉及高階微分且在力學(xué),、能源,、經(jīng)濟(jì)學(xué)和醫(yī)學(xué)中具有實(shí)質(zhì)性應(yīng)用。在這種情況下,，Bai等人(^{31}) 提出了一個(gè)在解決具有高頻特征和病態(tài)計(jì)算域的NLPDEs方面表現(xiàn)更好的混合PINNs,。Yuan等人(^{33}) 引入了A-PINNs，它們涉及控制方程中的積分項(xiàng),。

更重要的是,，最近的研究越來越多地展示了元學(xué)習(xí)或遷移學(xué)習(xí)在PINNs中的有效性，用于解決時(shí)間相關(guān)或高維PDEs問題(^{34-39}),。

1. 域分解

目前,，研究人員也發(fā)現(xiàn)了使用PINNs解決大域或高維非凸優(yōu)化問題的挑戰(zhàn),，例如較高的吸收誤差,、增加的訓(xùn)練次數(shù)和較長(zhǎng)的訓(xùn)練時(shí)間。此外,，當(dāng)求解諸如可壓縮歐拉方程等方程時(shí),，即使條件是光滑的，技術(shù)也只能處理連續(xù)解,，而對(duì)于不連續(xù)的解,，如沖擊波和接觸波，這些問題尤為困難,。為了克服這些障礙,，許多研究人員應(yīng)用了域分解的概念,，將復(fù)雜域劃分為離散子域，以實(shí)現(xiàn)“劃分和征服”的策略,。通過在每個(gè)子域中獨(dú)立使用PINN,，特別是當(dāng)面臨并行計(jì)算時(shí)，該方法有效地解決了高維性和非凸問題,，同時(shí)顯著減少了計(jì)算成本,。

具體而言，Meng等人提出了一種基于子域的快速粗粒求解器,，用于將長(zhǎng)時(shí)間域分解為多個(gè)離散短時(shí)域,，以便并行求解。Kharazmi等人介紹了基于子域Galerkin方法的hVPINNs,，該方法有效解決了奇異性,、陡峭解和劇烈變化的數(shù)據(jù)。此外,，Lator,、Liu和Wu(^{35}) 將這種方法與卷積神經(jīng)網(wǎng)絡(luò)（CNN）相結(jié)合，創(chuàng)建了卷積變體cvPINN,。此外,，研究人員還提出了各種變體，包括分布式cPINNs(^{36}) 和擴(kuò)展的xPINNs(^{37}),，其中后者通過拼接具有分段常系數(shù)的子域來高效解決問題,。這些方法僅適用于守恒定律控制的物理問題，后者可以用來解決高維多尺度域問題或具有稀疏源項(xiàng)的PDE問題,。

Shukla等人(^{38}) 進(jìn)一步分析并改進(jìn)了這兩種PINN形式,，提出了一種混合編程模型，增加了并行性,，改善了應(yīng)用程序的性能,。研究表明，無論是pPINNs還是xPINNs,，都能靈活地優(yōu)化子域內(nèi)神經(jīng)網(wǎng)絡(luò)中的超參數(shù),。該研究概述了當(dāng)前用于分布式計(jì)算的各種方法，包括數(shù)據(jù)并行（每個(gè)處理器處理每批數(shù)據(jù)塊）和模型并行（每批數(shù)據(jù)由單獨(dú)的處理器處理）,。其他框架也已在域分解理論中得到了識(shí)別,。

綜上所述，域分解技術(shù)有效緩解了使用PINNs處理大規(guī)模域或多尺度問題時(shí)的計(jì)算負(fù)擔(dān),。在結(jié)合GPU加速器的情況下,，該方法通過在多個(gè)子域中分配計(jì)算任務(wù)，使得并行化成為可能,，從而加速了PINNs的訓(xùn)練和預(yù)測(cè)過程,。域分解特別適合用于處理涉及多物理場(chǎng)耦合的大規(guī)模問題,。例如，該方法在流體結(jié)構(gòu)相互作用問題中表現(xiàn)優(yōu)異,，尤其是在解決相變化過程時(shí),。當(dāng)不同的區(qū)域涉及不同的物理定律時(shí)，該方法尤為重要,。這確保了結(jié)果更加符合現(xiàn)實(shí)世界的情況,。

2. 激活函數(shù)的修改

另一方面，激活函數(shù)是神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的關(guān)鍵組成部分,，在表達(dá)模型和優(yōu)化諸如權(quán)重和偏差等參數(shù)方面發(fā)揮著至關(guān)重要的作用,。眾所周知，常用的激活函數(shù)包括ReLU,、Sigmoid和Tanh（如圖6所示）,。選擇正確的激活函數(shù)對(duì)于提高模型性能和精度至關(guān)重要，在設(shè)計(jì)模型結(jié)構(gòu)時(shí)也起著重要作用,。Jagtap等人(^{40}) 引入了不同自適應(yīng)縮放因子,，用于每個(gè)神經(jīng)層或節(jié)點(diǎn)的激活函數(shù)，這些函數(shù)隨后被應(yīng)用到PINNs中,。這些因素動(dòng)態(tài)調(diào)整激活函數(shù)的導(dǎo)數(shù),，學(xué)習(xí)和更新與神經(jīng)網(wǎng)絡(luò)參數(shù)同步。

他們特別研究了兩種自適應(yīng)激活函數(shù)：Swish（定義為）和Tanh（）,，其中 和是可訓(xùn)練參數(shù),，是加速收斂的縮放因子。隨后引入了Rowdy激活函數(shù)(^{41}),，該函數(shù)包含多個(gè)正弦項(xiàng)和其他可訓(xùn)練參數(shù)作為輸入,。在深度學(xué)習(xí)領(lǐng)域，ReLU是訓(xùn)練中最常用的激活函數(shù),，被眾多研究者認(rèn)可,。然而，Tanh函數(shù)在PINN中最為常用,。最近,，該領(lǐng)域的研究集中于修改Tanh函數(shù)(^{42})。Wang等人(^{43}) 特別指出,，PINNs對(duì)激活函數(shù)非常敏感,。

為了減輕應(yīng)用自適應(yīng)激活函數(shù)到PINNs的障礙,，他們調(diào)整了自適應(yīng)基函數(shù)PINN的概念,，以便在PDE約束上聯(lián)合學(xué)習(xí)激活函數(shù)組合，并搜索最佳參數(shù)以解決不同問題,。然而,，他們將實(shí)驗(yàn)限制在整數(shù)階PDEs上,，這未能驗(yàn)證其他類型PDEs的解。

為了有效解決多物理問題,，傳統(tǒng)的激活函數(shù)遇到了限制,，這些限制包括不利的梯度計(jì)算、約束局部極值的分散性和解的幅度輸出,。為了解決這些問題,，Gnanasekaran等人(^{47}) 提出了一個(gè)可擴(kuò)展的函數(shù)，以加速具有較高幅值的輸出解,。該函數(shù)定義如下：

其中表示第k層中第i個(gè)神經(jīng)元的激活函數(shù),，是一個(gè)可訓(xùn)練參數(shù)，初始化為1,，并在訓(xùn)練過程中可調(diào),。

研究人員目前正在探索對(duì)激活函數(shù)進(jìn)行修改，以增強(qiáng)PINNs的性能,，相關(guān)研究仍在進(jìn)行中,。眾所周知，激活函數(shù)決定了PINNs的非線性表示能力,，并且適當(dāng)?shù)男薷目梢栽鰪?qiáng)它們捕獲復(fù)雜物理現(xiàn)象的能力,。適合的激活函數(shù)選擇應(yīng)由特定問題的復(fù)雜性和非線性特征指導(dǎo)。如果問題要求嚴(yán)格的物理輸出,，則可以選擇ReLU或其類似變體,。在處理非線性復(fù)雜問題時(shí)，可以考慮使用飽和激活函數(shù),。在訓(xùn)練之前,，通常需要進(jìn)行實(shí)驗(yàn)和驗(yàn)證，以確保為給定物理問題選擇最佳激活函數(shù),。

3. 不確定性量化

在訓(xùn)練和預(yù)測(cè)之后,，一個(gè)重要的步驟是量化PINNs中預(yù)測(cè)結(jié)果的不確定性（UQ）。通過衡量模型中的不確定性,，可以評(píng)估預(yù)測(cè)的可靠性,，從而促進(jìn)更為可靠的決策和預(yù)測(cè)。目前,，研究人員對(duì)結(jié)合生成對(duì)抗網(wǎng)絡(luò)（GAN）,、貝葉斯方法或PINN中的dropout技術(shù)來量化不確定性尤為感興趣。例如,，Daw等人(^{66}) 提出了物理信息生成對(duì)抗網(wǎng)絡(luò)（PID-GAN）,，該網(wǎng)絡(luò)通過編碼物理知識(shí)的判別器來約束生成器的訓(xùn)練。該框架允許生成器和判別器在具有噪聲數(shù)據(jù)的情況下訓(xùn)練PINNs。此外,，PINN引入了量化不確定性的方法,，該方法可以限制帶有噪聲的數(shù)據(jù)中的不確定性。BNNs通過貝葉斯推理對(duì)參數(shù)進(jìn)行建模,，以量化模型的不確定性,。在這一概念的啟發(fā)下，將BNNs與PINN結(jié)合使用,，并采用Hamiltonian Monte Carlo或變分推理作為后驗(yàn)估計(jì)方法,，可以為未知參數(shù)提供物理定律和散布的測(cè)量結(jié)果，從而生成任意不確定性,。盡管如此,，研究人員還發(fā)現(xiàn)，貝葉斯方法的使用需要大量標(biāo)記數(shù)據(jù)用于訓(xùn)練,，這顯著降低了PINNs中半監(jiān)督訓(xùn)練的優(yōu)勢(shì),。因此，其他方法已被開發(fā)用于不確定性量化,。例如,，Yang等人(^{67}) 提出了多輸出PINNs，它們表示每個(gè)輸出的分布,，用于量化帶有噪聲的PDEs中的不確定性,。Jang等人(^{68}) 引入了基于Ensemble PINNs的功能估計(jì)和不確定性量化，這提高了導(dǎo)電性PDE的表現(xiàn),。Li等人(^{69}) 通過在頻譜變換中使用譜歸一化,，將馬氏距離作為從輸入到潛在空間的變換損失的主成分來估計(jì)不確定性（圖7.2）。通過使用PINNs量化不確定性,，工程物理問題的處理得到了顯著改進(jìn),，例如能源系統(tǒng)中的關(guān)鍵熱流、鋰離子電池中的缺陷材料,、疲勞應(yīng)力以及其他類似問題,。

總體而言，不確定性量化（UQ）對(duì)于評(píng)估PINNs的穩(wěn)健性具有重要意義,。它有助于比較不同模型的性能,，確定最優(yōu)模型，并幫助決定是否需要進(jìn)一步調(diào)整超參數(shù),。此外,，它揭示了模型輸出的整體一致性，特別是識(shí)別關(guān)鍵問題時(shí),。不確定性量化在確保模型的可靠性,、提升泛化能力以及一致性方面起到了關(guān)鍵作用。

C. 收斂速度的優(yōu)化

PINN通常需要大量的訓(xùn)練數(shù)據(jù)和復(fù)雜的計(jì)算過程才能實(shí)現(xiàn)最佳性能。提高收斂率可以顯著減少訓(xùn)練時(shí)間,、降低訓(xùn)練成本，并增強(qiáng)模型的可擴(kuò)展性,。此外,，更快的收斂速度可以提高模型處理復(fù)雜數(shù)據(jù)的能力，從而提高穩(wěn)健性和穩(wěn)定性,。研究人員已經(jīng)探索了通過使用不同方法（如選擇合適的優(yōu)化算法,、負(fù)載平衡、優(yōu)化技術(shù)和數(shù)據(jù)采樣方法）來加速PINN收斂的策略(^{29,31}),。

1. 優(yōu)化算法

PINNs中使用的優(yōu)化算法涉及調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)以最小化損失函數(shù),。梯度下降法（GD）是定位損失函數(shù)最低值的最基本優(yōu)化方法。然而,，原始GD算法通常會(huì)遇到諸如局部最小陷阱,、需要手動(dòng)選擇微調(diào)學(xué)習(xí)率以及收斂速度慢等問題。這些限制使得處理大樣本量和多個(gè)神經(jīng)網(wǎng)絡(luò)層變得困難,，這在PINNs中很常見,。因此，許多學(xué)者已經(jīng)提出了梯度優(yōu)化的顯著增強(qiáng)方法,，導(dǎo)致了各種優(yōu)化算法的開發(fā),，如BFGS(^{72})、SGD(^{73})和ADAM(^{74}),。Li等人(^{75}) 對(duì)PINNs中的梯度優(yōu)化進(jìn)行了定量分析,，他們研究了多個(gè)隱藏層的梯度動(dòng)態(tài)，識(shí)別了與SGD算法相關(guān)的問題,，包括參數(shù)空間振蕩和訓(xùn)練不穩(wěn)定性,。他們還解決了帶有邊界問題的KG方程中的顯著問題，使用的是梯度優(yōu)化模型（GOFNNs）,。L-BFGS技術(shù)在最小化PINN損失函數(shù)方面表現(xiàn)出優(yōu)越的優(yōu)化精度和較快的收斂速度,。Pattana等人(^{76}) 結(jié)合了自適應(yīng)PINN和L-BFGS來提出解決帶有高度不穩(wěn)定性的PDE問題的高級(jí)算法框架。Abdulkadirov等人(^{77}) 強(qiáng)調(diào)了二階優(yōu)化算法（如L-BFGS）在解決邊界層問題中的重要性,。他們通過分析帶有反常傳輸問題的三維和自然對(duì)流問題中的熱邊界層,，提出了改進(jìn)的PINNs優(yōu)化策略。

總體而言,，L-BFGS被認(rèn)為是處理大多數(shù)物理問題的最佳選擇,，原因是其自適應(yīng)學(xué)習(xí)率特性，而ADAM則被認(rèn)為適合處理復(fù)雜的動(dòng)態(tài)問題,。最后,，F(xiàn)ranklin等人(^{106}) 提出了一種結(jié)合L-BFGS和ADAM算法來解決血流動(dòng)力學(xué)問題的方法。最終，我們?cè)诒?中提供了PINN中常用優(yōu)化器的有效性概述,。

2. 損失平衡

為PINN進(jìn)行訓(xùn)練時(shí),，確保其正確地結(jié)合所需的物理約束至關(guān)重要。這種對(duì)齊保證了所預(yù)測(cè)的解能夠準(zhǔn)確地反映物理系統(tǒng)的實(shí)際工作方式,。它還能防止任何個(gè)別損失函數(shù)項(xiàng)對(duì)整體收斂產(chǎn)生負(fù)面影響,。PINN損失函數(shù)通常包括觀測(cè)數(shù)據(jù)、邊界條件,、初始條件和PDE殘差,。因此，正確的損失項(xiàng)組合及其權(quán)重與模型性能密切相關(guān),。研究人員已經(jīng)廣泛探索了幾種策略來平衡損失,，包括軟注意力機(jī)制(^{79})、退火學(xué)習(xí)(^{80}),、隨機(jī)回溯,、網(wǎng)格搜索和貝葉斯優(yōu)化（ReLeaBo）(^{81})、基于正則化搜索的方法和幅度歸一化啟發(fā)式方法(^{82}),。

此外,，Xiang等人(^{83}) 提出了自適應(yīng)損失平衡方法（dbPINNs），該方法結(jié)合了xPINNs,。Peng等人(^{84}) 提出了基于重?cái)M合的PINNs（RPINNs）,，用于求解穩(wěn)態(tài)PDEs。Yu等人(^{85}) 提出了基于梯度增強(qiáng)的PINNs,。Son等人(^{86}) 提出了AL-PINNs,，它采用了動(dòng)態(tài)拉格朗日松弛方法。Rui等人(^{87}) 提出了動(dòng)態(tài)優(yōu)先自適應(yīng)損失平衡技術(shù)（dpPINN）,，該技術(shù)在多次迭代期間動(dòng)態(tài)地為不同損失項(xiàng)分配更高的優(yōu)先級(jí),。dpPINN在效率和準(zhǔn)確性上被評(píng)估為優(yōu)于原始PINN和dbPINN。結(jié)果表明,，dpPINN成功預(yù)測(cè)了復(fù)雜流場(chǎng)中的風(fēng)力結(jié)構(gòu)和風(fēng)能工程應(yīng)用中的應(yīng)力（圖8）,。此外，研究人員還探索了實(shí)際實(shí)現(xiàn)的研究,。Thanasutives等人(^{88}) 應(yīng)用多任務(wù)學(xué)習(xí)來增強(qiáng)PINN,，使用不確定性加權(quán)損失和梯度策略。在正式訓(xùn)練階段,，Shi等人(^{89}) 實(shí)現(xiàn)了雙重收斂,，成功地滿足了PDEs中的物理限制。他們的研究結(jié)果展示了殘差采樣,、調(diào)權(quán)以及差分演化策略如何優(yōu)化超參數(shù)以開發(fā)PINN模型,，用于流體動(dòng)力學(xué)問題的求解,。

損失平衡還可用于通過在PINN訓(xùn)練期間調(diào)整不同損失項(xiàng)的權(quán)重，或通過調(diào)整超參數(shù)來進(jìn)一步平滑損失曲線的策略,。特別是在訓(xùn)練的早期階段,，這些策略對(duì)確保物理約束的同時(shí)減少過擬合至關(guān)重要。這些策略通常在后期階段用于更復(fù)雜的問題,，其中解的光滑性在某些損失項(xiàng)中的相對(duì)重要性變得顯著,。因此，權(quán)重平衡策略對(duì)于平衡損失項(xiàng)的分布至關(guān)重要,，因?yàn)樗鼈儗?duì)整體性能的影響最大,。

3. 數(shù)據(jù)采樣

PINNs的訓(xùn)練過程涉及最小化誤差,，即預(yù)測(cè)值與實(shí)際值之間的差異,，同時(shí)確保PDEs在取樣點(diǎn)上的物理一致性。選擇合適的取樣點(diǎn)和采樣方法對(duì)于有效訓(xùn)練PINNs至關(guān)重要(^{90}),。目前存在兩種采樣方法：固定采樣和動(dòng)態(tài)采樣,。研究表明，固定采樣適合構(gòu)建初始訓(xùn)練數(shù)據(jù)集,，管理有限的計(jì)算資源,，并處理相對(duì)簡(jiǎn)單的問題。相比之下,，動(dòng)態(tài)采樣在處理高預(yù)測(cè)不確定性,、大規(guī)模數(shù)據(jù)處理以及具有未知或動(dòng)態(tài)變化的環(huán)境時(shí)具有顯著優(yōu)勢(shì)。

固定采樣（非自適應(yīng)）包括等距均勻網(wǎng)格,、均勻隨機(jī)采樣(^{119}),、拉丁超立方采樣（LHS）(^{120})、Halton序列(^{121}),、Hammersley序列(^{122}),、Sobol序列(^{123}) 以及帶重采樣的均勻采樣。動(dòng)態(tài)采樣方法在訓(xùn)練過程中調(diào)整采樣點(diǎn),，通常用于減少PDE殘差的殘差損失,。Lu等人(^{124}) 首次提出了基于殘差的自適應(yīng)細(xì)化（RAR）方法，該方法隨后由Nabian等人(^{125}) 進(jìn)行了改進(jìn),。圖9.2展示了RAR方法的框架,，該方法根據(jù)PDE殘差的概率密度函數(shù)來進(jìn)行所有殘差點(diǎn)的自適應(yīng)采樣。

Wu等人(^{126}) 重新審視了RAR方法,，并開發(fā)了殘差自適應(yīng)分布（RAD）采樣方法,，基于此概率密度函數(shù)添加了更多采樣點(diǎn)到訓(xùn)練數(shù)據(jù)集。Gao和Meng(^{127}) 提出了一種新的自適應(yīng)隨機(jī)采樣方法（ASM和ASMM）,，用于求解非線性問題中的殘差和奇異解,。Wu等人(^{128}) 提出了用于觀測(cè)數(shù)據(jù)和固體力學(xué)問題的高效非均勻采樣策略,。Liu等人(^{129}) 探索了混合采樣方法，他們結(jié)合了初始邊界條件,，設(shè)計(jì)了預(yù)訓(xùn)練階段,，以過濾掉不合適的點(diǎn)。動(dòng)態(tài)采樣的后續(xù)訓(xùn)練階段優(yōu)化了其余點(diǎn),。

總體而言,，研究結(jié)果表明，動(dòng)態(tài)采樣和混合采樣技術(shù)通過與參數(shù)初始化相結(jié)合,，可以有效地解決訓(xùn)練不穩(wěn)定性和非線性問題,。未來的研究者建議在預(yù)訓(xùn)練階段實(shí)施自適應(yīng)和混合采樣方法，以改善PINNs的收斂性能(^{69,129-131}),。需要注意的是,，目前并沒有能夠快速、有效且準(zhǔn)確地解決所有挑戰(zhàn)的通用解決方案,。最有效的PINNs配置由具體的物理問題決定,。加速技術(shù)應(yīng)特別關(guān)注高維問題和帶有自由參數(shù)的參數(shù)化PDEs。

D. 軟件庫(kù)的發(fā)展

PINN 主要使用 Python 及流行的深度學(xué)習(xí)框架如 TensorFlow(^{132}),、PyTorch(^{133}) 和 Keras(^{134}) 進(jìn)行訓(xùn)練,。它作為深度學(xué)習(xí)（DL）在求解PDEs及其他物理建模問題中的應(yīng)用。這些框架提供了廣泛的功能和工具,，使研究人員能夠輕松地構(gòu)建,、訓(xùn)練和部署不同類型的物理模型。在本節(jié)中,，我們將研究和評(píng)估自PINN框架發(fā)布以來使用各種編程語(yǔ)言開發(fā)的軟件庫(kù),。

在PINN框架發(fā)布后，布朗大學(xué)應(yīng)用數(shù)學(xué)系的Karniadakis教授創(chuàng)建了DeepXDE庫(kù),，專門面向科學(xué)和教育社區(qū)(^{123}),。該庫(kù)提供了一種端到端的方法，能夠從輸入數(shù)據(jù)直接學(xué)習(xí)PDE解,。它可以求解一系列復(fù)雜的微分方程,，包括正向或反向PDEs或分?jǐn)?shù)階PDEs，并結(jié)合硬約束,。DeepXDE 提供了五種邊界條件,、三種自動(dòng)微分方法用于計(jì)算導(dǎo)數(shù)、四種不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及多重采樣方法,。該庫(kù)被研究人員廣泛應(yīng)用于解決工程問題,，例如基于二階和四階PDEs的圖像重建問題(^{135})、三維功能梯度梁(^{136}) 和輻射引發(fā)的應(yīng)力研究(^{137}),。

此外,，其他研究人員還創(chuàng)建了其他軟件庫(kù),，以增強(qiáng)PINNs在科學(xué)計(jì)算中的功能。Araz 創(chuàng)建了庫(kù) NYDET,，作為求解微分方程的變分框架(^{138}),。該庫(kù)設(shè)計(jì)用于處理具有任意初始條件或邊界條件的高維或偏微分方程，并提供了用于數(shù)據(jù)結(jié)構(gòu)和數(shù)學(xué)函數(shù)的工具,。它還為用戶提供了用戶友好的界面和用于結(jié)果預(yù)測(cè)和模型評(píng)估的解釋功能,。然而，該框架尚未在研究人員中廣泛傳播,。Hashash 等人創(chuàng)建了 SciANN(^{139}),，這是一個(gè)用于處理科學(xué)計(jì)算和物理信息深度學(xué)習(xí)的庫(kù)，基于 TensorFlow 和 Keras 構(gòu)建,。人們普遍使用 SciANN 進(jìn)行任務(wù)如模型擬合,、PDE求解和參數(shù)估計(jì)(^{140})。該庫(kù)已經(jīng)應(yīng)用于各種工業(yè)問題,，如與流體混合相關(guān)的問題(^{141}),、特征檢測(cè)(^{142}),、固體力學(xué)反演(^{143}) 和流-固相互作用(^{144}),。另外，還建立了框架庫(kù)IDRLnet(^{145}),，支持不同PINNs算法及應(yīng)用,。該框架提供了豐富的幾何對(duì)象、數(shù)據(jù)源,、神經(jīng)網(wǎng)絡(luò),、損失函數(shù)和Python中的優(yōu)化器。IDRLnet 使用PDE和邊界條件作為數(shù)據(jù)源,，用于解決復(fù)雜問題,，并以標(biāo)準(zhǔn)PDE問題為基礎(chǔ)。與混亂逆問題相關(guān)的高維問題,、變分最優(yōu)化及積分微分方程也得到了IDRLnet的支持,。

Zou 等人(^{146}) 應(yīng)用了 PINNs 的 UQ 技術(shù)來解決科學(xué)計(jì)算中的問題，并開發(fā)了 NeuralUQ 庫(kù),。它為研究人員提供了豐富的功能,，以處理概率編程、貝葉斯推理和更多功能,。McCeney 等人(^{147}) 創(chuàng)建了 TensorDiffEq 庫(kù),，它利用 TensorFlow 2.x 和并行計(jì)算在多個(gè)GPU上處理大規(guī)模高維復(fù)合模型。使用該庫(kù),，他們建立了自適應(yīng) PINNs（SA-PINN）和具有自適應(yīng)粘性學(xué)習(xí)率的模型,。

研究人員還開發(fā)了其他用于PINNs的軟件庫(kù),，包括 PyDEns(^{149})、NeuroDiffEq(^{150}),、NVIDIA SimNet(^{151}) 和 PINNs.JL(^{152}),。最終，我們?cè)诒?中匯總了PINN的廣泛訓(xùn)練軟件庫(kù),。

3. PINN 在復(fù)雜流體力學(xué)中的應(yīng)用

納維-斯托克斯方程（NSE）是一組PDEs,，用于準(zhǔn)確表示流體動(dòng)力學(xué)方程。計(jì)算流體動(dòng)力學(xué)（CFD）通過求解NSE在求解方法如有限元法（FEM）和有限差分法（FDM）中取得了重大進(jìn)展(^{153-157}),。然而,，求解這些方程需要大量時(shí)間和顯著的計(jì)算資源。例如,，使用開源軟件 OpenFOAM 來模擬流體動(dòng)力學(xué)需要處理超過100,000個(gè)網(wǎng)格,，這需要超過60小時(shí)(^{158})。此外,，保留這些網(wǎng)格的任務(wù)需要巨大的空間,，這增加了數(shù)據(jù)存儲(chǔ)的復(fù)雜性。為了應(yīng)對(duì)這些挑戰(zhàn),，PINN 提供了一種新的替代方法,，能夠減輕經(jīng)典數(shù)值方法中的許多約束。

研究人員采用了PINN,，并通過將集成的物理信息與實(shí)驗(yàn)數(shù)據(jù)相結(jié)合的方法,，對(duì)CFD進(jìn)行了初步研究。他們開發(fā)了一種方法,，用于基于圓柱體周圍的速度測(cè)量,，推斷NSE中的未知參數(shù)（例如對(duì)流項(xiàng)中的系數(shù)）(^{159})。自其誕生以來,，PINNs已廣泛應(yīng)用于解決各種問題,，如湍流、多相流,、多場(chǎng)耦合流和多尺度流體等(^{160-167}),。

A. 湍流流動(dòng)

湍流是一種高度復(fù)雜的流動(dòng)，具有不規(guī)則,、隨機(jī)且高雷諾數(shù)（）的特性,。由于湍流的計(jì)算需求較高，尤其是在與網(wǎng)格大小和殘差點(diǎn)的依賴性相關(guān)時(shí),，湍流建模在PINN中尤為困難,。Hanrahan 等人(^{168}) 成功地使用PINNs和其變體解決了這個(gè)模型問題。Hanrahan 等人(^{169}) 進(jìn)一步使用實(shí)驗(yàn)數(shù)據(jù),，精確地模擬了平均流動(dòng)條件下的湍流,。他們將PINN與實(shí)驗(yàn)數(shù)據(jù)結(jié)合,，準(zhǔn)確模擬了湍流狀態(tài)下的壓力和應(yīng)力。即使在低雷諾數(shù)流動(dòng)下,，該技術(shù)也可以用于解決低壓湍流問題,。

Liu 等人(^{170}) 進(jìn)一步擴(kuò)展了PINNs的增強(qiáng)框架，以解決由瑞利-泰勒不穩(wěn)定性引起的湍流混合問題,。Xu 等人(^{171}) 應(yīng)用了基于噪聲軌跡的PINN框架,，重建了湍流速度和壓力場(chǎng)。Liu 等人(^{172}) 研究了三維十字流中高保真模擬中的交叉流中的湍流射流,，并且PINNs成功重建了這些湍流射流的速度場(chǎng),。此外，該研究擴(kuò)展了湍流領(lǐng)域,，展示了PINN在多種流動(dòng)問題中的應(yīng)用,，包括湍流、多相流和多場(chǎng)耦合等,。

B. 多相流

在多相流中,，不同相之間以復(fù)雜的方式相互作用。這些相互作用包括氣泡與液體之間的界面移動(dòng),、不同相之間的相變,、相之間的碰撞以及熱量傳遞。多相流問題通常涉及廣泛的參數(shù)范圍,，傳統(tǒng)的數(shù)值方法難以精確模擬這些復(fù)雜行為,。然而,，PINNs的靈活結(jié)構(gòu)及其與物理信息的結(jié)合,，使其能夠精確地解決多相流問題。例如,，Buchanan等人(^{211}) 結(jié)合了多種方法來解決多相流的雙相界面問題,。Xu等人(^{212}) 將Cahn-Hilliard方程和NSE方程與卷積神經(jīng)網(wǎng)絡(luò)（CNN）相結(jié)合，解決了多相流中的異質(zhì)孔隙流,。Zhang等人(^{213}) 引入了物理信息卷積神經(jīng)網(wǎng)絡(luò)（PICNN）,，用于預(yù)測(cè)PDE殘差的物理信息，并利用有限體積法（FVM）來最小化損失,。此外,，PICNN使用殘差來估計(jì)固液兩相流中的相界面梯度。該方法在同質(zhì)和異質(zhì)儲(chǔ)層中得到了驗(yàn)證,，尤其在不確定邊界條件下表現(xiàn)出了良好的效果,。Li等人(^{214}) 使用CNN計(jì)算固液兩相流的速度場(chǎng)，其準(zhǔn)確度比現(xiàn)有方法提高了21％,。

為了預(yù)測(cè)固液兩相流中的界面行為,，Zhou等人(^{216}) 發(fā)現(xiàn)了一種基于DNN的無網(wǎng)格方法,。第一個(gè)界面問題是模擬液固兩相流的液固界面，而第二個(gè)問題則是通過求解NSE來模擬氣泡升起現(xiàn)象,。Zhou等人使用域分解技術(shù)解決了不同子域中的問題,，并將界面問題格式化為一種較少約束的體系。

Chakraborty等人(^{217}) 模擬了一維穩(wěn)態(tài)雙相流,，利用PINN驗(yàn)證毛細(xì)管效應(yīng)（圖10.2）,。他們將模擬結(jié)果與飽和度測(cè)量結(jié)果進(jìn)行比較，以驗(yàn)證PINN的準(zhǔn)確性,。Hu等人(^{218}) 結(jié)合平行遺傳算法（PGA）與PINNs,，成功耦合了物理模型中的非Darcy流體速度公式，顯著提高了計(jì)算效率,。

C. 多場(chǎng)耦合

在復(fù)雜流體力學(xué)中,，多場(chǎng)耦合問題涉及多個(gè)物理場(chǎng)之間的相互作用。熱導(dǎo)和彈性問題被視為一種耦合機(jī)制,，將流體場(chǎng)與溫度場(chǎng)聯(lián)系起來,。多場(chǎng)耦合的核心問題是研究熱量如何在流體中傳播，并理解流體邊界層中熱導(dǎo)的變化,。Gai等人(^{219}) 將FDM應(yīng)用于多種原型熱傳遞問題,，這是PINNs在傳熱問題中應(yīng)用的開創(chuàng)性工作。隨后,，Gong等人(^{220}) 利用熱傳導(dǎo)方程和PINN結(jié)合的方法,，成功地建立了PINNs傳熱應(yīng)用的無標(biāo)簽數(shù)據(jù)集。

Xu等人(^{221}) 在實(shí)際巖石中的無標(biāo)簽數(shù)據(jù)上實(shí)現(xiàn)了溫度預(yù)測(cè),，并使用PINNs成功求解了熱導(dǎo)問題,。Jiang等人(^{222}) 引入了一種基于Ensemble-PINN的方法，用于解決函數(shù)估計(jì)和不確定性量化問題,，這在空間相關(guān)的逆熱導(dǎo)問題中表現(xiàn)尤為出色,。Manavi等人(^{223}) 開發(fā)了一種新的Ansatz模型，將PINNs與熱傳導(dǎo)問題相結(jié)合,，該模型相比現(xiàn)有模型具有更快的收斂速度和更高的維度精度,。Bararnia和Esmaeilpour(^{224}) 選擇了經(jīng)典的熱導(dǎo)問題，如Blasius-Pohlhausen,、Falkner-Skan和自然對(duì)流問題,，使用PINNs解決這些問題。

Sharma等人(^{225}) 提出了兩維和三維熱導(dǎo)問題的測(cè)試案例,，并提供了軟邊界和硬邊界的解決方案,。Goraya等人(^{226}) 對(duì)PINNs的收斂性分析及其在熱耦合不可壓NSE問題中的誤差估計(jì)進(jìn)行了詳細(xì)討論。

Jalili等人(^{227}) 使用PINN模擬了基于CFD數(shù)據(jù)的單相流和兩相流的傳熱過程。具體來說,，他們使用訓(xùn)練好的模型預(yù)測(cè)加熱圓柱體后方的渦旋演化過程,，并研究了加熱壁面處的流動(dòng)分離、渦流,、浮力和相界面,。該模型準(zhǔn)確地捕獲了關(guān)鍵的物理現(xiàn)象，如熱邊界層,、流體動(dòng)力學(xué)邊界層,、流動(dòng)分離、尾流渦流,、浮力和相變,。該模型預(yù)測(cè)加熱壁面附近渦旋對(duì)流溫度的均方誤差（MSE）小于2％（見圖13）。研究表明,，熱傳導(dǎo)問題在包括工程應(yīng)用（工程系統(tǒng)的設(shè)計(jì)與優(yōu)化）,、材料科學(xué)（化學(xué)材料的設(shè)計(jì)與選擇）、能源領(lǐng)域（新技術(shù)開發(fā)）以及生物醫(yī)學(xué)科學(xué)（生物系統(tǒng)內(nèi)的熱調(diào)節(jié)）等多個(gè)領(lǐng)域具有理論和技術(shù)支持,。

另一方面,，多孔介質(zhì)流動(dòng)問題是復(fù)雜流體力學(xué)中的經(jīng)典問題之一。關(guān)于多孔介質(zhì)流動(dòng)的研究涉及多個(gè)領(lǐng)域的耦合與相互作用,，例如流體流動(dòng),、固體的運(yùn)動(dòng)和熱傳導(dǎo)。這些研究在地下水,、石油開采以及地質(zhì)災(zāi)害預(yù)測(cè)中扮演著重要角色,。因此，該問題吸引了大量研究者的關(guān)注,。例如,，Amini等人(^{232}) 探索了熱流體-機(jī)械（THM）過程中的正向求解問題，并為多孔介質(zhì)中的PINNs貢獻(xiàn)了三大改進(jìn)：通過順序訓(xùn)練策略和自適應(yīng)加權(quán)方法優(yōu)化THM問題的損失函數(shù),，使用自適應(yīng)加權(quán)方法解決一維和二維中的合成問題,，以及解決多域優(yōu)化問題和多孔介質(zhì)中非正向流動(dòng)的問題。此外,，Badiani和Ghezelbash(^{233}) 利用域分解技術(shù)引入了基于交叉相關(guān)的PINN，用于預(yù)測(cè)具有空間異質(zhì)性的多孔介質(zhì)中的流動(dòng),。Toucy等人(^{234}) 在稀疏多孔介質(zhì)區(qū)域中研究了交叉相關(guān)的PINN,，并基于Darcy定律研究了流體流動(dòng)問題。Faroughi等人(^{235}) 使用帶有周期性激活函數(shù)的PINNs解決了在同質(zhì)多孔介質(zhì)中的流體傳輸問題,，證明了該激活函數(shù)的優(yōu)越性,。

Chaw等人(^{236}) 采用同質(zhì)化理論與多尺度攝動(dòng)分析相結(jié)合的方法來研究多孔介質(zhì)中的PINN模型。Chen等人(^{237}) 提出了一種改進(jìn)的PINN，用于預(yù)測(cè)飽和介質(zhì)下的污水排放,，并模擬了從受污染介質(zhì)中去除有害污染物的過程,。

D. 多尺度建模

多尺度動(dòng)力學(xué)的研究在力學(xué)、物理,、化學(xué)和生物學(xué)等許多系統(tǒng)中是一個(gè)眾所周知的科學(xué)問題,。多尺度問題的主要特征在于不同事件在不同尺度上的相互依賴性和連接性，這帶來了基本差異和實(shí)質(zhì)性的難點(diǎn),。因此,，在多尺度建模中的訓(xùn)練方法通常導(dǎo)致收斂失敗(^{239})。為了解決這一問題,，研究人員提出了多種方法,。例如，Wang等人(^{240}) 研究了PINN學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方向的行為,，并引入了基于PINN的新激活函數(shù),。該模型引入了一種新的Fourier遞歸學(xué)習(xí)方法，使PINN在多尺度問題中表現(xiàn)出良好的穩(wěn)定性,。Perez等人(^{241}) 利用BPINNs解決了多尺度和多輸出問題,，成功實(shí)現(xiàn)了穩(wěn)定解。此外,，Lin等人(^{242}) 利用PINNs預(yù)測(cè)復(fù)雜的多尺度動(dòng)力學(xué)問題,，包括物種濃度、溫度變化和電子溫度,。Wang等人(^{243}) 將計(jì)算域劃分為內(nèi)外邊界層,，并利用PINNs解決高雷諾數(shù)下的邊界層流動(dòng)問題（圖11.4）。實(shí)驗(yàn)結(jié)果表明,，即使在較高雷諾數(shù)下,，該模型也能準(zhǔn)確預(yù)測(cè)邊界層的行為。然而,，該方法仍然需要進(jìn)一步的研究和驗(yàn)證,，以處理邊界層厚度變化問題。

挑戰(zhàn)與前景

第III節(jié)深入探討了PINNs在解決復(fù)雜流體力學(xué)問題（包括湍流,、多相流,、多場(chǎng)耦合和多尺度流動(dòng)）中的應(yīng)用。只要有足夠的數(shù)據(jù),，PINNs便能夠高效,、準(zhǔn)確地獲取復(fù)雜流體力學(xué)中的關(guān)鍵參數(shù)（如速度和壓力），并預(yù)測(cè)未來的流體流動(dòng)現(xiàn)象,。與標(biāo)準(zhǔn)CFD模擬器相比,，經(jīng)過替代模型訓(xùn)練的PINNs在效率上具有顯著優(yōu)勢(shì)。這表明，PINNs在實(shí)現(xiàn)更好的預(yù)測(cè)精度,、更快的訓(xùn)練速度以及在復(fù)雜流體力學(xué)問題中具有更大的適應(yīng)性和多樣性方面表現(xiàn)出色,。然而，無法否認(rèn)的是,，PINNs在模擬更加復(fù)雜和現(xiàn)實(shí)的工作時(shí)仍然面臨不可避免的挑戰(zhàn),。

1. 大多數(shù)湍流模型使用RANS方程，但它們通常使用簡(jiǎn)化模型,，未能準(zhǔn)確呈現(xiàn)小尺度渦流現(xiàn)象,。因此，開發(fā)一個(gè)更實(shí)際的PINN框架來成功解決復(fù)雜的湍流問題至關(guān)重要,。此外,，雖然大渦模擬（LES）準(zhǔn)確捕捉了湍流的主要特征，但在計(jì)算的湍流應(yīng)力與實(shí)際值之間存在顯著差異,。這為PINNs帶來了挑戰(zhàn),，使用創(chuàng)新的機(jī)器學(xué)習(xí)技術(shù)實(shí)現(xiàn)更精確的湍流應(yīng)力參數(shù)。更重要的是,，如何從LES或DNS模型中獲取稀疏數(shù)據(jù)以使其更易于在PINNs中使用,，仍然是一個(gè)有待研究的有趣想法。計(jì)算關(guān)于雷諾數(shù)和湍流復(fù)雜性的PINNs問題也需要進(jìn)一步研究,。例如,，準(zhǔn)確估算特定值下的實(shí)驗(yàn)傳感器數(shù)量以及確定最佳傳感器位置，對(duì)于實(shí)現(xiàn)高質(zhì)量的湍流預(yù)測(cè),、定義湍流強(qiáng)度和減少計(jì)算成本至關(guān)重要,。在處理真實(shí)工程問題時(shí)，RANS通常要求與湍流模型（例如和）結(jié)合使用以獲得準(zhǔn)確解碼,。編碼和實(shí)現(xiàn)這些湍流模型對(duì)于訓(xùn)練過程是一個(gè)相當(dāng)大的挑戰(zhàn),。還需要指出的是，湍流流動(dòng)的特點(diǎn)是高頻成分,，傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)（FNN）中的PINNs難以有效處理,。因此，開發(fā)替代框架（如傅里葉神經(jīng)網(wǎng)絡(luò),、遞歸神經(jīng)網(wǎng)絡(luò)或長(zhǎng)短期記憶網(wǎng)絡(luò)）是必要的,。

2. 多相流中面臨的另一個(gè)重要挑戰(zhàn)是不同相的波動(dòng)參數(shù)，例如每個(gè)相的體積分?jǐn)?shù)以及系統(tǒng)中每個(gè)相的比例,。傳統(tǒng)的數(shù)值方法（如有限元或有限體積法）通常需要額外的訓(xùn)練時(shí)間和不同物理場(chǎng)的輸入?yún)?shù),，以模擬外部條件下的PINNs。為了克服這一障礙,，至關(guān)重要的是要了解PINNs對(duì)不同相的系統(tǒng)特性表現(xiàn)如何。研究表明，PINNs可以適應(yīng)特定場(chǎng)景,，并且可以模擬多相流外部條件的影響,。

3. 通過將數(shù)據(jù)驅(qū)動(dòng)和物理驅(qū)動(dòng)的方法相結(jié)合，可以更好地實(shí)現(xiàn)多物理場(chǎng)建模,。PINNs可以使訓(xùn)練過程更加穩(wěn)定,、收斂和推廣。集成由傳統(tǒng)PDE求解器生成的大量數(shù)據(jù)（例如變量值,、梯度和相關(guān)量）為模型訓(xùn)練提供了額外的改進(jìn),。這種集成對(duì)于逆問題尤為有價(jià)值，這些問題涉及未定義的參數(shù)或從測(cè)量或觀測(cè)數(shù)據(jù)中推斷出的屬性,。通過使用鏈接建模,，可以克服多物理場(chǎng)模型中的內(nèi)在限制，并增強(qiáng)物理場(chǎng)之間的耦合效果和變化,。此外,，挑戰(zhàn)包括準(zhǔn)確預(yù)測(cè)多孔介質(zhì)中的飽和度、滲透率或濃度分布,，超越簡(jiǎn)單的幾何約束以及單相流模擬,。未來研究應(yīng)調(diào)查壓縮性、多相或不飽和流動(dòng),、不同形式的非均質(zhì)性等問題,。多物理場(chǎng)耦合問題涉及多個(gè)輸入，并且高維的空間或復(fù)雜幾何體表示,，在輸入空間中導(dǎo)致物理場(chǎng)的差異性,。

4. PINN輸出在建模復(fù)雜多尺度系統(tǒng)時(shí)可能有限。當(dāng)前的努力包括使用域分解技術(shù)或MLP等方法來解決多尺度問題,。此外,，研究表明通過將PINNs與其他計(jì)算框架結(jié)合使用，例如使用傅里葉神經(jīng)網(wǎng)絡(luò)分解物理場(chǎng),。未來的研究應(yīng)該探索動(dòng)態(tài)系統(tǒng)的控制和預(yù)測(cè)等高維度問題的控制和適應(yīng)性,。

結(jié)論

本論文對(duì)PINNs的各種增強(qiáng)和進(jìn)展進(jìn)行了全面分析和回顧。其中包括網(wǎng)絡(luò)架構(gòu)的設(shè)計(jì),、收斂速度的優(yōu)化以及應(yīng)用軟件的發(fā)展,。同時(shí)，PINNs及其衍生變體的使用在解決復(fù)雜流體力學(xué)問題中取得了顯著的成就,。這些成就涵蓋了各種流現(xiàn)象,，例如可壓縮流體、不可壓縮流體,、湍流,、多相流,、熱耦合流體、孔隙介質(zhì)流動(dòng)和多尺度流,。然而,，必須承認(rèn)，現(xiàn)階段的PINN技術(shù)雖然取得了顯著進(jìn)展,，但在實(shí)現(xiàn)更廣泛應(yīng)用和提高精度的過程中仍面臨諸多未解決的挑戰(zhàn)和方法論問題,。

雖然我們?nèi)〉昧孙@著進(jìn)步，但仍有未解決的挑戰(zhàn)和無限的可能性有待在復(fù)雜流體力學(xué)領(lǐng)域進(jìn)行探索,。流體力學(xué)本身是一個(gè)高度信息化的領(lǐng)域,，建立在物理定律的基礎(chǔ)上，包含相互關(guān)聯(lián)的約束,。然而,，僅依賴于數(shù)據(jù)驅(qū)動(dòng)方法可能無法滿足這些關(guān)鍵需求。因此,，流體力學(xué)問題為開發(fā)新的PINNs變體提供了理想的平臺(tái),。另一方面，PINNs還可以幫助研究人員在解決與高維和復(fù)雜相關(guān)的問題上取得顯著進(jìn)展,。

然而,，對(duì)每個(gè)PINN模型在特定問題和數(shù)據(jù)集上的驗(yàn)證仍然是一個(gè)重大挑戰(zhàn)，因?yàn)樾枰ㄟ^徹底的評(píng)估和比較現(xiàn)有解決方案來取得進(jìn)展,。研究人員可以利用這些新進(jìn)展來改進(jìn)現(xiàn)有PINN模型的某些部分,，例如優(yōu)化方法和損失函數(shù)，或研究新的網(wǎng)絡(luò)架構(gòu),，這些網(wǎng)絡(luò)架構(gòu)可以使卷積神經(jīng)網(wǎng)絡(luò)變得更加普遍,。或者,，研究人員還可以設(shè)計(jì)新的混合模型結(jié)構(gòu),，將卷積神經(jīng)網(wǎng)絡(luò)與物理信息結(jié)合，處理當(dāng)前流體力學(xué)中的障礙,。

隨著機(jī)器學(xué)習(xí)技術(shù)的進(jìn)步,，結(jié)合物理信息的機(jī)器學(xué)習(xí)方法（如PINNs）將在開發(fā)有效預(yù)測(cè)模型方面發(fā)揮越來越重要的作用，尤其是在處理固有的流體問題時(shí),。這些方法比標(biāo)準(zhǔn)數(shù)據(jù)驅(qū)動(dòng)方法更可靠,，特別是在處理復(fù)雜的流體問題時(shí)，有望顯著提高計(jì)算效率和預(yù)測(cè)精度,。