二〇二四年十月,Meta AI團隊宣布成功破解困擾數學界一百三十餘年的李亞普諾夫函數難題,此消息迅速引發學術界與社群媒體的熱烈討論,但這僅是近年全球數學界投入AI研究的典範之一;事實上,臺灣國家講座第二十一與二十八屆得主、陽明交通大學應用數學系講座教授賴明治,於二〇二二年首創的「不連續捕獲淺層神經網路」,同樣巧妙結合機器學習,以新穎的神經網路模型攻克高維度有界面之橢圓型偏微分方程難題,為計算數學與科學計算領域帶來重要的突破性貢獻。
偏微分方程式如何解碼真實世界?
自然界所觀察到的多數宏觀物理現象,在進行量化建模後,往往以偏微分方程式(Partial Differential Equations, PDEs)的形式呈現。簡單而言,偏微分方程式就是在等號兩邊牽涉到有一個變量對多個自變量的偏導數所構成,它描述著此一變量(如溫度)隨著多個自變量(如時間、空間等)變化的關係。一些經典的例子如熱傳導方程式、波方程式、流體力學的Navier-Stokes方程,又或描述微觀粒子量子態的薛丁格方程,這些都是在教科書上找得到的有名的偏微分方程式。為了要了解這些觀察到的自然現象,科學家理所當然地就想去解這些偏微分方程式,並透過它的解來解釋這些現象或甚至預測未來的發展行為。
然而,賴明治說:「我們並非生活在線性世界裡。若要描繪這些千變萬化的自然現象,如預測難以捉摸的颱風路徑,或模擬飛機機翼周圍的流場,均需倚賴非線性偏微分方程的描述,而這些非線性方程多數無法以微積分所學的技巧求解,也就是說沒辦法將其解析解寫下來,必須將時間或空間劃分為微小網格並將這些方程式離散化,再透過數值方法並撰寫程式藉由電腦計算出近似的數值解。」這一整套偏微分方程數值求解的流程,說起來容易,做起來卻是不簡單的,除了要確保有一定的精確度之外,還要考慮數值的穩定性及效率性,最終還是得看所得出的數值結果跟現實的自然現象是否吻合,而這最後的步驟才是應用數學的價值所在。
賴明治坦言:「偏微分方程之所以讓我著迷,正是因為它涉及兩個或以上的變數,能讓我們更深入探索宏觀世界的複雜樣貌。」
師承美國國家科學院院士,驗證「沉浸邊界法」的廣泛應用
賴明治於一九九八年畢業於應用數學領域最頂尖的紐約大學庫朗數學學院(Courant Institute of Mathematical Sciences, New York University),師承美國國家科學院院士Charlie Peskin,研究興趣主要是偏微分方程數值方法與計算流體力學,博士論文是研究沉浸邊界法(Immersed Boundary Method)的改善及其應用,他所發展的流體方程數值解法,能有效降低數值黏滯性,使沉浸邊界法模擬的流體的雷諾數能提升至實際應用的範圍,Peskin及跟他的長期合作者McQueen利用賴明治所發展的流體方程算法應用到三維心臟流體之數值模擬上,並得到相當不錯的結果,因此也讓他獲得庫朗學院當年度畢業博士論文中最高榮譽的獎項,Kurt O. Friedrichs Prize。
另一方面則是他利用沉浸邊界法(本是針對流體與彈性邊界互動問題而設計),去研究流體與固體耦合的問題,這是一個相當典型且應用廣泛的問題,由於固體表面可以因不同應用而設計成不規則形,用傳統的數值網格來切割數值計算區域會造成極大不便,導致無法使用快速算法,然而若將固體表面視為非常僵硬的彈性邊界,使固體對流體的影響轉換成彈性邊界對流體的奇異力量來源,這時沉浸邊界法便派得上用場,既能大幅降低模擬此類問題的複雜度,所得到的數值結果若能與實驗結果相吻合,就能驗證沉浸邊界法的廣泛應用。
對此,賴明治補充說:「我的指導教授Peskin開創了沉浸邊界法,是一種化繁為簡的藝術,他把這個方法用來模擬心臟瓣膜與血液之間的互動研究,但此一情境在三十年前難以透過實驗加以驗證,但我將這套方法延伸至工程應用,模擬水流流過固體圓柱產生渦流的實際情境,並算出其渦流產生的頻率與實驗所得結果相當吻合,這不只驗證了沉浸邊界法的可行性,也證明其具備廣泛的應用潛力,為後續研究開啟了新方向。這個結果在二〇〇〇年發表在頂尖期刊計算物理學雜誌 (JCP)」。賴明治進一步自豪表示, 「除了Peskin自己寫的開創性論文外,我跟他合寫的這篇論文是他跟他所有學生共同發表文章中至今引用率最高的。」在此,順帶提上指導教授Peskin影響賴明治的一句話,他說不管你是學生還是老師,「It is OK to sayIdon’t know」,也就是說即便我們已經當上老師,還是有很多不懂的地方,不要因為職位不同而羞於發問,當然對學生而言,更是應該勇於發問才對。
從洗衣除漬到生物囊泡,脫離不了「兩相流」的偏微分方程
當相對單純的「流固耦合問題」已無法滿足賴明治的探索欲望時,他轉向研究兩種不同流體間(兩相流)複雜互動的流體行為,如油與水兩種不相溶的流體,這兩種不同流體因其物理性質迥異,會存在所謂的「界面問題」,這個界面不同於固體界面會因時間及周遭流速而變形,在數學上還需用上幾何學。此外,在界面上還存有表面張力,進而使流體壓力在通過界面時是不連續的,增添了要真實模擬此類問題的挑戰性,而這類問題在工程與生物應用領域扮演不可或缺的角色。
「首先我聚焦於『界面活性劑』問題,界面活性劑的分布會影響表面張力的不一致性,使表面張力降低而不再只是一個已知常數,因而改變周圍流體行為模式。從數學角度來看,我不再只是求解單一的流體方程式,必須同時求解界面上的另一條活性劑的傳導擴散方程式,」賴明治道出第二階段的研究核心。他成功地運用拉格朗日參數式導出活性劑分布在界面的演化方程式,再應用導出的方程式配合沉浸邊界法去模擬有界面活性劑之兩相流問題,成功地設計一套活性劑在界面之質量的數值守恆方法,並嚴格證明其在離散狀況下之守恆性,且順利推廣至三維軸對稱問題上面。
在應用方面,他以日常洗衣服除污漬為例指出,洗衣精就是由界面活性劑組成,它的作用就是降低污漬在衣物上的表面張力,進而削弱污漬「緊抓」衣物纖維的附著力,使污漬較容易鬆脫,達到洗淨效果。
兩相流的另一個有趣問題便是「囊泡問題」,開啟了賴明治第三階段的探索議題。「在身體細胞運作中,囊泡就如同細胞之間的運輸工具。從巨觀物理的觀點來看,它可視為一種兩相流的問題,囊泡表面(界面)具有局部不可延展性,但其形狀可變,從數學的角度來看,除了解流體方程式,還要在流體界面上加上一條偏微分方程的局部限制條件,因此不同於界面活性劑問題,這裡的表面張力是未知函數,這無疑在數值模擬上增添了另一項挑戰。」在物理性質上,不僅流體本身不可壓縮,囊泡表面本身則是不可延展,兩項條件皆為局部,在數學上流體壓力及囊泡上的表面張力皆扮演同樣拉格朗日乘數的角色,這使得數學模型相當漂亮。賴明治得意地說,「我巧妙地導出在界面上不可延展性與表面張力衍生的微分算子互為skew-adjoint,這可解釋其在物理上的意義,即是該張力並不對流體額外作功,完全符合表面張力是不可延展性條件的拉格朗日乘數的特性,而且在所發展的數值方法上也保持此一特性,進而使衍生的矩陣為對稱,對解矩陣方程式的效率性因而提高。此一成果看似簡單卻相當有意思,在一次的研討會中我講到了這部分成果,我的指導教授還因此特別讚賞我一番。」
以機器學習探索偏微分方程嶄新解法
二〇一九年,賴明治參加了國際應用數學家大會(International Congress on Industrial and Applied Mathematics, ICIAM),首次接觸到「Machine Learning and Scientific Applications」議題,深受啟發,亦由此開啟了他嘗試以機器學習架構下之神經網路來解決傳統偏微分方程難解的問題。
「你可以把訓練神經網路想像成一臺函數學習機,如果將這臺機器訓練好,當你輸入資料,它便會輸出對應的結果,就像數學中函數的概念一樣。既然是函數,自然可以將這個神經網路表示法當作是我想要解的偏微分方程解的形式,而且還有無網格化的優點,這讓我不禁思索,能否藉此跳脫解有界面之橢圓偏微分方程中網格誤差糾正的繁瑣問題,進而使計算效率提升而不失其精確度。」賴明治透露,因為這次契機,團隊於二〇二二年首創「不連續捕獲淺層神經網路」(Discontinuity Capturing Shallow Neural Network, DCSNN)來解橢圓偏方程界面問題,成果發表於頂尖期刊《計算物理學雜誌》。
賴明治補充說:「DCSNN的想法是利用一個 d+1維度的單一神經網路結構表示法去表示一個多重的d維度的不連續函數,當然其激活函數還是光滑的,巧妙之處是在神經網路額外增加的一個維度去數值化分割原函數的多重不連續性,簡單言之,在d維度空間的不連續函數可以拓展為在d+1維度用神經網路來表示的連續函數,這在文獻上是首見。利用這樣的神經網路表示法來解有界面的橢圓偏微分方程式,就變得相對自然而簡單,再配上神經網路無網格的優點,大幅降低了程式撰寫的複雜度,而且精確度比傳統數值方法還要更準,在訓練參數的數目及精確度的比較上,完全擊敗目前文獻中所有類似的神經網路方法,無疑是這類問題解法的 state-of-the-art。」
隨著生成式AI於二〇二二年底問世,賴明治目前也嘗試探索生成式AI背後的數學基礎,他的座右銘是「持續探索,終身學習」。他期許研究後輩能「長江後浪推前浪」,為此,他提出四項寶貴建言:勤奮用功、永保好奇心、堅持專業,並致力化繁為簡。
最後,他坦率地說:「雖然運用AI方法來輔助研究應該是未來趨勢,但切勿盲目跟風、為用而用,如果傳統方法好就持續改善傳統方法,只有在使用AI有利基點的時候方才切入,這就是我的建議。」