GEMS 優勢特點及介紹

一、  GEMS 軟體概述

        GEMS 軟體，是基於並行 FDTD 方法開發的全球第一款商用高性能並行電磁仿真 軟體。GEMS 前身是為美國海軍研發的 CFDTD 和 PFDTD 軟體，研發團隊依託美國2COMU 公司的余文華博士和賓州州立大學的 Raj Mittra 教授，對軟體進行重新設計和 規劃，誕生了現在的 GEMS 軟體，並使得 GEMS 在 FDTD 軟體及電磁場平行計算領 域一直處於全球領先地位。

        GEMS 作為一款高性能並行的三維全波電磁場仿真工具，能夠用於任意三維結構 的電磁場仿真，可精確求解各類射頻、微波器件及整機、系統等各類電磁場問題，可得到 S 參數、空間電磁場分佈、表面電流分佈、輻射場、散射場等結果。尤其在各類 電大物體、精細結構及整體系統的仿真方面，GEMS 高效的平行算法對這類問題的求解
顯得更加行之有效。

        GEMS 軟體不僅實現了並行 FDTD 所有的功能和特點，而且在軟體演算法優化、 計 算機軟硬體平臺優化、網路優化等方面做出重大的成績，如高效三維區域分解、 記憶體 優化、任務綁定、硬體加速、全光網路配置等等。由於平行計算的特殊性， GEMS 能  夠為用戶提供開箱即用的多節點並行仿真系統。

        GEMS 以其鮮明的特點和獨特的應用優勢，已經得到國內外廣大用戶的認同。 GEMS 擁有功能強大的三維建模工具，能夠方便地建立任意的三維結構，支援所有射 頻和微波材料，實現器件的快速精確仿真，已經在國內航空、航太、電子、中科院和 高校等單位得到了成功的應用。

二、  GEMS 軟體的主要應用領域

        GEMS 作為一款基於時域方法的通用電磁仿真軟體，適用於各種通信、雷達系統 中的微波/射頻結構設計。GEMS 高性能的平行計算，能夠高效求解各種大規模的電磁 場計算問題，主要應用領域包括：

        天線設計，如微帶天線、波導縫隙天線、Vivaldi 天線、螺旋天線、大型反射面 天線等；

        天線陣列的設計，包括相控陣、波導縫隙陣、微帶陣列等；  微波電路與器件的 設計，如濾波器、耦合器、諧振器等；  目標雷達散射截面的計算，如各種大型艦船、飛機、導彈、天線及目標整體的散射特性等；  空間電磁分佈問題的計算，如環境電磁相容的監測、飛機座艙內電磁分 佈等；  週期結構與有限陣列結構的電磁特性分析，如頻率選擇表面、 Metamaterials 等；

        電磁生物問題的分析與仿真，如人體 SAR、可穿戴天線系統等；

        電磁封裝、電磁相容與干擾問題的分析與仿真，如各種接頭、接插件、晶片封裝互聯等。

        GEMS 能夠處理金屬良導體、電介質材料、磁介質材料、色散媒質材料包括德拜（Debye）材料、羅倫茨（Lorentz）材料、等離子體（Cold Plasma）材料以及德魯（Drude） 材料等。

三、  GEMS 軟體的主要功能和技術

1、 建模模組

        高效精確的建模是電磁仿真計算的基礎，GEMS 採用業界通用的三維建模平臺， 方便了廣大用戶直接在 GEMS 中建模。同時 GEMS 支援多種第三方模型導入，如 SAT、 PROE、IGES、STEP 等常用格式。GEMS 自帶的模型自動修復功能，能夠有效修正模 型導入時可能帶有的錯誤和缺陷。對於一些複雜結構的建模，諸如貼覆在物體表面的 薄層結構，如塗層材料、共形天線陣列、FSS 結構等，GEMS 通過共形貼覆、幾何變換及腳本控制等方法實現精確建模，如圖 1 所示。 

2、三維共形技術
 
        對於複雜形狀的物體形狀，利用 GEMS，用戶不必要使用細網格就可以產生精確 結果，這樣可以極大地節省電腦資源並提高仿真速度。傳統 FDTD 方法在處理彎曲  表 面結構時，當網格尺寸較大時會引入階梯近似誤差，如果採用精細網格會使得計算  量 急劇增加。GEMS 採用被工程界認可的三維共形技術，能夠在使用相對較大網格時， 減小階梯近似誤差，能夠有效處理無限薄 PEC 曲面、薄金屬彎曲表面、介質彎曲表面 等各種複雜三維情況，如圖 2 所示。所有的共形技術和演算法都是在 GEMS 內部進 行，用戶不用人為干預。同時 GEMS 採用非均勻網格和網格關鍵點技術，在有效減小網格 計算量的同時，有效提高了計算的速度和精度。

3、高性能的域分解技術和平行算法 在平行計算技術中，根據電腦集群中節點或者計 算核的數量，將問題劃分成相應個數的子區域，如圖 3 所示。每個節點或計算核承擔其中一個子區域的計算，而子 區域之間的資料交換則通過電腦內部或外部的高速網路實現。與其他電磁仿真方法 相比，FDTD 具有天然並行的特點，其並行效率高也是業界公認的。

        對於實際複雜幾何結構問題，一般電磁仿真軟體的材料分佈和網格生成是相當耗 時的。GEMS 將問題的幾何結構做域分解可以加速材料分佈和網格生成達幾百倍。 GEMS 提供單節點 OpenMP 並行優化和多節點 MPI 優化功能。GEMS 提供自動優化任 務平衡分配，用戶可以介入任務平衡調整，如圖 4 所示。

        GEMS 高效並行的計算能力，適用於各種大規模電磁計算問題的處理，與其他軟 件相比，記憶體消耗小，能夠處理各種三維金屬、介質結構，而且其並行效率並不會 隨  著計算規模的增大而下降明顯。GEMS   創造並保持著用 4000 個處理器仿真一個 電大  尺寸問題獲得百分之九十並行效率的紀錄。

4、硬體加速模組

        GEMS 不光是一套電磁仿真軟體，同時還關注於與硬體技術和軟體平臺的結合， 達到整體性能的提高。GEMS 是第一個將 CPU 中的向量計算邏輯單元（VALU）用於 電磁仿真，極大地提高了 CPU 的電磁仿真能力。VALU 單元可以同時進行 4 個運算並 產生 4 個結果，與浮點單元（FPU）相比，VALU 可以使運算速度提高 4 倍，如圖 5 所示。下一代的 CPU 的 VALU 單元能夠一次性完成 8 次運算，其提速將更加顯著。 這種加速技術除了在程式上的改動外，不需要增加任何的硬體設備和成本。GEMS 針 對 AMD 和 Intel 不同的 CPU 架構，分別開發了適用的 VALU 硬體加速模組。

5、共面電流顯示技術

        傳統的 FDTD 方法在計算曲面的電流分佈時，僅能夠以座標截面的方式顯示電流分佈，很不直觀且很多時候不能準確地反映物體的電磁特性。GEMS 利用矩形網格和 共形網格結合的技術，已經開發出共面電流輸出和顯示的新功能，可以顯示任意曲面結構的電流分佈，使得用戶更加直觀地觀察到物體的電磁特性，如圖 6 所示飛機金屬的表面電流分佈。

6、軟硬體優化技術

        平行計算的實際效率不僅取決於 FDTD 程式的編寫方式，還且還取決於物理模型、 硬體平臺，如 CPU 類型、網路系統、I/O 性能以及作業系統等。

        （1）緩存優化在 FDTD 程式中起著非常重要的作用，決定了 CPU 計算單元的使用效 率。容量較大的 L1，L2 和 L3 緩存能夠使 CPU 得性能在 FDTD 仿真中得到最大的發 揮，如圖 7 所示。

        （2）使用 OpenMP 時，FDTD 仿真任務被分成幾段並分配給不同的核，仿真任務可能 在幾個核之間切換，這將使得計算效率大幅下降。GEMS 通過把任務綁定到特定的核 上來提高計算效率，如圖 8 所示的任務未綁定及綁定的示意圖。

        （3）目前大多數的伺服器均採用 NUMA 系統架構，即一個多處理器電腦的記憶體設 計結構。記憶體的訪問時間取決於處理器的位置，即處理器如果使用的記憶體是其本 地內  存，FDTD 的計算速度會快很多。在 FDTD 的仿真過程中，大量的資料處理並不 是來  自不同計算區域之間邊界資料的交換，而 是每個計算區域內部資料的迭代， GEMS 把 資料安置在處理器的局域記憶體內，以減少資料在同一個節點上不同 CPU 之間的交換，進一步提高計算的效率，如圖 9 所示。

        （4）集群網路優化

軟體高性能的演算法和計算節點內部的優化技術能夠有效提高單節點平行計算的能力，但是對於一些大規模電磁問題的計算，必然需要電腦集群的支援。此時，集群網路的性能成為軟體能否高效運行的瓶頸。GEMS 通過配置和優化集群網路能夠極大地提高並行的效率，如圖 10 所示不同網路的加速比結果。

        （5）任務提交系統
 
        電磁仿真中，硬體平臺的作業系統對並行效率的影響也非常顯著。目前 GEMS 支 持 Windows 和 Linux 平臺，其中在 Linux 平臺計算效率最高，其次是 Windows 7 系統， Vista 系統運算效率較低。一般情況下在大型的平行電腦集群上會安裝 Linux 版本的 GEMS 軟體，但是對於大多數用戶來說，Linux 繁瑣的指令並不友好。GEMS 開發了 一套基於 Windows 平臺的 Linux 集群任務提交及控制系統（WBI），用戶只需要在 Windows 平臺下完成物體的建模，通過 WBI 提交到集群上運算，計算完成後用戶再將 結果下載到本地機器進行查看，如圖 11 所示。計算過程中，用戶還可以即時監控計算 的狀況，可以選擇延長、暫存、終止、完成運算等模式。

四、  仿真算例
 
        以下算例均採用一台 GEMS 工作站進行計算，其主要配置如下：4 顆 AMD 6168 CPU（8 顆物理 CPU，每顆 CPU 6 核，主頻 1.9GHz），128G DDR3 伺服器記憶體，作業系 統Linux，NUMA 伺服器架構。以下算例的並行區域按照 CPU 進行劃分，劃分成 8 個 計算  區域，每個計算區域再有軟體自動分配給 6 個核。

        1、陣列天線與天線罩一體化仿真

        如圖 12 所示，一個錐形的天線罩模型，一個波導縫隙陣置於天線罩內。天線工作 在 12GHz 左右，天線罩壁厚 5mm，介質介電常數為 3，口面直徑約 300mm，天線罩 縱深約 665mm，最高參考頻率設置為 12GHz，其網格劃分如圖 12 所示，四周採用 PML 吸收邊界，所需記憶體約為 36.8G。

        圖 13 分別是陣列的最大方向性係數和 12GHz 處的三維方向圖結果。整個工程檔在 GEMS 工作站上運行約 25 小時，其中初始化預處理時間約為 9 小時。

        2、F35 散射特性分析
 
        如圖 14 所示 F35 飛機，機身是全金屬材料，三個方向尺寸為 14m、11m 和 3m，參 考頻率為 2GHz,平面波入射，採用 PML 邊界，需要記憶體約 50G 左右。計算 1、1.5 和2GHz頻率的散射特性，計算時間約為 13 小時 50 分鐘。

        3、多層 FSS 結構

        如圖 16 所示多層 FSS 模型，6 層介質，3 層金屬，為了準確測量通過有限大 FSS 結構的能量，將 FSS 結構放置在中間挖空（與 FSS 結構大小一致）的 PEC 金屬板下， 記錄通過 FSS結構的能量。三個方向尺寸為 260mm、240mm 和 40mm，參考頻率為 15GHz, 平面波入射，採用 PML 邊界，需要記憶體約 17G 左右。計算 6-17GHz 的能量穿透特 性，  計算時間約為 17 小時 50 分鐘。圖 17 分別給出了無限大 FSS（單元法，週期邊 界）的傳播和反射係數以及有限大 FSS 能量傳輸特性，二者的結果是幾乎是一致的。

        對於很多大規模電磁計算問題，如帶罩天線陣列、飛機的散射特性、機載/彈載陣 列天線、雷擊影響等，高效的平行計算是必須採取的手段。GEMS 採用 FDTD 方法， 對實際的三維問題進行精確建模；FDTD 作為一種時域方法，一次計算不但能夠得到 不同時刻的時域資訊，同時得到寬頻帶內的頻域資訊；FDTD 方法其演算法本身具有 特 有的並行特性，與其他矩陣分解或頻率分散式並行方法有根本性的區別，其並行效 率 隨著計算節點數目的增加能夠有效保持在 80-90%（4000 顆 CPU 的測試結果）， 對於 超大電磁問題的求解並行 FDTD 方法具有獨特的優勢。GEMS 在電磁場並行仿 真領域  有其獨特的優勢：

        （1） 彎曲金屬表面和介質薄層的共形技術，即，無需使用小網格就可以精確計算彎 曲金屬體和介質薄層的散射問題。

        （2） 電磁仿真雲計算。能夠使用戶方便地使用各種不同的電腦集群而無需知道計 算機集群設置以及 Linux 的任何知識。

        （3） 高性能平行計算功能。先進的平行計算方法用於提高電腦集群的並行效率。

        （4） 先進的硬體加速模組。把仿真性能提高 4 到 8 倍而無需增加任何硬體設備。

        （5） 共形表面電流計算技術。目前世界上唯一的可以計算共形表面電流的 FDTD 軟件。

        （6） 複雜導入模型修正技術。可以對輸入的病態模型進行自動修復。

        （7） 共形天線和天線陣的生成技術。對任意形狀的物體，GEMS 可以生成共形天線和天線陣列。

        （8） 仿真過程的狀態存儲技術。GEMS 可以在仿真結束前存儲仿真狀態，如果結果 不理想，用戶可以繼續運行而無需從頭開始。

        （9） 電磁仿真系統方案及優化。為用戶提供最優的系統設計方案，選擇最優的硬體設備並使用戶的硬體配置發揮到最大化。