AMD第三代EPYC處理器性能調優指南

AMD第三代EPYC處理器的綜合性能相比前代有了大幅提升，如何通過合規安裝、優化設置來盡可能發揮出其最強性能呢？事實上根據官方指導對AMD EPYC處理器平臺服務器進行硬件安裝、BIOS設置和系統優化，就能實現平臺的全面優化，充分釋放性能。

硬件安裝
服務器處理器持續高負荷工作，發熱量通常都非常高，加上內部空間相對狹窄，如果安裝方式不正確，就會造成熱量聚集，影響性能發揮以及穩定性。
AMD第三代EPYC處理器沿用了SP3接口封裝，AMD提供了專用的工具來進行Socket螺絲的拆裝，如果使用電動螺絲刀，那么建議將扭矩設置為75LBF。安裝服務器處理器時，要將散熱硅脂均勻地、盡可能薄地涂抹到處理器上。涂抹時確保硅脂無氣泡、無雜質、覆蓋充分，從而保證更高效地將處理器的熱量傳遞到散熱器上。

▲AMD第三代EPYC處理器沿用了SP3接口封裝

一般來說，服務器上都會有很多內存插槽。AMD第三代EPYC處理器可以支持4、6、8三種內存通道模式?？紤]到如今企業級負載對內存帶寬和容量的需求，單顆EPYC處理器通常至少會搭配4根內存。一般而言，內存的安裝從距離處理器最遠端的插槽開始，內存的具體插法則需遵從服務器使用手冊。

BIOS調整
完成硬件安裝和設備連接后，管理員需要首先登錄到BMC管理界面對BIOS進行升級，確保已經升級至最新的穩定版BIOS。之后在最新的BIOS下，對相關參數進行調整，以充分發揮AMD EPYC處理器的性能。
當然，不同主板廠商的BIOS可供用戶設置的選項與路徑是不同的，下面我們將以AMD公版BIOS進行介紹。其對平臺的相關調整，均被整合到了“Advanced”頁面的“AMD CBS”（Common BIOS Setting）項目下，可以調整AMD的內部功能設置?！癆MD CBS”包括了“CPU Common Options”“DF Common Options”“UMC Common Options”“NBIO Common Options”“FCH Common Options”“NTB Common Options”“Soc Miscellaneous Control”等項目。

首先是在“CPU Common Options”頁面設置CPU的相關情況，“Performance”項目可以對處理器的CCD、Core核心數量、SMT進行設置。不同代次、不同型號的處理器其具體選項不同，比如第三代EPYC處理器最高支持8個CCD，每個CCD最大可支持8個核心?！癈CD Control”可以調整實際使用的CCD數量，“Core Control”可以調整每個CCD中實際使用的核心數量。這里我們建議均采用【Auto】設置，將具體信息交由SMU直接控制，根據處理器實際情況而定。多線程的設置則通過“SMT Control”來實現，默認開啟。

▲在Performance(性能）項目設置下，可設置處理器的CCD芯片數量、核心數量，開啟或關閉處理器的多線程功能。

“CPU Common Options”頁面中的“Core Performance Boost”是EPYC處理器的超頻（Boost）選項，關閉狀態下處理器只能工作在基礎頻率下。為了獲得更好的性能，我們建議設置為【Auto】，默認開啟超頻?！癎lobal C-state Control”是節能選項，開啟后會自動根據負載調整處理器的功耗。一般情形下建議使用【Auto】，即開啟。在對于部分延遲非常敏感的應用場景，可以考慮關閉這個選項。
“DF Common Options”頁面中主要是對內存訪問進行一些設置，來提高數據讀寫方面的性能。比如我們通過NUMA NPS（Nodes Per Socket）來更改NUMA節點配置，其中NPS0將兩顆CPU作為一個節點，NPS1將一顆CPU作為一個節點，NPS2將一顆CPU左右兩部分各作為一個節點，NPS4將一顆CPU的每個象限作為一個節點，選擇【Auto】則默認采用NPS1。常規來說，我們需要根據CCD數量的不同來進行NPS設置，4個或8個CCD可以使用NPS4/2/1/0，6個CCD可以使用NPS2/1/0，2個CCD只能使用NPS1/0?！癕emory interleaving”用于設置內存訪問交錯模式，采用【Auto】模式默認啟用，該選項配合NPS來使用。當使用NPS1時，打開該選項默認可使用8通道內存交錯訪問；如果不滿足8通道內存，會降到4通道或2通道內存交錯訪問。當使用NPS2時，默認為4通道交錯訪問；使用NPS4時，默認為2通道交錯訪問?！癕emory interleaving size”則是設定內存交錯大小，其中默認【Auto】為256bytes。

▲在DDR4 Common Options下，可調節內存的時序,開啟或關閉內存低功耗模式，以及對地址、控制與數據總線進行配置。

“UMC Common Options”主要用于內存控制器的相關設置，多數都是與debug有關?！癉DR4 Common Options”用于內存硬件參數調整及RAS特性設置，比如DRAM時序設置，地址、控制與數據總線配置，RAS特性、TSME內存加密開關，以及內存控制器選項，包括“DRAM Power Options”對于“Power Down Enable”的節能設置，關閉有助于改善內存延遲，但是會增加功耗，一般會選擇【Auto】默認打開或者【Enable】啟用。另外，這里還可以設置“Memory MBIST”內存自檢，常規選擇【Disable】默認關閉。
在“NBIO Common Options”頁面，主要用于設置芯片組IO相關的選項?！癐OMMU”（I/O Memory Management Unit）項目，用于設置外設在DMA傳輸時地址轉換和系統內存訪問保護，包括【Enable】、【Disable】、【Auto】三個選項，開啟IOMMU可以提高與外部存儲的數據交換速度，降低系統性能消耗。一般情況下，我們建議IOMMU設置為【Enabled】，同時把iommu=pt添加到grub里。當服務器運行虛擬化軟件時，可以實現虛擬內存對物理內存的地址映射，帶來數據性能的提升。如果關閉IOMMU，則會令x2APIC關閉，最終導致CPU 255不能識別。

▲IOMMU項目用于設置外設在DMA傳輸時地址轉換和系統內存的訪問保護。

“SMU Common Options”項目，主要用于處理器相關的系統性能管理設置。其中，“Determinism Control”用于選擇是否啟用手動設置。如果啟用手動，那么就可以通過“Determinism Slider”來選擇是追求穩定性能，還是追求極致性能?！癉eterminism Slider”提供了【Auto】、【Power】、【Performance】三種模式。一般來說，為了實現業務的穩定，確保系統性能的一致性，采用默認的【Performance】模式是最好的選擇。如果想要沖擊一下Benchmark的最高性能，那么可以選擇【Power】模式，能挖掘每顆芯片的最大性能，當然功耗也會相應上升。
“SMU Common Options”項目下還有“cTDP Control”，也就是CPU的TDP功耗設置。AMD EPYC處理器支持手動設置TDP功耗限制，也就是用戶可以根據系統的散熱能力來設置對應的TDP功耗，不過這個值不能高于TDP max。cTDP設置越高，也就意味著處理器能夠以更高的功率運行，提供更強勁的性能。用戶需要根據AMD EPYC處理器規格表來確定其最大cTDP，比如225W的OPN最高支持到240W的cTDP。如果選擇【Auto】，則使用默認TDP。用戶還可以使用Package Power Limit Control設定功耗上限但不能超過cTDP的值，這個選項可以被管理軟件動態修改。
“Efficiency Mode Enable”效率模式允許用戶在性能和功耗中間進行選擇，其中選擇【Auto】默認使用性能優化CCLK DPM設置；選擇【Enable】使用電源效率優化CCLK DPM設置，使用該模式可以提升每瓦性能，C0占比80%以上。如果想要獲得更強的服務器性能，那么我們就需要選擇默認的性能優化模式。
“APBDIS”當中，包括了Data Fabric Algorithm Performance Boost DF超頻選項，可以選擇【0】開啟，結合負載動態調整頻率，降低功耗；選擇【1】關閉，采用固定頻率，結合Fixed SoC Pstate設置為P0可以減小Memory/IO延遲，但會增加功耗?！癇oost Fmax Enable”用于設置最高超頻值，適用于所有核心。其提供了【Manual】手動選項，允許用戶設置一個不高于默認Fmax的最高超頻值或者采用【Auto】直接使用默認的Fmax。Fmax（Max Boost Freq）就是最高超頻，是指單核超頻時使用最大值。一般情況下每個Die上可以有最多兩個物理核心同時達到Fmax，此時其他核心將處于CC6電源關閉狀態。
“Preferred IO”（PIO）是AMD提供的一種提升I/O性能的方法，這里提供了【Manual】、【Auto】兩種選項，其中【Auto】默認不開啟。PIO機制是關閉Root Complex DPM，并將LCLK從300MHz提升到593MHz。用戶可以在系統中通過使用AMD I/O Power Management Utility關閉Root Complex DPM功能，然后啟用PIO并通過“Preferred IO Bus”選定準備優先處理的總線。第二代EPYC處理器只支持一條總線設置為PIO，第三代產品則支持多Root Complex使用PIO。

I/O調優
對于服務器來說，數據I/O能力也會明顯影響實際性能，因此I/O調優也很重要。首先，我們需要安裝libaio-devel開發包，從而啟用異步I/O功能。異步I/O功能可以避免同步調用的阻塞，實現多個線程的同時操作。為了提高虛擬化的效率，我們可以在grub文件中加入iommu=pt，將IOMMU設置為passthrough模式。當服務器擁有SR-IOV設備時，passthrough模式允許不通過內存中轉而直接將相應設備交給終端調用。
對于服務器來說，將不同的硬件中斷平均綁定到不同的核心上，可以實現較好的性能平衡，從而讓多核處理器的性能得到充分的發揮。比如將網卡中斷綁定到本地NUMA節點上，將網卡隊列數量設置為一個Die內的核數。完成網絡優化后，可以進行RFC2544性能測試，看看服務器的吞吐量、延遲、幀丟失率表現。

系統設置
因為AMD EPYC處理器支持超大容量內存，為了讓系統更有效地管理大容量內存，我們可以在操作系統中啟用透明超大頁面（THP），來降低使用超大頁面的復雜度。不過需要注意的是，在某些特定場景中，啟用THP有可能會出現異常，造成延遲和內存使用問題，因此是否啟用還要看具體的應用負載情況。