從正式發(fā)布至今,，PCI Express?（PCIe?）發(fā)展迅速,，已經(jīng)成為高性能計(jì)算、人工智能/機(jī)器學(xué)習(xí)（ML）加速器,、網(wǎng)絡(luò)適配器和固態(tài)存儲(chǔ)等應(yīng)用不可或缺的一項(xiàng)技術(shù),。行業(yè)永不滿足帶寬需求促使PCIe?的協(xié)議版本不斷被刷新，2022年1月,，PCI-SIG組織宣布PCIe 6.0規(guī)范標(biāo)準(zhǔn)v1.0版本正式發(fā)布,，宣告完工。

小帖士：那我們先總結(jié)一下PCIe 6.0的幾個(gè)主要變化,。

·

數(shù)據(jù)速率從32GT/s翻倍至64GT/s

·

從NRZ編碼轉(zhuǎn)換到PAM4編碼,，可以在單個(gè)通道、同樣時(shí)間內(nèi)封包更多數(shù)據(jù)

·

從傳輸?shù)目勺兇笮LP到固定大小FLIT,，從而提高帶寬效率,，降低延時(shí)

·

LTSSM新增低功耗狀態(tài)L0p

翻倍的64GT/s數(shù)據(jù)速率

首當(dāng)其沖的是,，從5.0到6.0的數(shù)據(jù)速率翻倍遞增，6.0支持64GT/s,，16路雙向傳輸帶寬可達(dá) 256GB/s,；對(duì)于數(shù)據(jù)速率翻倍的PCIe 6.0，如何保證系統(tǒng)性能變得尤為重要,！PCIe的系統(tǒng)性能取決于RTT(Round-TripTime)及有效負(fù)載大小,，簡(jiǎn)單來說就是工程師們需要確定系統(tǒng)所需的未處理、未發(fā)布請(qǐng)求的數(shù)量,，從而來保證數(shù)據(jù)流的暢通,。該數(shù)量轉(zhuǎn)換為可用標(biāo)簽的數(shù)量，并且是必須根據(jù)系統(tǒng)需求正確設(shè)置的控制器屬性,。相較于PCIe 5.0的768標(biāo)簽數(shù)量,，PCIe6.0對(duì)其的要求則變成了基于14位的15,360個(gè)標(biāo)簽數(shù)量，這樣就滿足了在RTT較長(zhǎng)的情況下也能使系統(tǒng)整體保證高性能的工作狀態(tài),。

首次采用高階調(diào)制格式--PAM-4

PCIe 5.0采用的32G NRZ編碼已經(jīng)使得Gen5的頻率相關(guān)損耗比之前任意一代的頻率損耗都要嚴(yán)重,，假設(shè)PCIe 6.0 保留NRZ編碼格式，那么它的通道損耗將達(dá)到60dB,，這顯然是不行的,。所以新發(fā)布的PCIe 6.0采用高階調(diào)制格式PAM4，這樣的做法會(huì)使得在信號(hào)幅度相同的情況下信噪比天然會(huì)下降約9.5dB,。但是這樣的做法會(huì)使得系統(tǒng)對(duì)噪聲更加敏感（比如電源噪聲,、串?dāng)_、反射等）,，為降低該影響,，新版規(guī)范在綜合考量了FBER、FIT,、FLIT Retry 概率,、帶寬效率、Latency 及 FLIT 的 FEC 能力后,，采用了輕量級(jí)FEC配合使用循環(huán)冗余碼(CRC)，那么這種做法就可以在降低噪聲敏感性的基礎(chǔ)上將FEC帶給系統(tǒng)延遲控制在2ns之內(nèi),。

FLIT模式

PCIe 6.0引入了FLIT模式（流量控制單元）,，也是PCIe 6.0標(biāo)準(zhǔn)最大的變化之一，與物理層的PAM4不同,，F(xiàn)LIT編碼用于邏輯層,，將數(shù)據(jù)分解為固定大小的數(shù)據(jù)包。PCIe 6.0以FLIT為單位進(jìn)行事務(wù)傳輸,，每個(gè)FLIT有256 B數(shù)據(jù)（1 FLIT=236B TLP 6B DLP 8B CRC 6B FEC=256B）,，每B數(shù)據(jù)占用4 UI,。以x8為例，一次FLIT傳輸?shù)母袷饺缦聢D所示,。

最初引入FLIT模式的原因是糾錯(cuò)需要從而使用固定大小的數(shù)據(jù)包,；然而，F(xiàn)LIT模式也簡(jiǎn)化了控制器級(jí)別的數(shù)據(jù)管理,，隨之而來的是更高的帶寬效率,、更低的延遲和更小的控制器占用空間。帶寬效率：對(duì)于固定大小的包,，不再需要物理層的包幀,，這為每個(gè)包節(jié)省了4字節(jié)。FLIT編碼還消除了以前PCIe規(guī)范的128B/130B編碼和DLLP(數(shù)據(jù)鏈路層數(shù)據(jù)包)開銷,，從而顯著提高了TLP(事務(wù)層數(shù)據(jù)包)效率,。

FEC /CRC助力FBER

PCIE6.0規(guī)范定義了FBER是1E-6，那么為什么是1E-6呢,？能否放寬至1E-4,，滿足PCIe 5.0通常的傳輸距離或IL目標(biāo)呢？答案是否定的,。參考以太網(wǎng)標(biāo)準(zhǔn)放寬至1E-4,，需要使用復(fù)雜RS-FEC糾錯(cuò)，延時(shí)將增加到約100ns量級(jí),，這對(duì)負(fù)載和存儲(chǔ)等對(duì)時(shí)延敏感的應(yīng)用是一個(gè)很大的挑戰(zhàn),。

為滿足FBER=1E-6目標(biāo)，PCIe 6.0引入輕量級(jí)FEC和魯棒性強(qiáng)的CRC算法實(shí)現(xiàn)修正和錯(cuò)誤檢測(cè),。相比100G/400G以太網(wǎng)標(biāo)準(zhǔn)中經(jīng)常用到的RS（544,514）,，該FEC實(shí)現(xiàn)相對(duì)簡(jiǎn)單，在固定包長(zhǎng)度Flit模式下,，6字節(jié)的FEC“保護(hù)”242字節(jié)Payload和8字節(jié)CRC,，2字節(jié)1組實(shí)現(xiàn)FEC Group通過交織方式抵抗突發(fā)錯(cuò)誤。如果FEC解碼完成,，但CRC仍檢測(cè)到錯(cuò)誤,，那么接收側(cè)會(huì)發(fā)送NAK啟動(dòng)重傳，為提高效率,，該模式下不會(huì)重傳NOP-only TLP包,。通過上述FEC、CRC適配FBER=1E-6要求,，同時(shí)保證出錯(cuò)情況下重傳概率在5E-6,、帶寬額外消耗約0.05%、FIT接近0,。

互連通道與連接器

PCIe 5.0~6.0相比PCIe 1.0~4.0速率高,，SI,、PI要求也有提高。電源方面,，插卡最大功耗可提升至600W,，將在6.0 CEM中更新；信號(hào)方面為保證信號(hào)完整性要求使用表貼連接器,；互連通道方面,，與PCIe 5.0類似，要求主板支持約12 inch,，插卡支持約3-4 inch,，可以想象下，如果PCIe 6.0仍舊采用NRZ調(diào)制格式,，64GT/s速率奈奎斯特頻點(diǎn)在32GHz,，那么通道IL將小于-60dB（參考下圖通道仿真結(jié)果），很難通過現(xiàn)有技術(shù)實(shí)現(xiàn)該信號(hào)的高頻補(bǔ)償,，考慮實(shí)現(xiàn)成本和技術(shù)復(fù)雜度,，采用高階調(diào)制PAM4是種不錯(cuò)選擇，相比PCIe 5.0奈奎斯特頻率不變,，當(dāng)前可用板材下可傳輸相似距離,。

不同信道插損仿真圖

PCIe6.0測(cè)試方案

我們先來講一講物理層測(cè)試，PCIe 6.0采用PAM4的調(diào)制方式,，與前一代采用NRZ的PCIe 5.0相比,，規(guī)范對(duì)發(fā)射端測(cè)試增加了全新的測(cè)試方法和參數(shù)要求，包括SNDR(信噪失真比),，RLM-TX（發(fā)射端電平等級(jí)失配率）和基于PAM4的非相關(guān)總抖動(dòng),、確定性抖動(dòng)；為此,，PCIe 6.0 Base spec v1.0定義了新的64GT/s的一致性測(cè)試碼型和抖動(dòng)一致性測(cè)試碼型,，有幾個(gè)要點(diǎn)需要注意：

1.

規(guī)范要求使用33GHz帶寬Bessel-Thomason濾波器頻響進(jìn)行發(fā)射端一致性測(cè)試，對(duì)應(yīng)示波器帶寬至少為50GHz,，這里推薦UXR0504A示波器,。

2.

計(jì)算SNDR

計(jì)算線性擬合脈沖響應(yīng)p(k)和矢量誤差e(k)，脈沖長(zhǎng)度Np=600和脈沖延遲Dp=4,，每個(gè)UI要有32個(gè)采樣點(diǎn),，允許重采樣，其中σn需要對(duì)一致性碼型中的4個(gè)電平各自的64個(gè)長(zhǎng)符號(hào)中第61個(gè)UI進(jìn)行測(cè)量和統(tǒng)計(jì)平均,，每個(gè)UI內(nèi)需要統(tǒng)計(jì)8個(gè)采樣點(diǎn)，等效為256GSa/s,；

3.

測(cè)量需要考慮到示波器的底噪對(duì)測(cè)量結(jié)果影響,，需移除示波器底噪對(duì)σn的貢獻(xiàn),，這要求示波器軟件能夠?qū)?個(gè)電平各自的示波器底噪計(jì)算并校準(zhǔn)，提供最佳的測(cè)試精度,。

Keysight已經(jīng)發(fā)布基于UXR示波器PCIe 6.0 Tx一致性測(cè)試軟件SW00PCIE或包含協(xié)議解碼功能的SW02PCIE,，軟件內(nèi)已集成上述PCIe 6.0規(guī)范要求的測(cè)試參數(shù)和算法。下圖為PCIe 6.0 Tx一致性測(cè)試軟件SW00PCIE所覆蓋的測(cè)試內(nèi)容,、功能和軟件界面,。

PCIe 6.0接收端一致性測(cè)試要求在如下圖的組網(wǎng)環(huán)境下進(jìn)行校準(zhǔn)，TP3到TP2P鏈路損耗調(diào)整范圍從30dB到33dB,，從最大loss開始校準(zhǔn),，Sj調(diào)整范圍1到3ps，DMI調(diào)整范圍5mv~25mV,，目標(biāo)Top Eye眼圖眼高和眼寬(1e-6)分別為6 mV /- 0.5 mV, 3.125 ps /- 0.3 ps.

PCIe 6.0 Rx測(cè)試使用M8040A誤碼儀,，它支持NRZ和PAM4信號(hào)產(chǎn)生和信號(hào)分析，可以向下兼容PCIe 1.1/2.0,，對(duì)目前5.0 Rx測(cè)試的客戶有很好的擴(kuò)展性,，可以通過軟件許可的方式從NRZ升級(jí)PAM4選件支持PCIe 6.0，目前M8040A 分析儀模塊也支持PCIe 6.0 LTSSM選件M8046-0N1,，可與PCIe 6.0被測(cè)件實(shí)現(xiàn)鏈路協(xié)商,，完成Rx/Tx LEQ測(cè)試，另外M8040A也支持PAM3信號(hào)生成,，可實(shí)現(xiàn)對(duì)USB4 v.2的支持,，除了硬件之外，也有包括豐富的軟件方案支持對(duì)802.3CK,、802.3BS以及CEI5.0/4.0的測(cè)試,。N5991PB6A自動(dòng)化軟件可以實(shí)現(xiàn)PCIe 6.0自動(dòng)校準(zhǔn)和接收一致性測(cè)試。

再來講講協(xié)議層的測(cè)試,，芯片回片完成bring up,，除基礎(chǔ)規(guī)范和物理電氣子層測(cè)試外，還需驗(yàn)證邏輯子層LTSSM鏈路狀態(tài)機(jī)以及數(shù)據(jù)鏈路層,、事務(wù)層等業(yè)務(wù),，這里需要使用協(xié)議分析儀或訓(xùn)練器。當(dāng)前已經(jīng)發(fā)布了支持PCIe 5.0的P5551A和P5552A的訓(xùn)練器和分析儀產(chǎn)品,，由于PCIe 5.0和后續(xù)的6.0對(duì)于分析儀本身的信號(hào)完整性挑戰(zhàn)非常高,，P5552A協(xié)議分析儀創(chuàng)新性地將PCIe 5.0采集與處理硬件和Interposer設(shè)計(jì)為一體，無需一堆外部長(zhǎng)線纜將信號(hào)傳給主機(jī)處理,，減少協(xié)議分析儀的欠補(bǔ)償或過補(bǔ)償問題,。分析儀注重協(xié)議解析、鏈路監(jiān)控及數(shù)據(jù)過濾等，訓(xùn)練器重點(diǎn)在于模擬對(duì)端EP或RC完成數(shù)據(jù)通信,、支持注錯(cuò)和重播等,，以及系統(tǒng)的RAS測(cè)試。未來也有計(jì)劃通過升級(jí)支持PCIe 6.0,、CXL,、NVMe等協(xié)議。

最后總結(jié)一下,，?是德科技可以提供基于ADS/EMPro仿真,、PLTS信號(hào)測(cè)量、物理層收發(fā),、插卡環(huán)路帶寬分析及協(xié)議分析等綜合解決方案,。

要了解更多和完整的PCIe6.0，PCIe5.0以及PCIe4.0的仿真和測(cè)試相關(guān)內(nèi)容請(qǐng)通過下面的二維碼下載文檔：