1.設(shè)備概述

基于VU3PFPGA板卡100Gbps光纖收發(fā)采集存儲(chǔ)設(shè)備，是高性能、光纖數(shù)據(jù)采集與存儲(chǔ)一體化解決方案。 本設(shè)備是一款專為超高速、大容量數(shù)據(jù)采集與存儲(chǔ)需求設(shè)計(jì)的高端硬件平臺(tái)，以 1路100Gbps全雙工光纖通信為核心，結(jié)合高性能主板、PCIE 3.0 X16高速總線架構(gòu) 和 NVMe RAID存儲(chǔ)系統(tǒng)，實(shí)現(xiàn)100Gbps光纖數(shù)據(jù)的接收、發(fā)送、處理與持久化存儲(chǔ)，PCIe峰值帶寬達(dá) 8GB/s以上。適用于科研實(shí)驗(yàn)、工業(yè)檢測(cè)、醫(yī)療影像、軍事通信等高帶寬場(chǎng)景。

2.主要硬件內(nèi)容

1. 主板與計(jì)算單元

主板型號(hào)：X12spa-TF（超微服務(wù)器級(jí)主板）

CPU型號(hào)：Intel Xeon W-3335

①10核20線程，主頻3.4GHz（睿頻4.0GHz），24.75MB緩存

②支持 PCIe 4.0通道（向下兼容3.0），提供 64條通道數(shù)，充分釋放多設(shè)備并行性能

③最大內(nèi)存支持 1TB DDR4 ECC RDIMM，保障數(shù)據(jù)處理穩(wěn)定性

2. 高速光纖采集卡

型號(hào)：太速科技628 PCIe 3.0 ×16 采集卡

核心能力：

①2路QSFP28光纖接口，支持 100Gbps/路 全雙工傳輸

②符合 PCIE 3.0 ×16接口標(biāo)準(zhǔn)，無瓶頸支持8GB/s持續(xù)吞吐

③硬件級(jí)數(shù)據(jù)預(yù)處理（如時(shí)間戳標(biāo)記、幀校驗(yàn)），降低CPU負(fù)載

3. 超高速存儲(chǔ)系統(tǒng)

RAID卡：SSD7505（支持PCIe 4.0 ×16）

①支持 RAID 0/1/5/10，提供數(shù)據(jù)冗余或極致速度模式

②最大支持 4×NVMe SSD 直連，理論帶寬 32GB/s（PCIe 4.0 ×16）

存儲(chǔ)介質(zhì)：三星990 Pro NVMe M.2 SSD ×4

①單盤性能：讀取7,450MB/s，寫入6,900MB/s（1TB/2TB版本）

②總存儲(chǔ)容量：4TB/8TB可選（4×1TB/4×2TB）

③RAID 0模式下，理論存儲(chǔ)速度突破 20GB/s，輕松匹配采集帶寬

3.整機(jī)性能優(yōu)勢(shì)

一、全雙工光纖數(shù)據(jù)吞吐

1路QSFP28光纖通道，支持同時(shí)收發(fā)，單路100Gbps

二、無瓶頸數(shù)據(jù)傳輸

PCIe 3.0 ×16總線,確保8GB/s以上持續(xù)傳輸穩(wěn)定性

三、存儲(chǔ)速度匹配采集

RAID 0模式下，4×990 Pro SSD持續(xù)寫入速度達(dá) 12GB/s+，遠(yuǎn)超采集帶寬需求

4.軟件架構(gòu)與功能詳解

在硬件高性能基礎(chǔ)上，本設(shè)備配備自主研發(fā)的上位機(jī)控制軟件及底層驅(qū)動(dòng)，形成 “硬件加速+軟件智能” 的完整解決方案。軟件系統(tǒng)基于 Qt 5.15框架（C++開發(fā)）與 Visual Studio 2015 環(huán)境構(gòu)建，支持跨平臺(tái)部署（Windows/Linux），核心功能覆蓋設(shè)備控制、狀態(tài)監(jiān)控、數(shù)據(jù)管理全流程。

軟件系統(tǒng)分層設(shè)計(jì)

1. 驅(qū)動(dòng)與通信層

XDMA引擎：

①基于 Xilinx XDMA IP核 實(shí)現(xiàn)FPGA與上位機(jī)的PCIE 3.0 ×16高速通信

②支持 DMA零拷貝傳輸，雙向傳輸帶寬穩(wěn)定維持 8GB/s以上

③提供 獨(dú)立DMA隊(duì)列，確保光纖數(shù)據(jù)并行無沖突

FPGA交互協(xié)議：

④自定義 指令-數(shù)據(jù)分離協(xié)議，通過PCIE BAR空間映射控制寄存器

⑤支持光纖通道啟停、數(shù)據(jù)包長(zhǎng)度配置、觸發(fā)模式設(shè)置等實(shí)時(shí)控制

2. 上位機(jī)核心功能模塊

一、設(shè)備自檢與初始化

①開機(jī)自動(dòng)掃描硬件（主板、采集卡、RAID卡、SSD）狀態(tài)

②檢測(cè)FPGA固件版本兼容性

二、光纖鏈路管理

①實(shí)時(shí)監(jiān)測(cè)1路QSFP28光模塊 的鏈路狀態(tài)（光功率、誤碼率、連接狀態(tài)）

②異常告警（界面彈窗+日志記錄），支持自動(dòng)重連與通道切換

三、存儲(chǔ)管理

①RAID模式切換（需重啟生效）、SSD健康度監(jiān)測(cè)（SMART信息解析）

②數(shù)據(jù)存儲(chǔ)路徑自定義，支持循環(huán)覆蓋存儲(chǔ)與按時(shí)間分片存儲(chǔ)

3. 跨平臺(tái)支持

Windows/Linux雙版本

Windows版：基于 WinDriver PCIe驅(qū)動(dòng)/XDMA，兼容Win7/10/11（64位）

Linux版：采用 內(nèi)核態(tài)Char驅(qū)動(dòng)，支持Ubuntu 16.04+/CentOS 7.6+

5.詳細(xì)硬件組成

5.1.超威X12SPA服務(wù)器

超威服務(wù)器X12SPA提供4個(gè)PCIE4.0 X16槽位，其中三個(gè)X16可以通過芯片PI3DBS16412配置成兩個(gè)X8，所以服務(wù)器主板可提供6個(gè)4.0X8槽位以及一個(gè)4.0 X16槽位，剩余槽位可有用戶自由搭配。

5.1.超威X12SPA服務(wù)器

5.2.628光纖采集卡

VU3P外掛兩簇DDR4，數(shù)據(jù)位寬64-bit，每組容量2GByte，可穩(wěn)定運(yùn)行在2400MT/s；

VU3P外掛一片BPI x16 NorFlash，容量1Gb，用于系統(tǒng)配置程序存儲(chǔ)；

VU3P加載模式為BPI模式；

VU3P外接兩路QSFP28，支持100Gbps傳輸速率；

VU3P支持PCIE Gen3 x16模式，傳輸速率最高可達(dá)8000Mbyte/s。

5.3.磁盤陣列卡

磁盤陣列卡是由HighPoint SSD7505 帶4塊三星990pro的NVME固態(tài)盤組成。

火箭 SSD7000系列M.2 RAID AIC卡提供PCIe Gen3/Gen4、2口/4口/8口配置的RAID解決方案，支持任何行業(yè)標(biāo)準(zhǔn)的M.2 NVMe SSD?；鸺齋SD7505是4端口NVMe存儲(chǔ)解決方案。單個(gè)控制器可以提供高達(dá)28000MB/s的傳輸速度。

三星990proNVME硬盤優(yōu)點(diǎn):

1、極致讀寫性能：順序讀取速度高達(dá)7450 MB/s，寫入速度達(dá)6900 MB/s，接近PCIe 4.0的理論帶寬極限

2、智能技術(shù)與緩存優(yōu)化：TurboWrite 2.0技術(shù)：動(dòng)態(tài)SLC緩沖區(qū)容量大幅提升，2TB版本的智能緩存空間達(dá)226GB，顯著增強(qiáng)大文件連續(xù)寫入的穩(wěn)定性。主控芯片根據(jù)使用習(xí)慣優(yōu)化數(shù)據(jù)存儲(chǔ)位置，提升高頻數(shù)據(jù)訪問效率，同時(shí)延長(zhǎng)壽命。

3、與陣列卡適配較好

使用此配置陣列卡，極致的讀寫性能可以保證采集卡5GB/s落盤速度外，還可以保證用戶其他一些使用不受影響，滿足客戶其他使用需求。

6.軟件具體實(shí)現(xiàn)及接口信息

6.1.aurora接口協(xié)議

協(xié)議：aurora 64B66B

線速率：25Gbps

Lane:4

模式：全雙工、流模式

6.2.FPGA實(shí)現(xiàn)框架

FPGA開發(fā)工具：Vivado 2018.3

PC通過寄存器控制FPGA軟件進(jìn)行光纖的采集與發(fā)送工作,軟件可動(dòng)態(tài)配置光纖發(fā)送數(shù)據(jù)、光纖接收數(shù)據(jù)的DDR空間。

PC與FPGA的PCIE接口采樣XDMA MM模式，把DDR空間掛載在PCIE上，打開PC訪問DDR空間的通道。

采集流程：上位機(jī)發(fā)送采集指令，F(xiàn)PGA開始采集數(shù)據(jù)，把采集數(shù)據(jù)放入fifo，再把fifo的數(shù)據(jù)寫入DDR中，之后通知上位機(jī)拿走數(shù)據(jù)。

發(fā)送流程：上位機(jī)把數(shù)據(jù)寫入DDR中，通知FPGA拿走數(shù)據(jù)，寫入fifo中，把數(shù)據(jù)通過光纖口發(fā)送出去。

6.3.上位機(jī)軟件

軟件系統(tǒng)基于 Qt 5.15框架（C++開發(fā)）與 Visual Studio 2015 環(huán)境構(gòu)建，支持跨平臺(tái)部署（Windows/Linux）。

軟件啟動(dòng)查詢自檢：

1、檢查硬盤掛載、硬盤使用過量、初始化狀態(tài)、配置文件等

2、掃描板卡硬件狀態(tài)，光纖鏈接狀態(tài)等信息

7.固件高速讀寫方案

7.1.XDMA 有效讀寫速度

7.2.QDMA有效讀寫速度

PCIe 3.0 x16 C2H DMA速率

PCIe 3.0 x16 H2C DMA速率

PCIe 3.0 x8 C2H DMA速率

PCIe 3.0 x8 H2C DMA速率

可采用QDMA框架進(jìn)行固件升級(jí)。

緩存管理策略：這是影響性能的關(guān)鍵因素之一。XDMA 采用流式DMA映射，每次數(shù)據(jù)傳輸前后都需要由CPU執(zhí)行緩存失效或清除操作以確保數(shù)據(jù)一致性，這會(huì)帶來額外的開銷。而 QDMA 采用一致性DMA映射，由硬件自動(dòng)維護(hù)緩存一致性，大大減少了CPU的干預(yù)，從而降低了延遲和CPU占用。

隊(duì)列架構(gòu)與并發(fā)能力：XDMA 提供數(shù)量固定的專用DMA通道（例如4個(gè)主機(jī)到卡和4個(gè)卡到主機(jī)通道），當(dāng)多個(gè)任務(wù)同時(shí)進(jìn)行時(shí)，可能因爭(zhēng)用通道而影響效率。QDMA 則支持多達(dá)2048個(gè)隊(duì)列，這些隊(duì)列共享DMA引擎資源，能更好地處理大量并發(fā)數(shù)據(jù)傳輸請(qǐng)求，特別適合虛擬化或多應(yīng)用場(chǎng)景

8.技術(shù)規(guī)格一覽表

9.應(yīng)用場(chǎng)景

①工業(yè)檢測(cè)：半導(dǎo)體晶圓檢測(cè)、高速生產(chǎn)線視覺數(shù)據(jù)實(shí)時(shí)存儲(chǔ)

②科研領(lǐng)域：粒子對(duì)撞實(shí)驗(yàn)數(shù)據(jù)采集、射電天文信號(hào)記錄

③醫(yī)療影像：超高清CT/MRI影像實(shí)時(shí)處理與歸檔

④軍事通信：多通道雷達(dá)信號(hào)同步采集與加密存儲(chǔ)

標(biāo)簽: 光纖數(shù)據(jù)采集存儲(chǔ)板, 光纖采集存儲(chǔ)設(shè)備, 醫(yī)療影像, VU3P板卡, 高速光纖采集卡, 光纖采集卡

審核編輯 黃宇