DeepEP通信庫(kù)下載手機(jī)版（deepseek開源代碼）是一個(gè)用于混合專家模型（MoE）訓(xùn)練和推理的專家并行（EP）通信庫(kù)‌。它能夠?qū)崿F(xiàn)高效且優(yōu)化的全對(duì)全通信，支持包括FP8在內(nèi)的低精度運(yùn)算，適配現(xiàn)代高性能計(jì)算需求。DeepEP針對(duì)NVLink到RDMA的非對(duì)稱帶寬轉(zhuǎn)發(fā)場(chǎng)景進(jìn)行了深度優(yōu)化，不僅提供了高吞吐量，還支持流處理器（SM）數(shù)量控制，兼顧訓(xùn)練和推理任務(wù)的高吞吐量表現(xiàn)‌。

軟件介紹： 

DeepEP是DeepSeek推出的高效通信庫(kù)，專門為MoE和EP場(chǎng)景設(shè)計(jì)，旨在提升分布式系統(tǒng)中大規(guī)模AI訓(xùn)練和推理的效率。這個(gè)開源庫(kù)通過(guò)提供高吞吐量和低延遲的GPU內(nèi)核，解決了傳統(tǒng)MoE模型在分布式計(jì)算中常見的通信瓶頸，顯著加速了數(shù)據(jù)傳輸和計(jì)算過(guò)程。DeepEP原生支持FP8低精度計(jì)算，這種8位浮點(diǎn)格式在深度學(xué)習(xí)中被廣泛使用，因?yàn)樗�不僅能減少內(nèi)存占用和計(jì)算負(fù)擔(dān)，還能保持較高的模型精度。通過(guò)優(yōu)化通信協(xié)議與計(jì)算內(nèi)核，DeepEP極大降低了內(nèi)存和通信開銷，提高了系統(tǒng)的整體效率。此外，DeepEP的設(shè)計(jì)充分考慮了硬件加速，利用低精度計(jì)算技術(shù)優(yōu)化GPU和FPGA等硬件的性能，從而大幅提升了訓(xùn)練速度。它還支持跨平臺(tái)部署，能夠在不同的硬件架構(gòu)和操作系統(tǒng)上運(yùn)行，方便在各種計(jì)算環(huán)境中應(yīng)用。作為一個(gè)開源項(xiàng)目，DeepEP鼓勵(lì)社區(qū)貢獻(xiàn)與共享，促進(jìn)了AI技術(shù)的創(chuàng)新與進(jìn)步，使得更多研究者和開發(fā)者能夠快速使用并改進(jìn)這一工具，推動(dòng)了高性能計(jì)算在AI領(lǐng)域的廣泛應(yīng)用。                                  

軟件特色：

DeepEP 的關(guān)鍵特性與優(yōu)勢(shì)

DeepEP 不僅支持 FP8 等低精度操作，還能與 DeepSeek-V3 論文中提出的組限制門控算法完美契合。通過(guò)優(yōu)化不對(duì)稱域帶寬轉(zhuǎn)發(fā)內(nèi)核，例如將數(shù)據(jù)從 NVLink 域轉(zhuǎn)發(fā)至 RDMA 域，DeepEP 顯著提升了數(shù)據(jù)處理效率。其內(nèi)核具備高吞吐量特性，尤其適合訓(xùn)練和推理預(yù)填充任務(wù)，并能靈活控制流處理器數(shù)量。

對(duì)于對(duì)延遲極其敏感的推理解碼任務(wù)，DeepEP 提供了一組低延遲內(nèi)核，通過(guò)純 RDMA 技術(shù)實(shí)現(xiàn)延遲最小化。此外，DeepEP 還引入了一種基于鉤子的通信-計(jì)算重疊方法，在不占用任何流處理器資源的前提下，進(jìn)一步提升效率。

性能測(cè)試與兼容性

DeepEP 在 H800 和 CX7InfiniBand400Gb/s RDMA 網(wǎng)絡(luò)卡上進(jìn)行了全面測(cè)試。結(jié)果表明，其正常內(nèi)核在內(nèi)節(jié)點(diǎn)和跨節(jié)點(diǎn)上均表現(xiàn)出卓越的帶寬性能，而低延遲內(nèi)核也在延遲和帶寬方面達(dá)到了預(yù)期目標(biāo)。具體來(lái)說(shuō)，低延遲內(nèi)核在處理 8 個(gè)專家時(shí)的延遲僅為 163 微秒，帶寬高達(dá) 46GB/s。

DeepEP 經(jīng)過(guò)嚴(yán)格測(cè)試，與 InfiniBand 網(wǎng)絡(luò)擁有良好的兼容性，理論上也支持在收斂以太網(wǎng)（RoCE）上運(yùn)行。為了避免不同流量類型之間的干擾，建議在不同的虛擬通道中隔離流量，確保正常內(nèi)核和低延遲內(nèi)核互不影響。

DeepEP：混合專家模型的強(qiáng)大助力

綜上所述，DeepEP 是一款為混合專家模型提供高效通信解決方案的強(qiáng)大工具。它具備優(yōu)化性能、降低延遲和靈活配置等顯著特點(diǎn)，將為 AI 模型的開發(fā)和應(yīng)用帶來(lái)革命性的提升。

軟件優(yōu)勢(shì)：

（一）突破通信瓶頸，加速數(shù)據(jù)流轉(zhuǎn)

在分布式系統(tǒng)的大規(guī)模 AI 訓(xùn)練和推理場(chǎng)景中，傳統(tǒng) MoE 模型常常受困于通信瓶頸，導(dǎo)致數(shù)據(jù)傳輸緩慢，嚴(yán)重影響計(jì)算效率。DeepEP 的出現(xiàn)猶如一道曙光，它精心打造的高吞吐量和低延遲的 GPU 內(nèi)核，成為解決這一難題的關(guān)鍵。通過(guò)優(yōu)化通信協(xié)議，DeepEP 能夠讓數(shù)據(jù)在各個(gè)節(jié)點(diǎn)間如高速列車般快速流動(dòng)。在多節(jié)點(diǎn)協(xié)同訓(xùn)練一個(gè)超大規(guī)模語(yǔ)言模型時(shí)，DeepEP 能夠確保每個(gè)節(jié)點(diǎn)的計(jì)算結(jié)果和中間數(shù)據(jù)迅速傳輸?shù)狡渌��?jié)點(diǎn)，減少等待時(shí)間，使得整個(gè)分布式計(jì)算過(guò)程更加流暢高效，大大縮短了大規(guī)模 AI 訓(xùn)練和推理所需的時(shí)間。

（二）FP8 低精度計(jì)算的卓越應(yīng)用

DeepEP 原生支持 FP8 低精度計(jì)算，這一特性在深度學(xué)習(xí)領(lǐng)域具有重大意義。在深度學(xué)習(xí)模型中，數(shù)據(jù)的存儲(chǔ)和計(jì)算占用了大量?jī)?nèi)存和計(jì)算資源。而 FP8 這種 8 位浮點(diǎn)格式，就像一位精打細(xì)算的管家，在保證模型精度不受太大影響的前提下，巧妙地減少了內(nèi)存占用和計(jì)算負(fù)擔(dān)。以圖像識(shí)別模型為例，使用 FP8 計(jì)算后，模型在訓(xùn)練和推理過(guò)程中所需的內(nèi)存大幅降低，同時(shí)計(jì)算速度得到提升，使得在資源有限的情況下，也能高效地運(yùn)行復(fù)雜的 AI 模型。通過(guò)對(duì) FP8 計(jì)算的優(yōu)化，DeepEP 進(jìn)一步提升了計(jì)算內(nèi)核的性能，降低了內(nèi)存和通信開銷，為系統(tǒng)整體效率的提升做出了巨大貢獻(xiàn)。

（三）硬件加速與跨平臺(tái)部署

DeepEP 的設(shè)計(jì)充分挖掘了硬件的潛力，利用低精度計(jì)算技術(shù)對(duì) GPU 和 FPGA 等硬件進(jìn)行性能優(yōu)化。它就像一位硬件魔法師，讓硬件在 AI 計(jì)算中發(fā)揮出最大效能。在 GPU 上，DeepEP 通過(guò)優(yōu)化計(jì)算內(nèi)核，使得 GPU 的并行計(jì)算能力得到充分釋放，加速了矩陣運(yùn)算等關(guān)鍵操作，從而顯著提升訓(xùn)練速度。同時(shí)，DeepEP 支持跨平臺(tái)部署，無(wú)論是在常見的 x86 架構(gòu)服務(wù)器上，還是在基于 ARM 架構(gòu)的移動(dòng)設(shè)備或嵌入式系統(tǒng)中，亦或是不同的操作系統(tǒng)如 Linux、Windows 等，DeepEP 都能穩(wěn)定運(yùn)行，為各種計(jì)算環(huán)境下的 AI 開發(fā)者和研究者提供了極大的便利，讓高性能計(jì)算在 AI 領(lǐng)域得以廣泛應(yīng)用。

軟件亮點(diǎn)：

開源生態(tài)與社區(qū)價(jià)值

（一）開源共享促進(jìn)創(chuàng)新

作為一個(gè)開源項(xiàng)目，DeepEP 為全球的 AI 研究者和開發(fā)者打開了一扇通往高效計(jì)算的大門。它鼓勵(lì)社區(qū)成員積極貢獻(xiàn)代碼、分享經(jīng)驗(yàn)和提出改進(jìn)建議。在這個(gè)開源社區(qū)中，不同背景的專業(yè)人士匯聚一堂，各自發(fā)揮專長(zhǎng)。有的開發(fā)者專注于優(yōu)化通信內(nèi)核，進(jìn)一步提升數(shù)據(jù)傳輸速度；有的研究者則致力于改進(jìn) FP8 計(jì)算在特定模型中的應(yīng)用，提高模型的精度和效率。這種開源共享的模式，使得 DeepEP 能夠不斷進(jìn)化，推動(dòng) AI 技術(shù)的持續(xù)創(chuàng)新，讓更多人能夠受益于高效的 AI 計(jì)算技術(shù)。

（二）降低技術(shù)門檻，推動(dòng)行業(yè)發(fā)展

DeepEP 的開源性質(zhì)大大降低了使用高性能計(jì)算技術(shù)進(jìn)行 AI 開發(fā)的門檻。以往，開發(fā)者可能需要花費(fèi)大量時(shí)間和精力去開發(fā)自己的通信庫(kù)和優(yōu)化計(jì)算內(nèi)核，而現(xiàn)在，有了 DeepEP 這個(gè)現(xiàn)成的工具，開發(fā)者可以將更多的精力投入到模型的創(chuàng)新和應(yīng)用的開發(fā)中。對(duì)于一些資源有限的研究團(tuán)隊(duì)或初創(chuàng)企業(yè)來(lái)說(shuō)，DeepEP 提供了一個(gè)低成本、高效能的解決方案，使得他們能夠在 AI 領(lǐng)域迅速開展研究和開發(fā)工作，推動(dòng)整個(gè) AI 行業(yè)的快速發(fā)展。

怎么在自己的 AI 項(xiàng)目中快速集成 DeepEP：

首先，確保你的開發(fā)環(huán)境滿足 DeepEP 的依賴要求，包括合適的 GPU 驅(qū)動(dòng)、CUDA 版本等。從 DeepEP 的官方開源代碼庫(kù)（如 GitHub）下載最新版本的代碼。解壓代碼包后，進(jìn)入項(xiàng)目目錄，根據(jù)官方文檔中的構(gòu)建指南，使用相應(yīng)的構(gòu)建工具（如 CMake）進(jìn)行編譯。在編譯過(guò)程中，注意配置與你的硬件環(huán)境和項(xiàng)目需求相匹配的參數(shù)，例如是否啟用特定的硬件加速功能、選擇合適的 FP8 計(jì)算模式等。編譯完成后，將生成的庫(kù)文件和頭文件正確鏈接到你的 AI 項(xiàng)目中。在項(xiàng)目代碼中，按照 DeepEP 的 API 文檔，引入相應(yīng)的頭文件，并調(diào)用相關(guān)函數(shù)來(lái)初始化通信環(huán)境、設(shè)置計(jì)算參數(shù)等。例如，在使用 DeepEP 進(jìn)行分布式訓(xùn)練時(shí)，通過(guò)調(diào)用特定函數(shù)來(lái)創(chuàng)建通信組，配置節(jié)點(diǎn)間的通信方式，確保數(shù)據(jù)能夠在不同節(jié)點(diǎn)間正確傳輸。通過(guò)這些步驟，就可以在自己的 AI 項(xiàng)目中快速集成 DeepEP，享受其帶來(lái)的高效計(jì)算能力。