近日，DeepSeek開源周活動進入了第四天，與前幾日接連不斷的開源項目發(fā)布相比，這一天的發(fā)布略顯姍姍來遲，讓眾多期待已久的觀眾稍感焦急。然而，這份等待最終被證明是值得的，因為DeepSeek在這一天一次性揭曉了兩項重量級的開源技術。

首先亮相的是DualPipe技術，這是一項基于DeepSeek-V3技術報告提出的創(chuàng)新算法，被命名為“雙向管道并行算法”。該算法通過實現(xiàn)計算通信階段的雙向重疊，即在向后計算和向前計算的同時進行數(shù)據(jù)傳輸，顯著減少了深度學習訓練過程中的空閑時間。DualPipe還引入了一種全新的流水線氣泡優(yōu)化調度策略，這一策略能夠有效緩解傳統(tǒng)管道并行技術中普遍存在的“氣泡”問題，從而提升了硬件資源的整體使用效率。據(jù)悉，該算法在GitHub平臺一經發(fā)布，便迅速收獲了544個收藏。

緊接著，DeepSeek又推出了EPLB技術，即“專家并行負載均衡器”。這項技術具有三大顯著特點：動態(tài)負載均衡、分層與全局平衡結合以及流量優(yōu)化。在動態(tài)負載均衡方面，EPLB基于混合專家（MoE）架構，通過復制高負載專家并采用啟發(fā)式算法進行任務分配，有效優(yōu)化了GPU之間的負載分布。在分層與全局平衡結合上，該技術不僅能夠在單個節(jié)點內進行分層的負載管理，還能實現(xiàn)跨節(jié)點的全局負載均衡，顯著減少了GPU的閑置時間。EPLB在流量優(yōu)化方面同樣表現(xiàn)出色，它能夠在保持負載均衡的同時，通過調整專家的分布來降低節(jié)點間的數(shù)據(jù)通信量，從而進一步提升了整體訓練效率。