【北大与DeepSeek联合开源DSpark框架,高并发下生成速度提升超60%】金色财经报道,6月27日,DeepSeek联合北京大学正式发布DSpark推理加速框架,旨在解决大语言模型在高并发生产环境中的推理效率瓶颈。该框架已部署于DeepSeek-V4-Flash与DeepSeek-V4-Pro的预览版服务引擎中,相比此前生产环境采用的单token推测解码基线MTP-1,在同等吞吐量水平下可将单用户生成速度提升60%至85%。相关论文、训练代码及模型检查点已在GitHub平台DeepSpec项目中开源。
北大与DeepSeek联合开源DSpark框架,高并发下生成速度提升超60%
其他语言标题
- EnglishPeking University and DeepSeek Jointly Open-Source DSpark Framework, Boosting Generation Speed by Over 60% Under High Concurrency
- 한국어베이징대학교와 DeepSeek이 DSpark 프레임워크를 공동 오픈소스화, 고부하 환경에서 생성 속도 60% 이상 향상