010-65955311
咨询服务
联想单机布置DeepSeek推理功能完成新打破
发布:安博电竞中国官方网站下载地址   更新时间:2025-03-18 22:28:11

  中证报中证网讯(记者 孟培嘉)3月17日,联想宣告旗下首款AMD AI大模型练习服务器联想问天WA7785a G3在单机布置671B(满血版)DeepSeek大模型时,可完成极限吞吐量6708token/s,将单台服务器运转大模型的功能面向新高。

  据悉,依托联想万全异构智算渠道,联想通过访存优化、显存优化、PCIe 5.0全互联架构立异以及精选SGLang结构中功能最优算子等许多立异方法,对大模型从预练习、后练习到推理的全流程进行继续优化,在模仿问题对话场景时,最高可支撑并发数158,TPOT 93毫秒,TTFT 2.01秒;而在模仿代码生成时,并发数可达140,TPOT 100毫秒,TTFT 5.53秒。

  这一成果意味着,单台联想问天WA7785a G3能够支撑1500人规划企业的正常运用,是继联想问天WA7780 G3服务器单机布置满血版DeepSeek大模型总吞吐量打破2500 token/s后,单机布置该大模型推理功能的又一次打破。

  中证网声明:凡本网注明“来历:我国证券报·中证网”的悉数著作,版权均归于我国证券报、中证网。我国证券报·中证网与著作作者联合声明,任何安排未经我国证券报、中证网以及作者书面授权不得转载、摘编或运用其它方法运用上述著作。

  武汉宏海科技股份有限公司向不特定合格投资者揭露发行股票并在北交所上市网上路演

  全国政协委员、证监会处分委办公室一级巡视员罗卫主张:加速出台背约罪司法解释

上一篇:弘景光电(301479):首次公开发行股票并在创业板上市之上市公告书
下一篇:2024年创意证券职业上市公司市值排行榜
关于我们
公司简介
企业文化
发展历程
新闻资讯
公司新闻
行业动态
产品中心
咨询服务
审计服务
资质荣誉
联系我们
网站地图
备案号:京ICP备05032212号-1