中证报中证网讯(记者 孟培嘉)3月17日,联想宣告旗下首款AMD AI大模型练习服务器联想问天WA7785a G3在单机布置671B(满血版)DeepSeek大模型时,可完成极限吞吐量6708token/s,将单台服务器运转大模型的功能面向新高。
据悉,依托联想万全异构智算渠道,联想通过访存优化、显存优化、PCIe 5.0全互联架构立异以及精选SGLang结构中功能最优算子等许多立异方法,对大模型从预练习、后练习到推理的全流程进行继续优化,在模仿问题对话场景时,最高可支撑并发数158,TPOT 93毫秒,TTFT 2.01秒;而在模仿代码生成时,并发数可达140,TPOT 100毫秒,TTFT 5.53秒。
这一成果意味着,单台联想问天WA7785a G3能够支撑1500人规划企业的正常运用,是继联想问天WA7780 G3服务器单机布置满血版DeepSeek大模型总吞吐量打破2500 token/s后,单机布置该大模型推理功能的又一次打破。
中证网声明:凡本网注明“来历:我国证券报·中证网”的悉数著作,版权均归于我国证券报、中证网。我国证券报·中证网与著作作者联合声明,任何安排未经我国证券报、中证网以及作者书面授权不得转载、摘编或运用其它方法运用上述著作。
武汉宏海科技股份有限公司向不特定合格投资者揭露发行股票并在北交所上市网上路演
全国政协委员、证监会处分委办公室一级巡视员罗卫主张:加速出台背约罪司法解释