

2月3日世界杯体育,云天励飞举办“大算力芯片战术前瞻会”,初次对外公布改日三年的大算力AI推理芯片战术布局。云天励飞建议“覆按追逐、推理超车”的战术所在,并发布了基于“PD分裂”想路的芯片道路图:力争结束百万Tokens推理资本缩小100倍以上的概念,鼓励AI从技能尝鲜走向普惠出产力。
云天励飞董事长兼CEO陈宁指出,覆按芯片与推理芯片在算力需求上存在显赫互异。覆按芯片更侧重“完竣值”,对算力范畴、带宽才智以及科学打算的复杂精度条件更高,且对资本相对不敏锐;推理芯片的中枢考量则在于资本、效果与商场经济学,关键在于每一个Token背后的边缘资本与举座性价比。
陈宁示意,公司力争于捏续缩小百万Token的资本,概念是通过下一代芯片结束“百万Tokens一分钱”。改日三年,公司但愿将资本进一步降至“百万Tokens 0.1分钱”,以加快大模子愚弄的范畴化落地。
关于改日五年的中国芯片产业发展,陈宁建议“覆按追逐、推理超车”的策略:在覆按芯片界限,概念是捏续追逐,尽量保捏差距不被拉大;而在推理芯片界限,依托中国丰富的愚弄场景、弘大的基础活动才智以及开源模子生态,有契机结束冲突与超车。
针对大模子时期云推理场景的需求,云天励飞CTO李爱军在会上先容了公司的技能解构与道路图。他示意,云天励飞将全力插足云推理场景的大算力芯片研发,基于对大模子推理打算特征的相识,按照“PD分裂”的系统架构野心两类大算力芯片:
P芯片(Prefill):面向打算密集型需求假想,平静Prefill阶段的高算力条件;
D芯片(Decode):面向访存密集型需求假想,平静Decode阶段的高带宽需求。
李爱军先容,公司在芯片微架构层面针对Attention及AFN等打算特质进行细粒度分析,并在底层结束针对性优化。在一个包含1024颗芯片的超节点内,P芯片与D芯片可结束存效组合,以平静大模子云推理的集群化部署需求。
改日三年,云天励飞野心了三代芯片居品:
本年(第一年):打造第一代超节点P芯片,面向百万级长高下文场景进行Prefill推理优化,算力水平对标Hopper架构;
来岁(第二年):研发第一代超节点D芯片,聚焦Decode推理的低时延概念,算力水平对标Blackwell架构;
2028年(第三年):推出第二代超节点D芯片,面向毫秒级推理时延概念进一步优化,带动Prefill与Decode性能升迁,算力层面有望看皆下一代Rubin芯片。
南边+记者 郜小平世界杯体育
Powered by 开yun云体育入口(全球)电竞官方平台 iOS/安卓版/PC网页端下载 @2013-2022 RSS地图 HTML地图