独家解读丨对手买「法拉利」,AMD为何给自己添了一辆「拖拉机」?
英文标题:独家解读丨对手买「法拉利」,AMD为何给自己添了一辆「拖拉机」?
一颗芯片,只为一个模型而生。在模型仍快速迭代的今天,这听起来多少有些反常识。但8月6日,AMD官宣收购加拿大AI推理芯片公司Taalas。待交易完成后,AMD计划将Taalas技术纳入其加速器路线图,并与Instinct GPU共同开发系统级解决方案。某AI芯片企业产品副总裁蒋姚打了个很形象的比方:相比英伟达在有了“大众”后再添一辆追求极致性能的“法拉利”,AMD买下Taalas,更像给自己置办了一辆“拖拉机”。“拖拉机”并非性能差,只是适用范围更窄。那么,Taalas为什么愿意主动舍弃灵活性呢?在Taalas创始人Ljubisa Bajic看来,今天的AI距离真正“无处不在”仍有两个重要障碍
123.3 KB
2.3 KB
1.6 KB
91.7 KB
111.7 KB
74.1 KB
779.6 KB
5.6 KB
3.8 KB
3.4 KB
30.4 KB
15.3 KB
12.5 KB
9.3 KB
1.8 KB
中文
一颗芯片,只为一个模型而生。在模型仍快速迭代的今天,这听起来多少有些反常识。
但8月6日,AMD官宣收购加拿大AI推理芯片公司Taalas。待交易完成后,AMD计划将Taalas技术纳入其加速器路线图,并与Instinct GPU共同开发系统级解决方案。
某AI芯片企业产品副总裁蒋姚打了个很形象的比方:相比英伟达在有了“大众”后再添一辆追求极致性能的“法拉利”,AMD买下Taalas,更像给自己置办了一辆“拖拉机”。
“拖拉机”并非性能差,只是适用范围更窄。那么,Taalas为什么愿意主动舍弃灵活性呢?
在Taalas创始人Ljubisa Bajic看来,今天的AI距离真正“无处不在”仍有两个重要障碍——推理成本依然过高,响应速度依然不够快。
通用GPU当然也在不断追求更高的推理性能,但“什么模型都能跑”的灵活性,本身也意味着更复杂的存储、互连和软件系统。
于是,Taalas干脆一不做二不休,不只针对推理造芯片,而是围绕一个具体模型造芯片,把模型权重和部分数据流直接固化进硬件。
牺牲通用性,换来的是更大的硬件简化空间。按照Taalas公布的数据,首款HC1运行Llama 3.1 8B时,单用户生成速度达到约1.7万Token/s。
Llama 3.1 8B单用户Token生成速度对比
图源:Taalas官网
但“拖拉机”有没有价值,最终还得看有没有足够多的“地”等着它去耕。
放到Taalas身上,一个更现实的问题是——什么样的模型,已经值得为它单独造一颗芯片?
芯片越是针对某个模型做到极致,它的命运与“这个模型还能被使用多久”就越紧密关联。
因此,对于Taalas而言,仅仅证明某个模型“能被硬化”远远不够,选择的模型还必须拥有足够大的持续调用量,才能摊薄芯片定制成本。
这样的负载已然出现。
DeepSeek V4 Flash上线约10天,仅OpenRouter一个第三方中转平台,累计处理量就达到约8.99万亿Token。OpenAI此前也披露,GPT-5-Codex上线三周内处理超过40万亿Token。
不过,更亟待解决的是,在模型仍持续演进的当下,这些理论上的海量Token,还会有多少能继续跑在这颗已经固化的芯片上?
这也是Taalas路线所遭受的最直接的质疑,尽管Taalas已同步说明为部分模型调整保留了一定空间。
对此,从事模型硬化路线研究的业内人士杨逍指出,讨论模型迭代速度,首先要区分变化的究竟是模型架构、参数,还是不断摸高的前沿能力;对于已经进入业务的模型,则要进一步追问,具体任务是否真的需要随之换代。
“解复杂数学题需要最强模型,并不意味着利用AI订会议室、点外卖等自动化服务也必须同步升级到最强模型。”在杨逍看来,一些高频、海量、刚需的服务未必要求最高的智能,更现实的痛点在于贵和慢 。
据不完全统计,目前公开披露较充分的主流模型,版本的更新并不意味着底层架构每次都会跟着改变,很多时候只是某一维度对更高能力的追求。
换句话说,对于一部分任务边界明确的业务而言,只要现有模型已经满足要求,模型新版本增加的智能未必能够产生足够大的新增商业价值,来覆盖迁移和重新验证的成本。
此外,硬件固化一个模型,也不意味着这颗芯片只能完成一种任务。杨逍认为,大模型本身已经具备较强的泛化能力 ,硬件牺牲的是在不同模型之间切换的灵活性,并不等于应用场景也被锁死。
但有趣的是,Taalas自身又把问题推向了更难的一面。从其公开点名的Coding和Agent来看,恰恰包括了对前沿模型能力较为敏感的场景。
虽然首款芯片选择Llama 3.1 8B这类小模型,但Taalas的野心并不止于此,明确表示后续规划将指向中等规模乃至更前沿的推理语言模型。
那么,Taalas的底气从何而来?
面对模型变化,Taalas准备了两种不同的应对方式。
对于不改变基础模型的调整,HC1不需要重新造芯片。
HC1虽然将Llama 3.1 8B的大部分模型和权重固化在芯片中,但仍保留了一块可编程SRAM,用来存放KV Cache,以及借助LoRA(Low-Rank Adaptation,低秩适配技术)进行模型微调时额外增加的少量参数。
此外,模型一次能够处理的信息长度,同样可以动态调整。只是上下文越长,需要占用的KV Cache空间也越大。
如果变化触及基础模型本身,则需要重新流片,但Taalas也不一定需要从头设计一颗芯片。它借鉴了结构化ASIC的思路,将大部分硬件固定下来,把针对具体模型的定制集中在少数制造层。
模型权重则采用接近Mask ROM(掩膜只读存储器)的方式,不再作为一串可以反复修改的数字存进存储器,而是转换成芯片制造时就确定好的金属连接。
在仍能沿用同一硬件平台的前提下,Taalas称只需修改两层与模型相关的掩膜,就可以把新的模型权重和对应的数据流重新“刻”进芯片。
这也是Taalas提出将定制周期压缩至两个月左右的关键。从公司成立到首款产品正式公开,前后已过去两年多。
杨逍解释,这类路线主要耗时在前期搭建硬件底座、工具链和完整流程。一旦平台能跑通,后续针对具体模型需要重做的部分就会大幅减少。
类似的模型硬化探索也开始在国内出现。中科院计算所和寒武纪等团队去年8月提出硬接线神经元语言处理单元(HNLPU),刚刚完成种⼦轮融资的创业公司瞬元(Sytrix)日前也宣布将打造中国第一款对标Taalas的极速AI推理芯片。
原论文《Hardwired-Neurons Language Processing Units as General-Purpose Cognitive Substrates》
图源:alphaXiv
不过,缩短定制周期只是其中一个问题。一颗芯片究竟还能装下多大的模型,是Taalas接下来更现实的一道门槛。
按照Taalas规划,下一代HC2计划将单芯片能够承载的模型规模从8B扩展至20B。AI芯片软件专家王让指出,HC1的芯片面积已经接近上限,继续塞进更多参数,需要使用精度更低的数据格式 ,并把原本占据芯片面积的部分SRAM移到独立芯片 上。
然而,当模型进一步扩大到数百B级别,单颗芯片很难继续孤军奋战,多芯片的系统方案成为必选项。一种担忧是,Taalas在单芯片上避免的数据搬运问题,会不会重新出现在几十颗芯片之间。
蒋姚认为,这正是Taalas目前没有完全讲清楚的一环。模型拆到多颗芯片后,怎么切分计算任务、芯片之间怎么传递数据,都会重新成为系统问题。
王让的判断则相对乐观。芯片之间主要需要传递的是上一部分计算完成后、交给下一部分继续处理的中间结果,而不是反复搬动整套模型权重,因此数据量仍可能小于传统GPU系统。
在王让看来,真正棘手的反而是其他问题:请求不够多时,部分芯片可能处于空转状态;芯片数量增加后,任何一颗出现缺陷都可能拖累整套系统;用于保存KV Cache的SRAM容量也会越来越吃紧。
杨逍也认为,芯片间通信短期内未必会成为首要瓶颈。
“大模型本身就是由一层层计算模块组成,如果能够顺着这种结构把模型合理拆开,让不同芯片各自负责一部分,同时避免反复搬运完整权重,通信压力仍有机会控制住。”杨逍分析。
而这也解释了AMD为什么会对Taalas产生兴趣。
对一家创业公司而言,模型硬化真正难的,不只是把芯片做出来,更是让极致专用化从一次性能展示变成一门能够规模复制的生意。
随着Taalas从单芯片走向多芯片系统,AMD能够补上的整机能力、工程资源和供应链优势,也会变得更加重要。
但这笔收购更值得关注的,并不是AMD的产品组合里又多了一颗推理芯片,而是AI芯片的专用化正在被推向一个更极端的位置。
在蒋姚看来,AMD最直接的竞争对手英伟达引入Groq LPU的逻辑相对清晰。LPU追求极致性能,也接受更高价格,英伟达此举就像已经有了一辆覆盖主流需求的“大众”之后,再添一辆“法拉利”。
而AMD收购Taalas,则像给自己购置了一辆用途更窄、却追求低成本高效率 的“拖拉机”。
蒋姚表示困惑,“我不太理解AMD为什么有了大众后还要买拖拉机,除非真的有十亩玉米地要耕。”
因此,问题不再只是Taalas能把一颗芯片做到多快,而在于AI产业里究竟会不会出现越来越多模型足够稳定、调用量足够庞大的“十亩玉米地”。
否则,拖拉机性能再强悍,也只能停在车库里。
作者长期关注AI芯片上下游,更多信息可添加微信 Evelynn7778 交流。
*文中蒋姚、杨逍和王让均为化名。
雷峰网(公众号:雷峰网)
雷峰网
English / 原文
一颗芯片,只为一个模型而生。在模型仍快速迭代的今天,这听起来多少有些反常识。
但8月6日,AMD官宣收购加拿大AI推理芯片公司Taalas。待交易完成后,AMD计划将Taalas技术纳入其加速器路线图,并与Instinct GPU共同开发系统级解决方案。
某AI芯片企业产品副总裁蒋姚打了个很形象的比方:相比英伟达在有了“大众”后再添一辆追求极致性能的“法拉利”,AMD买下Taalas,更像给自己置办了一辆“拖拉机”。
“拖拉机”并非性能差,只是适用范围更窄。那么,Taalas为什么愿意主动舍弃灵活性呢?
在Taalas创始人Ljubisa Bajic看来,今天的AI距离真正“无处不在”仍有两个重要障碍——推理成本依然过高,响应速度依然不够快。
通用GPU当然也在不断追求更高的推理性能,但“什么模型都能跑”的灵活性,本身也意味着更复杂的存储、互连和软件系统。
于是,Taalas干脆一不做二不休,不只针对推理造芯片,而是围绕一个具体模型造芯片,把模型权重和部分数据流直接固化进硬件。
牺牲通用性,换来的是更大的硬件简化空间。按照Taalas公布的数据,首款HC1运行Llama 3.1 8B时,单用户生成速度达到约1.7万Token/s。
Llama 3.1 8B单用户Token生成速度对比
图源:Taalas官网
但“拖拉机”有没有价值,最终还得看有没有足够多的“地”等着它去耕。
放到Taalas身上,一个更现实的问题是——什么样的模型,已经值得为它单独造一颗芯片?
芯片越是针对某个模型做到极致,它的命运与“这个模型还能被使用多久”就越紧密关联。
因此,对于Taalas而言,仅仅证明某个模型“能被硬化”远远不够,选择的模型还必须拥有足够大的持续调用量,才能摊薄芯片定制成本。
这样的负载已然出现。
DeepSeek V4 Flash上线约10天,仅OpenRouter一个第三方中转平台,累计处理量就达到约8.99万亿Token。OpenAI此前也披露,GPT-5-Codex上线三周内处理超过40万亿Token。
不过,更亟待解决的是,在模型仍持续演进的当下,这些理论上的海量Token,还会有多少能继续跑在这颗已经固化的芯片上?
这也是Taalas路线所遭受的最直接的质疑,尽管Taalas已同步说明为部分模型调整保留了一定空间。
对此,从事模型硬化路线研究的业内人士杨逍指出,讨论模型迭代速度,首先要区分变化的究竟是模型架构、参数,还是不断摸高的前沿能力;对于已经进入业务的模型,则要进一步追问,具体任务是否真的需要随之换代。
“解复杂数学题需要最强模型,并不意味着利用AI订会议室、点外卖等自动化服务也必须同步升级到最强模型。”在杨逍看来,一些高频、海量、刚需的服务未必要求最高的智能,更现实的痛点在于贵和慢 。
据不完全统计,目前公开披露较充分的主流模型,版本的更新并不意味着底层架构每次都会跟着改变,很多时候只是某一维度对更高能力的追求。
换句话说,对于一部分任务边界明确的业务而言,只要现有模型已经满足要求,模型新版本增加的智能未必能够产生足够大的新增商业价值,来覆盖迁移和重新验证的成本。
此外,硬件固化一个模型,也不意味着这颗芯片只能完成一种任务。杨逍认为,大模型本身已经具备较强的泛化能力 ,硬件牺牲的是在不同模型之间切换的灵活性,并不等于应用场景也被锁死。
但有趣的是,Taalas自身又把问题推向了更难的一面。从其公开点名的Coding和Agent来看,恰恰包括了对前沿模型能力较为敏感的场景。
虽然首款芯片选择Llama 3.1 8B这类小模型,但Taalas的野心并不止于此,明确表示后续规划将指向中等规模乃至更前沿的推理语言模型。
那么,Taalas的底气从何而来?
面对模型变化,Taalas准备了两种不同的应对方式。
对于不改变基础模型的调整,HC1不需要重新造芯片。
HC1虽然将Llama 3.1 8B的大部分模型和权重固化在芯片中,但仍保留了一块可编程SRAM,用来存放KV Cache,以及借助LoRA(Low-Rank Adaptation,低秩适配技术)进行模型微调时额外增加的少量参数。
此外,模型一次能够处理的信息长度,同样可以动态调整。只是上下文越长,需要占用的KV Cache空间也越大。
如果变化触及基础模型本身,则需要重新流片,但Taalas也不一定需要从头设计一颗芯片。它借鉴了结构化ASIC的思路,将大部分硬件固定下来,把针对具体模型的定制集中在少数制造层。
模型权重则采用接近Mask ROM(掩膜只读存储器)的方式,不再作为一串可以反复修改的数字存进存储器,而是转换成芯片制造时就确定好的金属连接。
在仍能沿用同一硬件平台的前提下,Taalas称只需修改两层与模型相关的掩膜,就可以把新的模型权重和对应的数据流重新“刻”进芯片。
这也是Taalas提出将定制周期压缩至两个月左右的关键。从公司成立到首款产品正式公开,前后已过去两年多。
杨逍解释,这类路线主要耗时在前期搭建硬件底座、工具链和完整流程。一旦平台能跑通,后续针对具体模型需要重做的部分就会大幅减少。
类似的模型硬化探索也开始在国内出现。中科院计算所和寒武纪等团队去年8月提出硬接线神经元语言处理单元(HNLPU),刚刚完成种⼦轮融资的创业公司瞬元(Sytrix)日前也宣布将打造中国第一款对标Taalas的极速AI推理芯片。
原论文《Hardwired-Neurons Language Processing Units as General-Purpose Cognitive Substrates》
图源:alphaXiv
不过,缩短定制周期只是其中一个问题。一颗芯片究竟还能装下多大的模型,是Taalas接下来更现实的一道门槛。
按照Taalas规划,下一代HC2计划将单芯片能够承载的模型规模从8B扩展至20B。AI芯片软件专家王让指出,HC1的芯片面积已经接近上限,继续塞进更多参数,需要使用精度更低的数据格式 ,并把原本占据芯片面积的部分SRAM移到独立芯片 上。
然而,当模型进一步扩大到数百B级别,单颗芯片很难继续孤军奋战,多芯片的系统方案成为必选项。一种担忧是,Taalas在单芯片上避免的数据搬运问题,会不会重新出现在几十颗芯片之间。
蒋姚认为,这正是Taalas目前没有完全讲清楚的一环。模型拆到多颗芯片后,怎么切分计算任务、芯片之间怎么传递数据,都会重新成为系统问题。
王让的判断则相对乐观。芯片之间主要需要传递的是上一部分计算完成后、交给下一部分继续处理的中间结果,而不是反复搬动整套模型权重,因此数据量仍可能小于传统GPU系统。
在王让看来,真正棘手的反而是其他问题:请求不够多时,部分芯片可能处于空转状态;芯片数量增加后,任何一颗出现缺陷都可能拖累整套系统;用于保存KV Cache的SRAM容量也会越来越吃紧。
杨逍也认为,芯片间通信短期内未必会成为首要瓶颈。
“大模型本身就是由一层层计算模块组成,如果能够顺着这种结构把模型合理拆开,让不同芯片各自负责一部分,同时避免反复搬运完整权重,通信压力仍有机会控制住。”杨逍分析。
而这也解释了AMD为什么会对Taalas产生兴趣。
对一家创业公司而言,模型硬化真正难的,不只是把芯片做出来,更是让极致专用化从一次性能展示变成一门能够规模复制的生意。
随着Taalas从单芯片走向多芯片系统,AMD能够补上的整机能力、工程资源和供应链优势,也会变得更加重要。
但这笔收购更值得关注的,并不是AMD的产品组合里又多了一颗推理芯片,而是AI芯片的专用化正在被推向一个更极端的位置。
在蒋姚看来,AMD最直接的竞争对手英伟达引入Groq LPU的逻辑相对清晰。LPU追求极致性能,也接受更高价格,英伟达此举就像已经有了一辆覆盖主流需求的“大众”之后,再添一辆“法拉利”。
而AMD收购Taalas,则像给自己购置了一辆用途更窄、却追求低成本高效率 的“拖拉机”。
蒋姚表示困惑,“我不太理解AMD为什么有了大众后还要买拖拉机,除非真的有十亩玉米地要耕。”
因此,问题不再只是Taalas能把一颗芯片做到多快,而在于AI产业里究竟会不会出现越来越多模型足够稳定、调用量足够庞大的“十亩玉米地”。
否则,拖拉机性能再强悍,也只能停在车库里。
作者长期关注AI芯片上下游,更多信息可添加微信 Evelynn7778 交流。
*文中蒋姚、杨逍和王让均为化名。
雷峰网(公众号:雷峰网)
雷峰网