AI推论重要性升 世芯、安国受惠
推论晶片对重复运算需求高,因此为特定任务定制的ASIC晶片更受到业者青睐。图/本报资料照片
语言模型理解力分数估算
OpenAI针对大型语言模型一本正经说废话痛点进行改善,o1模型透过多次确认产出之答案,增进语言模型商用之可能。业内人士解释,现阶段AI作为客户服务最大问题即是有小概率跳出错误答案或完全无关乎主题,o1模型会针对结果在三进行确认,这将使推论(Inference)算力需求增加。以AWS为首之CSP业者针对推论应用推出自研晶片,法人认为,推论重要性提升,将为ASIC业者带来新商机,其中如世芯-KY(3661)、安国(8054)有望受惠。
语言模型训练所需算力高为市场共识,并随着参数增加、耗用成本提升,而推论基于预训练模型进行结果产出,运算需求相对较低。不过OpenAI推出o1模型,开始推升推论对算力需求,其中,o1是首个IQ超过人类的AI模型,因此进行数学运算或逻辑推理,效果较好,另外就是改善一本正经讲废话或讲错误答案的问题,商业实际应用空间扩大。
相关业者分析,过往推论相对简单,但是o1透过将答案进行多次审核,需要的算力有额外的提升。CSP业者如AWS、Meta针对推论需求都有推出自研晶片,如Inferentia 3、MTIA等。
有望推升台厂商机,法人指出,推论晶片对重复运算需求高,因此为特定任务定制的ASIC晶片更受到业者青睐,加上CSP建置量庞大,自研晶片分摊成本会较GPU划算,台厂即接获不少ASIC订单,以世芯和AWS之合作最为人所熟知。
法人分析,Inferentia 3的单位价值将高于Inferentia 2,不仅因为制程从7nm 升级到3nm,且包括更多的运算晶片和HBM。供应链透露,世芯在后年为Inferentia 3保留的产能超过目前水准,此外,AWS 的Trainium也可能采用Inferentia 3运算晶片,有望受惠市场份额的成长。
安国在第四季亦逐步开花结果,除原有的ASIC Turnkey外,CoWoS后段委托设计服务(Design Service)有望到手。法人认为,尽管现阶段客户大部分来自大陆,但未来先进制程、封装会以非大陆客户为主,大手笔购入Arm IP,进一步利用Arm生态系资源,扩大市场能见度。