聯發科攜手阿里雲 通義千問大模型部署進天璣9300平台

联发科和阿里云联合宣布,通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台。(阿里巴巴提供)

联发科(2454)和阿里云昨(28)日联合宣布,通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台,这是通义大模型首次完成晶片级的软硬适配。

这代表即使在离线状态下,仅靠手机晶片的算力,用户也可以透过通义千问完成多轮AI对话,实现AI推理。未来双方也将基于天玑晶片适配70 亿等更多尺寸的大模型。

科创板日报报导,阿里巴巴通义实验室业务负责人徐栋表示,端侧AI是大模型应用落地的重要场景之一,但面临软硬体难适配、开发环境不完备等诸多挑战。阿里云与联发科此次完成了大量底层适配及上层开发的系列技术及工程难题,真正把大模型'装进'手机晶片中,探索端侧AI 的晶片模型(Model on Chip)部署新模式。

IT时报报导,自2023年以来,全球两大手机晶片厂商高通和联发科,相继宣布研发出可装载大模型的晶片。高通3月18日才发表第三代骁龙7+ 行动平台,可以支持Baichuan-7B、Gemini Nano、Llama 2 和智谱ChatGLM 等大语言模型,而联发科的天玑9300晶片先前也已宣布,支持端侧运行70亿、130亿AI大模型。

晶片厂商对于端测大模型的「给力」支持,是手机厂商的底气所在。三星、小米、一加、真我realme、夏普等手机厂商先后发表自家的AI手机。

通义千问18亿参数开源大模型,推理2048 token最低仅用1.8G内存,是一款低成本、易于部署、商业化友好的小尺寸模型。

目前联发科和阿里云双方团队已完成了通义千问40亿参数大模型与天玑9300的适配,未来还将基于天玑适配70亿等更多尺寸大模型,「打样」并支持开发更多AI智能体及应用,相关成果将以软体开发工具套件(SDK)的形式提供给手机厂商及开发者。

AI手机已成为手机厂商「翻身」的重要武器。数据显示,2023年全年大陆智慧型手机市场出货量约2.71亿支,年减5%,创下近10年来最低出货量。

天玑9300是联发科的高阶晶片,目前大陆国产品牌中采用天玑9300晶片的手机价位大约在人民币3,000元到5,000元(新台币1.3万元到2.2万元)左右,属于中高阶手机。IDC预测,2024年全球新一代AI手机的出货量将达到1.7亿支。