商汤升级“日日新5.0”大模型,对标GPT-4Turbo

·“日日新5.0”采用混合专家架构,超10TB tokens训练,覆盖大量合成数据,推理时上下文窗口达200K左右。云、端、边全栈大模型产品矩阵中,用于终端设备的“商汤端侧大模型”可满足各类终端用户对大模型技术的应用需求。

“日日新5.0”和GPT-4回答趣味推理问题。

4月23日,在2024商汤技术交流日上,商汤科技董事长兼CEO徐立发布行业首个云、端、边全栈大模型产品矩阵,满足不同规模场景应用需求;升级“日日新SenseNova 5.0”大模型体系,综合能力全面对标GPT-4 Turbo。

“商汤在尺度定律的指导下,持续探索大模型能力的KRE(知识-推理-执行)三层架构,突破大模型能力边界。”徐立表示,“日日新SenseNova 5.0”(以下简称“日日新5.0”)采用混合专家架构(MoE),超10TB tokens训练,覆盖大量合成数据,推理时上下文窗口达200K左右。本次更新主要增强知识、数学、推理及代码能力,全面对标GPT-4 Turbo。

在文科能力方面,“日日新5.0”的创意写作能力、推理能力及总结能力均有提升,相同的中文知识注入后,可获得更好的理解总结及问答,为教育、内容产业等垂直应用场景提供辅助。在理科能力方面,“日日新5.0”数理能力、代码能力及推理能力提高,为金融、数据分析等场景落地提供基础。

“日日新5.0”的多模态能力在多模态大模型权威综合基准测试MMBench中综合得分排名首位,在多模态榜单MathVista、AI2D、ChartQA、TextVQA、DocVQA、MMMU中取得领先成绩。“日日新5.0”支持高清长图的解析和理解、文生图交互式生成,还可实现跨文档知识抽取及总结问答展示。

商汤科技云、端、边全栈大模型产品矩阵中,用于终端设备的“商汤端侧大模型”可满足各类终端用户对大模型技术的应用需求,端侧大语言模型推理速度在中端平台可实现18.3字/s的平均生成速度,旗舰平台可达78.3字/s。扩散模型同样可在端侧​实现快速推理速度,端侧LDM-AI扩图技术在某主流平台上的推理速度小于1.5秒,支持输出1200万像素及以上的高清图片,支持在端上快速进行等比扩图、自由扩图、旋转扩图等图像编辑功能。

演示扩图功能。

大模型产品矩阵还包括面向金融、代码、医疗、政务等领域的边缘产品“商汤企业级大模型一体机”,支持企业级千亿模型加速和知识检索硬件加速,实现本地化部署。端云协同解决方案可通过智能化判断协同发挥端云各自优势,需要联网搜索或处理复杂场景时分流至云端处理,部分场景端侧处理占比超80%,从而降低推理成本。在个人出行场景,小米汽车SU7智能车舱中应用了商汤大模型技术,基于商汤端云大模型解决方案,小米小爱同学为车主提供智能化交互体验。

文生视频平台。

“商汤在这么多年做了非常多视频、感知、理解的技术和内容,商汤关注如何把视频的生成做到可控。我们打造了文生视频平台,强调对人物的可控性、情绪的表达、微表情等相关内容,同时我们也强调对于动作的可控性和交互性。”徐立带来了3段完全由大模型生成的视频。未来,输入一段文字或一个完整描述就可以生成一段视频,人物的服饰、发型、场景可预先设定,保持视频内容的连贯性和一致性,“我们会在很短时间内发布为大家提供服务的文生视频平台。”