《科技》高通携IBM 将生成式AI转向边缘与云端

高通技术公司资深副总裁暨技术规划与边缘解决方案总经理Durga Malladi表示：「我们很高兴能与IBM合作，为边缘与云端装置提供企业级生成式AI解决方案。这项合作使企业能快速部署个人化的AI解决方案，并具备强大的治理、监控与决策能力，进一步提升从边缘到云端的AI可靠性。」

IBM资料与AI部门总经理Ritika Gunnar表示：「深化与高通技术公司的合作，使我们能够将企业级生成式AI从云端拓展至边缘。透过优化IBM的watsonx.governance及Granite模型，使其能在Snapdragon与Qualcomm Dragonwing平台上运行，我们协助企业发挥AI的颠覆性力量，无论资料位于何处。」

双方计划在Snapdragon 8 Elite参考设计及配备高通AI推论套件的Qualcomm Dragonwing AI本地应用装置解决方案（On-Prem Appliance Solution）上运行watsonx.governance、Granite Guardian 8B与Granite 3.1 8B模型。这些模型协同运作，提供端到端的生成式AI解决方案，包括模型部署、运行、监控和强化决策能力的防护机制。透过此合作，高通技术公司与IBM将结合装置推理、低功耗与隐私保护特性，并利用watsonx的效能，协助企业解决AI解决方案在安全性、效率、可靠性和治理方面的挑战。

高通技术公司已针对Qualcomm AI Hub最佳化了IBM第三代Granite旗舰语言模型IBM Granite 3.1，帮助开发者与企业在边缘端发挥AI潜力。双方将扩展Qualcomm AI Hub与IBM watsonx的合作，并透过watsonx.governance功能，为装置上的模型提供治理与防护机制。欲了解更多关于此新应用的资讯，请造访高通开发者部落格。

此外，高通云端AI加速器系列已获得Red Hat OpenShift认证并正式支援此平台，这是由Kubernetes驱动的业界领先混合云端应用平台。此认证将有助于促进基于高通云端AI解决方案的大规模部署IBM软体应用套件（包括watsonx）。