NVIDIA、Google Cloud 推「企業用」代理型 AI 推理功能

NVIDIA、Google Cloud为追求在地端使用Gemini系列AI模型的企业，提供代理型AI推理功能。NVIDIA／提供

辉达（NVIDIA）10日宣布，团队携手Google Cloud运用Blackwell HGX and DGX平台及NVIDIA机密运算（NVIDIA Confidential Computing）技术，保护每一位用户的资料安全，并将代理型 AI（agentic AI）带给寻求在地端使用Google Gemini系列AI模型的企业。辉达表示，企业透过搭载NVIDIA Blackwell平台的Google分散式云端（GDC）就能从地端资料中心来锁定存取病患纪录、金融交易和政府机密资讯等机敏资讯的权限，以符合法规要求和资料主权法令。

团队补充，这项NVIDIA机密运算技术还能保护Gemini模型中的敏感程式码，避免未经授权的存取与资料外泄。Google Cloud基础设施与解决方案部门副总裁暨总经理Sachin Gupta则表示，借由将两大厂的Gemini模型与NVIDIA Blackwell的突破性效能及机密运算能力相结合，将能让企业能够充分发挥代理型AI的潜力。而这项合作也有助于确保客户能够在不影响效能或操作便利性的情况下，安全地进行创新。

他说，NVIDIA Blackwell的机密运算技术能为企业提供技术保障，包括Gemini模型应用程式介面的使用者提示及用于微调的资料，都能保持安全，无法被检视或修改。并且与此同时，模型所有者可以防止未经授权的存取或窜改，提供双重保护，让企业能够在维护资料隐私的同时，利用Gemini模型进行创新。

AI 代理驱动全新企业应用

随着代理型AI重塑企业技术格局，带来更强大解决问题的能力，这项全新解决方案应运而生。有别于根据学习到的知识来感知或生成内容的AI模型，代理型AI系统可以在动态环境中进行推理、适应与决策。例如在企业IT支援方面，以知识为基础的AI模型可以检索与提供故障排除指南，而代理型AI系统则能够自主诊断问题、执行修复，以及将复杂的问题呈报到更高层级进行处理。同样若在金融领域，传统的AI模型可以根据既有模式标示潜在的诈欺交易活动，代理型AI系统则能更进一步调查异常情况，并主动采取行动，例如在交易发生前即进行封锁，或是即时调整诈欺侦测规则。

在地端进行部署的两难困境

团队表示，虽然许多企业已经可以使用多模态推理的模型，整合文字、影像、程式码和其他资料类型来解决复杂的问题，并建立云端代理型AI应用，不过那些对安全或资料主权有着严格要求的企业却还无法实现。而随着这项消息的发表，Google Cloud将成为首批提供机密运算功能的云端服务供应商之一，以保护无论是在云端或混合环境中的代理型AI工作负载。

这项解决方案由搭载Blackwell GPU与NVIDIA机密运算技术的NVIDIA HGX B200平台驱动，让客户能够保护AI模型与资料安全。这样可让使用者在不影响资料安全性或模型完整性的情况下，达到突破性的效能与能源效率。

代理型 AI 的 AI 可观察性及安全性

在生产环境中扩展代理型AI需要强大的可观察性与安全性，以确保有稳定的效能表现及符合法令要求。此外，Google Cloud今日也宣布推出全新的GKE Inference Gateway，借由先进的路由和扩充性来最佳化部署AI推论工作负载的部署。

Google Cloud直言，透过与NVIDIA Triton推论伺服器及NVIDIA NeMo Guardrails整合，GKE Inference Gateway可提供智慧型负载平衡，以提升效能与降低服务成本，同时实现模型安全与治理活动的集中化控管。展望未来，Google Cloud正致力于整合专为跨AI工厂服务与扩充推理AI模型而打造的开源函式库NVIDIA Dynamo，以提高代理型AI工作负载的可观察性。