ChatGPT 能分析 iPhone(iOS 18.2)屏幕,原理解析

苹果已经发布了首个iOS 18.2 开发者测试版,其中涵盖了这一出色的新 ChatGPT 功能。

当苹果在WWDC首次宣布其人工智能功能时,关于苹果智能众说纷纭,包括 ChatGPT 与 Siri 的集成。遗憾的是,和许多其他功能一样,它被推迟到兼容设备的后续更新版本里了。

苹果此后发布了 iOS 18.2 的首个测试版,其中涵盖了升级后的 Siri。其中一个新功能是 Siri 如今能够扫描屏幕截图,并借助 OpenAI 的程序来查找它所看到内容的相关信息。

有了 ChatGPT,Siri 可以把某些问题和 OpenAI 的聊天机器人联系起来,但它也可以读取 iPhone、iPad 或 iMac 屏幕上的内容。它的工作方式跟谷歌镜头类似,用户能够向 Siri 询问屏幕上的内容。然后 Siri 会截取屏幕截图并将其上传到 ChatGPT,ChatGPT 能够利用它的数据库查找相关信息然后反馈给用户。

对于尚未升级到 iPhone 16 的任何人来说,这个功能可能会更有用处,因为只有更新的型号才具备 视觉智能 功能。虽然视觉智能执行类似的操作,但它能够通过相机实时完成,而不是依靠屏幕截图。

苹果已经阐述了在与 ChatGPT 集成时 数据是如何处理的,以帮助消除任何对数据安全有担忧的人的顾虑。在与 OpenAI 交流时,只有图像和位置数据会被发送给 ChatGPT;不会共享其他信息,例如您的 苹果账户。OpenAI 不能使用这些数据来训练其模型;然而,如果您在 OpenAI 有付费账户,数据和请求可能会被予以记录。

iOS 18.2 测试版会带来更多的新功能,包括图像游乐场和 Genmoji。后者能让用户基于多种因素创建新的自定义表情符号,比如您联系人中的人员。与此同时,图像游乐场利用人工智能依据文本提示来生成图像,或者能够使用内置的建议和概念。iOS 18.2 包含了一个重新设计的邮件应用程序,其具有升级后的视觉设计以及有人工智能支持的组织功能。

目前,这些功能仅在开发者测试版,但是公开测试版可能很快就会到来。所有这些变化将让 iPhone 一直是市场上最好的手机之一。