通信,拉近世界的距离!
您的位置:首页 >资讯 >业界新闻 >查看资讯

谷歌 Gemini 新功能可接管 Mac 操作,自动化能力超越 Siri

移动通信网 程然

谷歌为 Mac 平台推出了一项颇具攻击性的 Gemini 新功能:AI 可以直接接管用户的电脑,代替人工完成点击、输入、调取菜单和填写表单等重复性操作。用户只需用自然语言描述任务,Gemini 便在后台自主执行整个流程。这一能力在操作系统的实际控制层面明显越过了苹果自家的 Siri,也标志着 AI 助手的竞争正从"回答问题"全面转向"替你干活"。

从对话到操控:AI 助手的能力跃迁

传统意义上的语音助手,无论 Siri 还是 Google Assistant,核心能力始终停留在信息检索和单点指令执行层面。而 Gemini 此次推出的功能瞄准的是一类更具体的痛点:那些"本来要点几十次鼠标"的机械性工作。谷歌方面介绍,用户只需描述目标,例如整理数据、填写多栏表格,Gemini 会自行拆解步骤并逐项完成点击、输入、打开菜单等操作。

值得关注的是执行方式的工程细节。任务并非抢占用户当前的屏幕,而是运行在一个隔离的后台窗口中,聊天界面内提供实时预览,用户的主屏幕和光标全程保持可用。这意味着自动化任务可以与人工作业并行推进,而非简单的屏幕录制回放。权限设计上,用户可逐个指定 Gemini 允许访问的应用,能够随时观看并暂停每一个执行步骤,关键操作还必须经过人工批准才能继续——这套机制显然是为回应"AI 接管电脑"带来的安全与隐私疑虑而设计。

【关键数据】

- 任务执行方式: 自然语言描述,Gemini 自主完成点击、输入、菜单与表单操作

- 隔离运行机制: 独立后台窗口执行,主屏幕与光标保持可用

- 权限控制: 指定可访问应用、逐步暂停审查,关键操作需人工批准

- 典型场景: 本地 PDF 数据填表、实时仪表盘生成 Slides、照片分析与比价生成转售清单

- 竞品定位: 在系统操控层面直接超越苹果 Siri

场景落地:跨应用工作流成为主战场

从谷歌披露的用例看,该功能的价值集中在跨应用、跨数据源的工作流整合上。例如从本地 PDF 提取数据,自动填写多个输入框的运费报价表;或结合实时仪表盘指标与截图,直接生成 Google Slides 演示文稿;甚至通过分析照片并检索市场价格,自动准备二手商品的转售清单。这些任务的共同点是步骤繁琐但规则清晰,恰是大模型 Agent(智能体)最擅长吞噬的领域。

谷歌选择 Mac 作为首发平台而非自家 ChromeOS,策略意味明显。Mac 是开发者与内容创作者的密集阵地,工作流自动化需求旺盛;同时这也是一次对苹果腹地的直接渗透——在 Apple Intelligence 推进节奏相对迟缓的当口,谷歌用第三方身份在 macOS 上提供了苹果自己尚未给出的答案。

生态博弈:Agent 竞争进入系统层

这一动作背后是整个行业向 Computer Use(电脑操作)Agent 的集体转向。Anthropic、OpenAI 等厂商均在推进让 AI 操控浏览器或桌面的能力,谷歌此次将其以消费级产品的形态落地到 Mac,等于把实验室能力推入了主流用户视野。对苹果而言,压力不仅来自功能对比,更在于第三方 AI 已经在其平台上实现了比 Siri 更深层的系统集成——Siri 的换代窗口正在被对手的迭代速度不断压缩。

当然,普及仍存变数。让 AI 自主操作电脑意味着敏感数据的暴露风险,尽管权限审批机制提供了缓冲,但真实使用中的误操作与信任成本仍需时间验证。从竞争格局看,AI 助手的下一个战场已不在对话质量,而在谁能真正接管用户的日常工作流。Gemini 此番在 Mac 上的落子,为这场 Agent 之争投下了分量不小的一子。


出处:Google upgrades Gemini for Mac workflows

英文原文
Google unveiled a Gemini feature which can complete repetitive tasks such as clicking and typing on Mac computers, going beyond Apple’s [Siri AI](https://www.mobileworldlive.com/devices/apple-lands-siri-ai-at-wwdc-as-cook-takes-a-bow/) assistant. Through the new feature, Gemini can take over a Mac to do repetitive work which normally takes dozens of clicks. The tech giant explained users describe the task and Gemini handles the clicking, typing, menus and forms. The work runs in an isolated background window with a live preview in the chat, leaving the screen and cursor free. Users choose which apps Gemini can access, they can watch and pause each step and must approve key actions first, the company added. It can also fill out multi-box shipping quotes using data from local PDFs, build Google Slides decks from live dashboard metrics and screenshots, and prepare resale listings by analysing photos and researching prices.
微信扫描分享本文到朋友圈
扫码关注5G通信官方公众号,免费领取以下5G精品资料
5G通信公众号
  • 1、回复“YD5GAI”免费领取《中国移动:5G网络AI应用典型场景技术解决方案白皮书》
  • 2、回复“5G6G”免费领取《5G_6G毫米波测试技术白皮书-2022_03-21》
  • 3、回复“YD6G”免费领取《中国移动:6G至简无线接入网白皮书》
  • 4、回复“LTBPS”免费领取《《中国联通5G终端白皮书》》
  • 5、回复“ZGDX”免费领取《中国电信5GNTN技术白皮书》
  • 6、回复“TXSB”免费领取《通信设备安装工程施工工艺图解》
  • 7、回复“YDSL”免费领取《中国移动算力并网白皮书》
  • 8、回复“5GX3”免费领取《R1623501-g605G的系统架构1》
  • 本周热点本月热点
    通信人才网

    最热通信招聘

    更多