龙虾长出「手」和「脚」,你的Mac从此不用自己动手了?

温故智新AIGC实验室

TL;DR:

OpenClaw的父亲Peter Steinberger闷声干大事,给咱的AI Agent装上了「眼睛」和「手」。新发布的Peekaboo v3不仅能像素级看穿你的屏幕,还能替你点、拖、按快捷键,甚至自己debug。这哪是龙虾啊,这是给Mac请了个全自动打工人。


别猜了,虾还是那只虾,但这次它真的「长手长脚」了

友友们,悄悄问一句,OpenClaw这位「前顶流」的热度,现在是不是有点凉了?

别急,凉不凉不重要,重要的是——就在大家以为龙虾要当冷盘的时候,龙虾之父Peter Steinberger(江湖人称「龙虾教父」)直接掀了桌子:Peekaboo v3,来了。1

这名字起得挺萌,「躲猫猫」是吧?但它干的事儿可一点不萌。

一句话说就是:给你的Mac装上一套「眼睛+手」的豪华外挂,让AI Agent不仅能看,还能真·上手干活。2

你是不是也有过这种体验?用Agent让它帮你干点活——比如打开网页、跑个流程,它确实能给你整得明明白白。可一旦涉及到屏幕上的精细操作,比如「把那该死的按钮挪一下」「把这个文件拖到那个文件夹」「把这段文字敲到那个输入框里」——好家伙,它立马开始《装瞎》,最后那一步还得你亲自来。

这感觉,就像你请了个助理,结果他只会动嘴皮子:「老板,您这儿点一下,那儿拖一下。」你气得想摔鼠标,但想想他没手,忍了。

现在,Peter带着Peekaboo v3来了,直接把这个bug给修了:Agent终于从指手画脚的甲方,变成了真的能下场干活的乙方。3

技术大揭秘:这「眼睛」和「手」到底有多灵光?

咱们先聊聊「看」的能力。

Peekaboo v3不仅能实现窗口、全屏、菜单栏的像素级截图,还能读取macOS上每个UI元素的位置、类型、标签(Label)——真·慧眼识珠屏幕了。这可不是普通的截图,它真的能「看懂」屏幕上有什么。

再来说说「动」这事儿。

点击、输入文字、按快捷键、滚动、拖拽、切换窗口、切换桌面(Space)、戳Dock、点系统弹窗……一整套真人用Mac才会干的事儿,它现在自己就能干。4

一位网友直接做了个「Computer Use」烟雾测试:让Hermes操作计算器、Peekaboo读屏幕结果、Python独立验证答案是否正确——一气呵成,成功通过。4

玩得上头了,这位网友当场立flag:「好玩好玩,下一步我还要让Peekaboo自动翻找以前写过的邮件!」

但真正让人直呼「开大」的,是Peekaboo v3在能力调用上的巧思。

首先,它支持自然语言Agent模式——你想让它干什么,直接甩大白话就行:「帮我找到上周周报的表格截图」「把那个文件夹里的图片拖到PS里」——它听得懂。

其次,也是我觉得最实用的设计:它能把自己所有能力打包成MCP(Model Context Protocol),喂给你常用的AI工具。 4

举个栗子🌰:

你在Cursor里写代码,跑起来UI出了bug。以前的操作流程是:截图→发给Cursor→描述问题→等待回复→自己改代码。现在?Cursor自己就能截图、自己看、自己改、自己再跑一遍验证。全程不用你插手。

(躲猫猫这名字还是含蓄了,感觉堪称「蜘蛛网」了……一招鲜吃遍天N个产品了也是……)

四种打开方式,丰俭由人

技术聊完了,你可能会问:这玩意儿到底怎么用?好消息是,Peekaboo v3为同一套能力,准备了四种不同的「打开方式」——写代码的、用AI编程的、纯用Mac的、做App的,各取所需:

  • 硬核极客风:如果你是喜欢写脚本的自动化党,直接Homebrew走起: brew install steipete/tap/peekaboo,然后一行 peekaboo --version 就能搞定。4
  • AI编程玩家:如果你日常在用Claude Code、Cursor、Codex这些AI编程工具,那这个最香——Peekaboo可以直接当成 MCP server 接进去: npx -y @steipete/peekaboo mcp4
  • 普通Mac用户:不想搞那些命令行?没问题。去GitHub Releases下载Mac桌面版app就行,有可视化反馈,权限管理也是图形界面,非常友好。4
  • Swift开发者:如果你是做App的,想把它当库嵌到自己项目里,直接Swift Package引一下就好了。4

对了,对于想在OpenClaw里直接用的朋友——更简单,直接走「Skill」一下子就ok。相当于给虾装了个操作Mac的插件,装好之后录屏、辅助功能这些Mac权限走OpenClaw一次性过,不用再单独给Peekaboo开一遍权限。4

为什么这么急着「长手脚」?

说实话,Peter这波更新有多急?在v3官宣后,直接开启了「狂更模式」:v3.1.0、v3.1.1、v3.1.2……一日数更,跟打了鸡血似的。4

为啥这么急?因为形势逼人啊。

这两年,Anthropic的Computer Use、OpenAI自家的Operator、各种browser-use工具全在卷「AI操作电脑」这条路子。开源Agent领域热起来了,各种替代方案开始疯狂冒头。1

Peter必须快啊,不然后来者就要追上了。更何况,他现在可是OpenAI的人——今年2月被招进去的。5 这套Peekaboo v3,某种程度上就是他给自己在OpenAI的Agent工作提供的「最强本地验证平台」。(我瞎猜的,但逻辑通顺得很)

不过话说回来,这套「内外兼修」的打法确实妙:对内,给OpenClaw装上手脚,让这只虾真正能干活;对外,通过MCP协议喂给各种AI工具,把影响力辐射出去。

眼睛+手脚都齐了,现在这虾,是真的能在你Mac上替你打工了。问题是——你准备好当甩手掌柜了吗?

参考链接:


  1. OpenClaw终于长出手和眼!Peter正式发布Peekaboo v3,一日三更·新智元·2026/5/12·检索日期2026/5/12 ↩︎ ↩︎

  2. 完整控制電腦做所有操作- OpenClaw 作者隱藏密技Peekaboo 才叫 ...·Facebook·2026/5/12·检索日期2026/5/12 ↩︎

  3. 龍蝦時代的降臨:OpenClaw 如何引發AI 代理人革命·Yahoo 財經·2026/5/12·检索日期2026/5/12 ↩︎

  4. 背景故事:OpenClaw 創辦人Peter Steinberger 做出了250k ⭐ 的開源Computer Use agent,然後今年2月被OpenAI 招進去·Threads·2026/5/12·检索日期2026/5/12 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  5. OpenClaw 龍蝦Peekaboo AI 自動化助手安裝教學:4 步驟新手完整 ...·Medici·2026/5/12·检索日期2026/5/12 ↩︎