能操控电脑的 Computer Use 究竟是什么？万能胶水、旧世界操作员，还是无所不在的智能？

本节目由津津乐道制作播出。

嗯，

能够大家好，

欢迎大家收听由 rte 开发者社区和津津乐道博客网络联合推出的编码人生节目。

我是主播小白，

我们今天在 rte 大会的现场来为大家带来这一期播客内容。

那么这一期播客呢，

我们也是一个线上和线下同时联动的，

我们其实是一个线下开放麦。

然后我们现场也有很多朋没有在一起跟听，

我们一起聊天。

所以我们会尽可能的把我们的声音大一点，

然后让现场的同学也能够听到。

同时呢也能够让线上正在听我们的播客录音的，

你也能够听到我们的声音能够听清。

我们今天呢聊的一个主题呢是一个非常先锋的主题，

也就是呃和 ai 相关的 computeruse 桌面 ai 以及 actionagent。

那么这个主题呢，

其实呃是一个最近刚发布，

应该说是我们二零二四年十月份的一个非常新的 topic。

今天呢我也说不是我自己一个人聊，

因为我自己虽然的确也在做这个方向，

但一个人呢总是觉得说你的这个视角是有限的。

所以我也邀请了两位朋友来跟我一起来聊一聊这个 topic。

首先呢我的第一位嘉宾是陈春雨 raffle 的创始人春雨来给大家打个招呼，

然后自我介绍一下吧。

hello，大家好，

我是陈春雨。

然后我自己的背景是从这个清华出来，

但我到大三以后就开始读了，

就开始自己和同学一起开发一些东西。

然后我们今年做了一个产品，

就是用 ai 去整理电脑上的文件，

可以用 ai 去给文件进行读取内容，

然后命名以及对文件进行分类。

然后呢，

我们意识到了，

这是一个很有意思的点，

那接下来我会展开，

那欢迎大家来试试。

ok 然后我们今天的第二位嘉宾是 michael 元，

他是 westsomeage 的维护者，

也是 secondstate 的创始人 michael，您来给大家自我介绍，

然后 say 个 hi 嗨，

我的名字叫 michael 元。

对我是学物理的博士，

但是在我 phd 之后呢，

一直做的是软件的事。

就今天这个 topic 非常喜欢看见这个 atom 的世界，

跟 base 的世界，

物理世界跟软件世也终于又要合在一起了。

我的开源项目叫做 watchmatch，是是 nllinuxplantation 的项目。

我们的简单自我介绍完了以后，

我们就继续入正题，

咱们就不聊闲篇了。

我们今天聊的这个话题呢叫 computeruse。

它呢是在 cloud 在最近发的一个 demo 演示，

让它的 cloud 新的模型能够直接操纵我们的电脑，

去执行一些动作。

比如说你可以跟 cloud 说，

帮我打开云音乐，

或者说你跟 cloud 说，

帮我去播放音乐。

那 cloud 就会操作它的屏幕，

然后去打开里面的音乐播放器，

然后主动去播放音乐。

这个是 computeruse 的一个基本的 demo 的展示。

那我不知道是说春雨和 michael，你们在发布会之后，

你们有看这个 demo，或者去简单了解一下这个功能。

能有的我都看了，

然后包括像像智最最近发的那个 glm 驱操纵手机也都看了，

觉得还是一个挺有意思的事情。

嗯，

对我也看了，

我们其实在大概一周前，

我们有有一个活动叫做嗯 gosiam 的活动。

在清华边上东城大厦，

我们有十个大学生团队，

然后让他们做的就是 actionmode。

所谓巨神智能，

我们给了每个组一个机械臂，

一个小车，

然后让他就说是把那个嗯千问的那个 vrm 把它训练成直接嗯进来的是视频出来就是 action，对吧？

所以说我想说的其实可以比 cloud 往前走一步，

就是说不只是要 computeruse，可以是真正在现实生活中，

个人 internet 其实都是可以的。

其实我自己平时也在做很多这种大模型的开发嘛，

包括也去用过很多 openai 的能力。

包括我自己其实接触一些开发，

会发现说我们团队算是比很多团队队跑的要先一点，

就是我们还会主动去选择一些突靠的一些能力。

但确实过去很多开发者其实都还是在用。

我们一般定义上说叫 openi 的套壳，

对吧？

他可能就是写一个 prompt，然后让 ai 具有某些特定的 personal，然后就开始去做一些事情。

但其其实我们可以去用 openi 的模型来帮我们去做很多事儿。

然后包括这次 computer，其其实我我自己视角来看，

它其实算是我们之前突靠的一个延展。

当然它在这个过程中，

它去结合了很多过去模型所没有能力。

比如说能够理解屏幕当中的这些信息，

它甚至能够理解这个屏幕当中的每一个 element 到底是干嘛的。

它的下 action 是什么，

才能够最终去阐述说我下一步的动作是什么。

那这个呢是我眼中看到的 computeruse。

我不知道，

就是在你们两位看来啊，

就是 computeruse 这个东西，

它的技术演进，

包括它的一些技术难点，

你们有没有什么想法？

或者说你们觉得说可能这些东西是你知道，

但其他的的听友或者是我们现场的听众大家不知道的内容。

因为这个事情呢，

我其实在多模态的模型出来以后，

我就对这个场景有所预期。

所以这次 cloud 发布这个模型，

我倒没有觉得特别惊艳，

感觉会是一个比较水到渠成的事情。

然后我今年在硅谷比较幸运的是，

在春天就很早的体验过 openi 的一个内部模型。

当时他们就已经能够做到在语音输入的同时，

然后来截取你的电脑屏幕，

理解电脑屏幕。

然后还有一个视频摄像头的输入，

你还可以打字。

它就是同时做到了多个流的画面以及语音以及打字的输入，

并且能够综合这所有的输入一起给个反馈。

并且这个反馈是实时的那很有可能就是当时就已经可以做到。

比如说我的电脑开了共享屏幕，

然后我在摄像头里跟他说，

我跟屏幕上这个人的头发，

我们俩的发型相比是什么样的。

然后他就直接用语音实时的立即回答给我。

然后我不知道是出于什么原因，

就这个模型或者是这样的一个能力 open，i 始终没有对外部进行开放。

但当时我就想到，ok，如果他的推理速度足够快，

并且他有这个画面理解的能力的话，

因为你视频推流它也就是一帧一帧的嘛。

当然他们可能有别的 token 化的这个技术，

但从它能够去理解图片，

能够理解图片上的这个元素，

能够理解到这些按钮是干什么的时候，

我就觉得到现在这一步，

可能它更多的是一个工程上的问题。

我不知道他在更底层上是否有所推进。

对，

所以在我今年春天以后，

我就会预感这个时刻的出现吧。

春雨说的特别对啊，

我觉得有一个这里面特别核心的一点就是多模态。

因为就像春刚才说了，

嗯，

突破这件事情其实很早就有，

对吧？

就是一般情况下，

你跟大魔逊对话，

就你说一句话，

然后大模勋给你一个自然语言的回答。

但突破呢就是说你在 promp 里面会加一个叫做 tools 的 section。

thetools 呢里面你就会用自然语言写，

如果要干这个事情呢，

你就你就扣这个方向，

要干那个事情呢，

扣这个方向，

这个方向之间互相都有什么参数。

然后你把这个东西跟你自然语言的 prom 一起发给大模型。

比如说你问他今天北京的天气如何，

然后下面你的突破里面其中的一个方向。

就是说对于任何一个社交那个城市用 getweather，然后把城市的名字放进去，

就能够得到这个城市今天的天气是吧？

所以大模型回复给你的呢，

不是今天北京的天气如何，

而是说我要根据你刚刚的问题和 tools。

ls，我要用你刚刚给我提供的某一个 tools，叫做 getweather，对吧？

所以他就会给你说 getweather，然后说 pass 参数北京这是以一个街上的形式返回给你的你的客户端。

嗯，

收到了这个之后，

你就 suppose 应该去 xq 的这个突破。

至于你怎么去 execute 这个突破口是是你的事吧？

就是你怎么去说 getweather 可以是个拍照方向，

也可以是个 httprequest 或者 whatever，对吧？

然后你就可以拿到了啊，

今天北京天气，

然后你把这个结果再发给大模型，

说这个就是说呃大模型至少有几个 persona，一个叫做 userassistant，assistant 就他就大模型自己 user 是你对吧？

然后在这里面 introduced 第三个 persona 是吧？

所以 to 呢你就说比如说今天北京是多少度啊，

今天大毛星拿到这个之后，

他再去回答你刚刚提出来的第一个问题。

所以 assistant 先是让做了个突破，

然 assistant 再一次说今天北京的天气是什么什么什么，

对吧？

你看这个过程呢，

其实我们当时自己做应用的时候，

我们看到这样一个交互流呢，

其实主要的问题呢是一个可靠性的问题。

absent 的问题就是说他是不是在每一个我想要用突货的时候，

他都知道用突货呢？

比如说我问他一个不常见的地名，

就不像北京这样。

比如说我问他一个他可能不能 reliably 识别，

是个地名的地方。

我也不问他，

也许比竟是天气，

而问他今天是几度这种问题，

他知不知道他要用突货来解决呢？

他回答的东西因为不是自然语言，

所以他是不是一定能够按照我要的这个标准回答这个 j 上。

这其实呢中间就有很多工程化的问题，

就是说你会发现这个突货不是百分之百的 reliable，甚至可能不是百分之七十的 reliable。

所以说呢你了不起的去改一点的 prom。

因为你改不了模型嘛，

这这个是我们想讲另外一点就是其实 opensource 模型在这里面会有很大的作用。

因为 openai 和 tropic 的 model 你是不能改的，

或者说你很难改。

但 openshosmodel，你很容易对它进行翻译 to 让它产生你想要的。

这或者比较 reliableable 的产生你想要的突破，

对吧？

不过我们刚才也看见这个完全是一个文字的交互。

我觉得今天我们说 computeruse 或者再往下走一步，

居生智能 agent 其实很大的是是啊，

就像刚刚春雨讲的，

是说我来的这个图片，

我来的不再是问你今天北京天气如何，

而是一个就说是 computerscreen。

那上面有某个 task，你要识别它是个什么事儿，

然后你要去找到要用的这个 to 是哪个？

也许这个 to 并不是要去 makeawebservicecallgetweather，而是要去按一个 button，对吧？

所以我觉得在多模态，

我觉得这个是个是核心能力，

也可能是最近我觉得大模型也进展比较大的一方面，

对吧？

然后其他的我觉得这些其他的工程能力，

我们在用做企业突破 application 需要的这些工程能力，

其实今天也都需要就是它的结果需要 reliable 它的结果。

就说无论是它的结果的 thematic 或者是它的结果的逻辑，

都要是能够就说它只要能够稳定产生这样的 output。

我其实并不知道现在 tropic 的这个 computeruse，它的 reliability 有多好，

对吧？

就是说如果说我给他一个很奇怪的场景，

比如说我屏幕上都是中文或者什么这种它能够识别吗？

所以我觉得这个是可能下面一个大家会 find 到的事儿。

刚刚听下来，

我突然想起了一个时刻，

是最早 openai 在发布 functioncall 的时候，

他的发布会那个演示的那个效果。

他当时是让一个工程师去做了一个前端应用，

然后去调突靠。

调完突靠以后呢，openair 的模型会返回给他一个切换地图的动效。

然后那他会在前端直接把地图切换成具体地点。

我现在突然会有一种感觉，

说现在这些模型公司为什么突然跑出来说哎，

我要做这个 computer 柚子。

因为这个东西其实从我们自己现在理解，

可能说还没有那么的稳定，

它还不是一个很好用的产品。

但它为什么突然跳出来要做这个？

我突然在想说，

也有可能是我们过去大家都在疯狂的套壳和加 prompt，我们没有去用这些他们真正想让我们用的能力。

所以他们突然觉得说，

就像当年我要做差的 gt，想说我要告诉你们是什么才是用这个玩意儿的正确玩法。

所以今天我要做一个 competitive，我告诉你说，

其实我可能不只可以用来调 two，我还可以做别的东西。

然后那你是不是可以去探索一些更有意思的场景？

我突然有一种感觉，

就是可能他没有觉得说哎呀，

你们这些开发者想象力脑洞还不够，

大我现在给你们展示一下到底还有哪些东西可以去做。

对我觉得刚才其实我们聊到一个很有意思的话题，

就是模态其实这个东西也是是我自己做大模型以后啊，

我自己感觉说那可能这个东西真的是一个必经之路，

和我们真的要投足够多的精力去做的事。

是因为说我们现在真的面临说我们的语言是很匮乏的。

我们很难去非常精细化的描述，

我们现在所看到所听到所感受到的这些东西。

所以没办法，

我们需要用更多的模态。

比如说我们通过演我们去理解，

我们通过声音去理解，

我们通过种种方式去理解。

但是有了这些模态，

我们能理解，

然后模型呢只能文本。

这个时候我们的压缩太厉害，

所以我们去做多模态，

包括我们今天去做这个 computeruse，它依赖的是说我们要能够理解屏幕上的每像素点是什么，

以及这个区域它到底是什么才能够让模型去说哦，

大概你应该在哪个去做什么动作去完成这个事儿。

那下一个话题我觉得可以聊一聊的是说 computeruse 这个事儿呢，

其实会有点像它和凸靠的一个竞争。

会很像我之前在想说我们的机械臂的变化。

因为在看到 computeruse，我的第一反应是说哦，

这个东西是一个很好的 pr 的产品。

就是你在任何发布会上，

你去给用户展示说哇哦你看我的设备可以自己操作，

你跟他说一句话，

他可以去做很多动作。

这个事儿会让很多可能不那么懂技术的同学会觉得 amazing。

但我们目前的实现就是，

它实际上是说让机器去点 a 点 b 点 ca 它执行了一步一步的 step，其实会让我会觉得说这个东西可能也没有那么好用。

对，

特别是我们工程师，

大家平时就是各种快捷键一把梭，

对吧？

屏幕上都不想点直接快捷键。

那它在真实的业务场景当中，

很有可能它的效率是没有那么高的。

它只是一个看起来很好，

但真实用起来可能没有那么好的一个状况。

然后这个事儿就让我想到了之前去关注，

说包括特斯拉在做机器人，

也包括国内这几年一直在火的这个居身智能。

包括我们说过去的这些工业领域，

其实一直都有在讨论说我们到底应该做什么样的机器人，

我们到底是做一个机械臂，

它就放在流水线上，

它就只完成这一项工作，

还是我们要做更多的机器人，

就是完全的人形机器人。

当时我听过一个观点是说，

从特斯拉的视角来看，

我其实可以做机械臂。

机械臂其实 ry 更高。

我马上就能落地，

但它对于我更长期的愿景来说是没有意义的，

没有价值。

因为你这个机械臂它只能做这一个场景。

但我如果今天做一个就是拟人化的机器人，

它其实可以去替代人去做很多事儿。

它可能每件事都做的不是很好，

但是它随着他能力的演变，

他越来越可以让这个事儿变得很好。

那 computeruse 其实给我是类似的感觉，

我们过去用的凸靠，

其实是需要开发者自己去开发。

说哦你这边有一个函数，

然后这个函数是干嘛的，

他要去执行什么动作才能够去完成。

但如今我们用 computeryouth，我们不再说，

其实我没有一个固定的函数。

我给你的是说这个屏幕的截图以及这个屏幕它大概是这样的一个内容，

然后你就自己去理解，

然后下一步动作做什么，

给我一个很强的这种感觉。

不知道你们两位是怎么看，

说我们现在突靠到 computeruse，然后包括 vs 说我们之前过去巨身智能以及这些机械臂的一个演进，

就是我自己其实就在开发中用对图靠本身用的不是特别多。

我用来实现这一个的办法，

就是我会把大模型本身当成一个非常万能的，

可以处理各种非结构化信息到结构化的一个工具。

那我自己其实会自己去写一些东西，

让它输入成一些特定的 python 格式，

然后再去写一些脚本，

让他去完成一些 http 请求，

或者是只是做各种各样的事情。

因为我并不太相信大模型本身的这个凸靠的这个能力或者稳定性。

因为尤其是我要完成一些特定的任务。

比如说根据一个屏幕截图创建一个日程，

这是我开发过的一个应用，

也开源。

在这个 github，上根根据一堆堆结构化的聊天记录，

它直接提取出里面的时间，

地点人物，

去创建这样一个日程。

那我在对这样的东西进行开发的时候呢，

其实我就觉得大模型很多事情非常非常的不靠谱。

那我其实就单纯的把大模型本身用来作为一个呃非结构化数据到结构化数据的转换器。

然后我还要再额外给他写一套这个验证的机制，

然后以及在很多场景用大模型来作为一个判别器。

对，

比如他判断这里面有没有准确出现这个时间和地点，

然后给我返回去或者 false。

我对大模型本身都是一个这样的使用，

然后再到后面居身智能这一块，

其实让我想到了一个点。

就是如果在大模型出现之前，

我可能得从 nlp 的各种库里去找非常非常多的这样的这个轮子，

然后去让他去完成一些特定的任务，

再把他们组合起来。

但有了大模型以后，

虽然从最终能够满足应用场景的角度考虑，

我最后还是得自己去控制一些关键节点。

它的这个 jason，jason 或者是一些结构化数据到底符不符合我预期。

并且在尤其是在调用一些接口或者发一些请求的时候，

它一定是要是一个符合我预期的状态。

在这个点上我要进行一个管控。

但是在中间各种非结构化数据到结构化数据的这个转换，

以及很多判别。

我就可以不需要去找各种各样的这个轮子。

比如说我去找一些东西去判别它的这个情感到底是正面还是负面，

对吧？

像以前我可能得去做一个这样的，

专门找一个这样 nlp 的包去做这个事情。

那现在所有类似的问题我全部直接丢给大模型，

你觉得它是什么就是什么？

然后那你给我输出一个结构化的结果。

所以我觉得大模型的出现就会让呃大量跟自然语言处理有关的这个东西我就可以直接去用。

那所以我再再往下假设，

就是到人形机器人和机械臂这一块，

可能最后到某一两个这个特定的场景。

比如说我要给人的这个静脉进行注射，

它可能是得有一个专门的机器，

或者说我要去完成一个特定的任务，

把一个电池塞进某个舱里。

那它可能需要一个特定的这个机器。

因为它假设这一步它需要非常高的效率，

非常的稳定，

以及这个任务是固定的。

但是在中间的很多步骤，

我们其实就可以让让这个机器人去自由的探索。

比如说他在一个完全陌生的仓库里去找到这几个药，

然后把这几个药给摆到某一个地方。

那类似中间这样非常混沌的场景，

我们没有办法去单独写一套算法，

做这个路径规划的这类场景。

那我觉得它其实就像变成了一个人形机器人，

可能就像一个万能的胶水。

正如我现在用大元模型以及动大源模型去处理各种自动化的任务一样。

其实我是把它当成一个万能的胶水在用。

那我觉得再往后可能在很多特定的场景，

比如说那个充电枪的那个插入，

我们显然不会去给汽车充电。

我们显然不会要求那个机器人它的手能突然变成一个这个插头，

然后插到车里。

我们可能也是期待着他拿了一把充电枪插进去。

那可能最后这些步骤它是一个结构化的，

严谨的。

但中间各种各样的这个状态，

机器人就能像大模型一样，

作为胶水去给它满足。

这是我自己在开发很多基于大模型的应用的一些感悟，

也让我对往后的这个有一些想象。

好，

这里再补充一个点，

就是我为什么？

我对机器人这个事情非常感兴趣，

因为我自己本科学的是生物。

虽然我本科没读完，

然后我是高中就进了生物实验室，

所以是做了大量的这个生物的体力劳动。

所以从那个时候就非常关注各种实验自动化的这个器械。

哎，

对，

春雨突然说这个事，

让让我想起来这个描述述觉得很好。

就是当我们如果去处理一些混沌性的问题，

你那我们可能的确需要的是屈身智能。

对，

但如果这个问题真的非常的聚焦，

它就是在工厂流水线前高度重复，

那好像的确是机械臂是一个更好的方案。

包括可能比如说我们如果未来真的泛化到生活当中，

可能生活当中我们平时偶尔去超市买个东西，

或者我们说我们要去做一个很随机的事情的那可能让居身智能会做很好，

因为它可以适应各种环境。

但是如果今天我的这个问题真的非常的聚焦，

我就让他扫个地，

好像确实也没有必要居身智能，

让扫地机器人工作其实挺好的。

因为它不需要感知更上面的东西，

它只要感知地上这个十厘米以内的东西，

它只要能够处理，

其实就挺好了。

我觉得这块还是一个蛮有意思的一个点。

而且我觉得也启发到我我觉得说这是一个很不错的一个视角，

可以看这个问题。

那 michael 你怎么看？

对啊，

你说在智能手机出来之前是每件事儿都有一个呃 device 嘛，

对吧？

就是说可今天智能手机的呃功能，

比如说照相机，

它就比正常的地球的 camera 都好很多了，

对吧？

所以我觉得这个呃通用设备其实是呃是是发展的方向。

就就就就这么说，

因为呃其实以前也争论过，

就是说呃为什么我们一定要搞这种呃人形机器人呢？

这机器人就说是因为人是一 wab 两条腿出来，

但是机器人不一定啊，

机机器人可以是用轮子，

那那那不方便多了嘛。

为什么非要用非要搞人形机器？

就是因为我们现实生活中的 infrastructure 大部分是为人设计的。

就是说因为你要有轮子的机制，

你上不了坡，

爬不了台阶，

什么乱七八糟各种事儿你就会发现有各种事儿。

虽然说他在仓库的场景下可以比有腿的要好很多了。

但是他在跟人交互的时候，

然后呃刚才讲的 testing 后面想到像开始了做自动驾驶一个非常重要的点，

就是他只用呃就是呃 opticalsensor 对吧？

他不用激光雷达，

就是说因为他的商品也是整个 roadinfrastructure，整个路上的东西都是为人设计的。

所以说我只要把这东西搞好了，

其实我我可以少踩很多坑，

而不是要去搞一个人看不见的。

但但我可以看见的东西，

这中间就有很多就有很多问题，

对吧？

那拉回到我们呃呃这这个讨论的问题上，

今天的计算机绝大部分是为人的眼睛设计的，

它并不是为 rpa 设计的，

或者为自动化设计的。

所以我觉得用用大模型的多模态的能力来理解这个这个屏幕上到底是啥玩意儿。

然后这个鼠标应该就怎么搞，

其实就是去模拟一个人使用的。

虽然说看起来是个非常低效的方法，

因为你就会觉得比如说我在一个 onepage 上面，

我要点这个 button，我干嘛需要知道它在哪个 pixel 呢？

我只需要 pass 一下它的 domemstructure，我就应该知道它在哪。

然后我就 hold 个 javascript，我用 functionscope 不是快很多吗？

但那东西泛化不了，

就是说因为那上面有很多那个皮肤上还还会有很多其他东西，

你用这方法泛化不了。

所以我觉得他用大模型来干这件事情，

是能把它能够进行泛化。

我觉得泛化这事儿呢，

他能够就是一开始泛化的解决方案，

肯定比 specialized 解决方案要差一些。

但是呢他能干的事情更多，

所以我觉得就会之后我就是是 perssonopinion 啊，

就是我觉得就会有人用，

有人用之后呢你就有机会去不停的去 improve 它。

而这个非常 specialized 解决方案呢，

只有专家会用，

或者只有 professional 会用。

那你最后就是一直就会在那个 matchmarket 里面，

对正常人来说越来越难用。

对，

所以我觉得走拟人这条路，

其实我觉得是走的很对的。

对，

就以前我没有大梦，

没有多胞态大模型可能很难干这件事。

现在我们能了。

对我觉得 michael 突然提到泛化这个问题啊，

让我突然意识到说嗯 computeruse 这个事儿吧。

如果你放在海外，

他有可能用的人没有那么多。

但是放在中国，

或者说我们此刻所面临的环境下，

这个事儿非常可能会变得非常的 makesense。

因为呃其实我自己平时也会研究一些海外的这创业的一些项目嘛。

你会发现说海外做 sars 很容易，

而且海外的 sars 大家都很喜欢互相集成这个事儿。

在海外是一个很默认的方式，

大家都会提供 epi，哎，

然后你可以去调。

所以呢你可以用凸靠去做很多调用的动作。

但是如果我们看到国内的这些习惯，

对吧？

大家各自是独立的，

我没有给你 epi，你不可能去通过凸靠的手段去做的。

你只能通过类似于 computeruse 子这样的方式泛化的去识别。

然后另外一个是刚才也提到说，

比如说像我们点点网页点一个 dom 树，

可如今的这个前端的演进是我压根儿没有一个真实的盗墓术，

对吧？

我全是一个微倒 m 所以对于你来说，

你根本不存在去用做突靠的基础和能力，

所以你只能靠泛化。

我觉得这是一个蛮好的观点。

而且呃他可能也是我们目前为什么看到的是这个方案的一个很重要的原因。

包括我们刚才其实提到，

哎，

我觉得说我自己其实真的在做了一到两年的这个 ai 的落地以后，

我会发现说我们过去其实或者说我们绝大多数人对于 ai 的预期和我们所真实面临的现实可能是有蛮大 gap 的。

比如说就像刚才我们在正式聊开始之前，

我们其实就快速简单聊了几句。

就是在聊 rpa 这个事嘛，

就是我我自己真正去陪着业务去走。

后会发现说如果我们把智能化这个事儿分成几步，

那可能会包含先数字化在数据化，

然后才能智能化。

我们很多的企业，

包括我们大家所面临的问题，

这些工作上的问题啊，

因为我自己本身做的是这种偏 tob 方向的这些 ai 能力。

那他们这些场景下，

可能绝大多数人真的不需要说给他们走到智能化这一步，

大家真的只需要一个 rpa 能够帮他们自动化去解决很多问题，

能够机械的执行，

很多问题就够用了。

我们现在嗯大家想象的很多场景，

或者它往往可能距离我们真正能实现和我们真正需要的东西。

其实还挺远的啊，

说到这这个我正好有一些想说的，

就刚刚 michael 提到的泛化，

这个事情就很有趣。

我这边有一个真实的例子，

就因为我自己其实做的是用 ai 去处理电脑上的文件相关这一块的事情。

然后如果用一些更传统的办法，

会有很多解决不了的问题。

我们现在去处理 pdf 或者是 ppt 一这样的格式，

我们是直接把它当成一个图片的对象来处理，

这样效果能好非常非常多。

那上周我们一个真实的案例是我们在 balky 参加了一个活动，

然后收上来了几十份简历。

然后我就只是想单纯的从这些简历里，

把他们 cs 背景的人，

然后名字和邮箱这个给我整理出来。

然后我让 hr 去逐个联系一下，

在这样的任务上，

我首先把这所有的文档都扫描了。

然后我把这个扫描后的文档发给 shedgpt 发给 cloud，他们都完全读取不了这个文档。

为什么？

因为他们读取解读 pdf 的方法用的是 ocr，然后 ocr 去处理这样扫描的文档就就非常混乱非常差。

然后即使是他 ocr 做的很好，

他可能仍然会把数字一识别成字母 l 就非常多的这个问题。

那我自己上个月写了一个小程序叫 inandoutinandout，点 topinandout 是美国那个汉堡店的那个 inandout，然后 dottoptop。

然后我们当时这个事情的需求就来自于我旧金山那个 vc 朋友，

他需要处理大量的这个 bp，然后处理 bp。

因为它其实是一个 slide，所以就是它你如果用 ocr 的办法，

你完全没有办法得到足够的信息。

它各种产品的图示，

那就把整个的这个东西作为一个图输入给大模型，

它能返回出非常好的结果。

那我就用我自己写的那个程序去处理那个伯克利的简历，

效果就非常好。

我就把扫描那个简历一股脑的传上去，

然后我给他写出，

你帮我把里面这些东西给提出来，

就得到了比出来的 gpd 和 cloud 那个更好的这样一个效果。

那为什么突然讲到这个事呢？

就是在美国还有另外一个很有意思的点，

就是几乎所有东西它都有一个系统。

那比如说我去银行开个账户啊，

可能，bankofamerica 或者确的的人，

他其实在那那个 yy 那个进行录入的时候，

他要做很多的点击和一步一步录入的这个工作。

那他那个系统可能是一个非常古老非常混乱的一个系统。

那对于这种系统，

你去做个 rpa 也好。

首先比如说他可能在那个系统，

他们那个老旧的电脑上集成也就非常非常的困难。

然后其次他也可能就完全是一个内部自己写的东西，

或者不知道什么年代的东西，

你去识别各种按钮的对象。

你也不知道它到底是什么技术站，

它不可能用 election，对吧？

就这些事情你都做不到。

那么如果说我们用一个更泛化的，

它是一个能够直接理解屏幕的这个多模态的这个解决方案的话。

那比如说我们去给 trace 做一个这个增效的话，

我根本不需要它对这个系统有任何的改动。

我在它这个地方，

我在它这个显示这个地方，

我给他把这个视频的流给额外截出来。