在 GPT-4o 释放完整能力前，听听实时多模态 AI 创业者的一手经验

本节目由津津乐道制作播出，

没有异议。

有公有，

各位听友大家好，

这里是 rte 开发者社区和津津乐道博客网络联合制作的博客节目编码人生。

我们这期终于又回到录音间开始录音了啊，

今天呢是一个对谈节目啊，

还是跟上期一样，

就只有一位嘉宾和我来对谈。

那首先要请出我们的嘉宾，

史彦民老师来石老做一下自我介绍吧，

跟大家各位听众好，

那个我叫史一明。

我之前在职业研究院，

然后做了很多综模态模型相关的东西。

然后现在在自己的创业吧，

然后再做实时 ai 方向。

然后就最近就发现 gd 搜跟我们的方向很很有关系吧。

然后中间很多的啊模型呀一些或者说呃他们遇到的新的模态，

然后效果，

然后我们也都有一些经验。

然后就想今天跟大家分享一下，

看看有没有可以互相学习的一些点吧。

哎，

对，

你看石老师已经把我们今天的主题带出来了哈，

就是我们 gpd 四 o 这个产品的发布。

那天熬夜看的发布会，

然后看完发布会之后呢，

我们二 t 一社区的小伙伴说，

咱追个热点，

咱把这个一定要聊了。

但是我说不着急，

咱炒一个必须要有积淀的，

在这个领域做过过的嘉宾们一起来聊。

然后我们就找到了石老师啊，

就正好我们一起不是追热点。

我是觉得你说 ai 这几年可能都是热点啊，

我我们今天去聊四欧，

那么四欧呢就顾名思义，

它是一个多模态的一个混合模型，

对吧？

然后呢，

那个发布会呢给我印象最深的，

其实是现在他还没有发布的东西。

因为他发布会完了之后，

咱就可以用它的图像功能了，

可以用它的文字功能。

但是它的语音功能其实现在一直还没有开放。

但是我们在现场是看到了，

它这个演示给我印象最深刻的是你知道是什么吗？

就是翻译要失业了，

哎，

这个实时语音互动其实是把同传这个行业在某种程度上替代了。

当然没有 api，我还不知道它的能力边界在哪，

但是听起来是没有问题。

再有一个就是各种小，

这个也好，

小那个也好，

这些语音助手哎，

我觉得可能会有点惨。

现在都说那个都是人工智障是吧？

你说啥呢？

你必须遣词造句，

先想想他会怎么理解，

然后我再说出来才行。

现在来看现场的那个对话的氛围就是非常流畅自然，

他甚至还有情绪能够出来，

对吧？

还能够插科打耳混，

有一些情绪出来，

这个给我的印象是特别特别深的。

石老师，

你是做了这么多年啊这个实时语音互动，

从你的角度，

从做了这么多年的开发者的角度去看这个东西，

给你的感受是什么？

因为我们就是海外人我看看，

哎，

很震惊是吧？

但是从开发者角度，

你觉得这是一个突破，

还是说是一个理所当然的一个过程，

推导出来的一个结果啊？

我觉得这里可以分成几个角度吧。

如果从效果的角度讲啊，

我觉得一个结论是我认为它是就是 ascertain 的 ai 的极致，

就是我甚至无法从它的 demo 里挑出有明显的问题。

对对，

这可能是从效果角度讲的一个。

然后如果从模型层面讲的话，

其实它有一些可以改进的点吧。

这个可以我们跟他聊一聊。

嗯，

就首先它效果上的话，

就那天 demo，因为咱们只能看得出那个，

对不对？

对，

是的，

就是后面我们怎么上线，

可能还可以再再看看自己做怎么水平。

但是从效果上你会发现，

就像您说的，

他把这种同传做大了。

这个我们也可以从技术角度可能看得到他的改进，

或者是比较明显提升吧。

在这里比较明显的就是他把东方态模型这一件事情做到了目前可以落地的水平。

对我们 team 就一直做这种东方态。

不行，

其实更直接一点说我们一直做的是怎么让它能支持 audience，audience 就可以用语音互动。

但我们实践是发现这里有很多实践上的问题吧，

尤其是在呃数据上。

然后当那天我看到他弹幕的时候，

我第一反应是啊原来数据他们可以做到这种极致数据。

对对对吧，

我们可以想象的是他都可以跟你对话，

对吧？

他可以你说跟他说话，

他输出出，

甚至你还能打断他。

这我我简直是我不能理解这件事情，

就是我们可以知道那些事情可以做，

但做那种效果。

说实话我们自己还没有完全做到，

这是一个非常大的进步吧。

这个最后的进步。

因为我们也知道大概的这个 gpt 是什么，

它是怎么来的。

这个进步是依赖于继续的参数的提升，

还是说依赖于它引入了更多的训练的素材，

达到了这样的一个结果。

我把它划分为了两个模块。

第一呢就是它搞定了，

就是怎么打断人，

这也是刚才您提强调的对。

对，

就是以前我们去做这种 chatboat，尤其是语音的 chatbox，就是一进一出一进。

对对，

是一个持续性的。

就是你怎么知道这个人说完了这件事情，

其实是一个很重要的研究话题。

之前大家做法是我去检测这个人停顿了，

比如八百毫秒或者一千五百毫秒，

对吧？

然后我就知道说完了，

我就可以开始让 ai 测说说话。

嗯，opena 呢呢他在这块做的相对非常极致吧，

就他做到两百毫秒的去检测。

你说完了，

然后在这个前提下呢，

他就有可能去做实施嘛。

这是他在打断，

或者说叫做呃检测你 n 的 speech，或者我是把它这个叫叫的检测，

这个他做到了极致，

这是一方面。

另一方面，

他把模型测也做到了几乎极致。

就是他搞定了端到端的多模态模型。

嗯，

它可以直接输入语音，

视觉啊，

当然也包括文本了，

然后输出语音啊其实也有视觉了。

然后还有一些呃比如三 d 啊，

就这种种模态。

有了这个之后呢，

它就可以直接把它刚才用户说到的所有语音直接输给模型模型直接去用语音。

这样的话模型做的延迟，

我们自己实际的测试可以做到一百毫秒。

因为他们的技术肯定比我们先进进非常非常嘛。

所以理论上这部分延迟可以做到几十毫秒，

所以加上前面的两百毫秒，

就可以做到它做到两百三十二毫秒的延迟。

我觉得这是这两个部分的极致，

导致了它的那种非常及时替代的。

嗯，

但是我们会发现他的这个打断，

甚至是预判到了你的一些情绪。

比如你开始在犹豫，

对吧？

你开始在觉得哦是这样，

然后他就开始在一个非常恰当的时候打断你。

他不是一个说啊，

我一直在打断你，

就像在录播刻意是吧？

我得能够 get 到，

面对面的，get 到你快要说完了，

我可能才把下一句插进去。

这个是怎么做到的呢？

对，

其实这部分可能呃是我认为他们最大的突破吧。

就是我上周五在资源研究院那边也做了一个内部的小小分享。

我当时有一个 slice 那边也做为 open，是用了一个 transformerbased 的这种 postdetection。

嗯，

我甚至还加了一个 perhapsasmallskillgppo 嗯啥意思呢？

我用一个 gpso 的模型去做打断的检测，

然后我再用 gpso 去回复，

对吧？

这样的话它可以兼顾语义和这个呃延迟吧。

嗯，

对，

所以在这块儿他们应该是做了很多工作的。

你说的这个我也特别有感受，

为什么呢？

四 o 出来之后，

因为只能用文字嘛，

我就让四欧去帮我去做了一件事儿啊。

因为呢我们有的时候会用 gpt 去把一段非常书面化的语言变成一个口语化的语言。

其实是让他把书面化语言输出成一个逐字稿博客录音的逐字稿。

我们会做这么一件事。

以前呢无论用三点五还是用四，

我们总会发现它出来的这个逐字稿是非常刻板的对，

非常非常刻板的。

我大概都能猜出来，

他会怎么给我输出。

但是四 o 出来之后完全不一样了。

我们试着从四 o 去输出一些，

比如我把一个科技新闻，

你把我总结完了，

帮我出一个播演稿。

这个时候你会发现他甚至连插科打诨都会了。

嗯，

对，

这个在四的时代是没有的，

所以四欧他总说这个四欧是一个多模态。

但是我甚至觉得他在情感的理解上面，

他应该做了更多的事儿感觉。

对对对，

其实这部分我们也可以分享一下我们自己实际做的时候的一些算是感触吧。

嗯，

就是如果我们需要的是他 audienceaudio 这个事情，

从我们做某些角度讲，

其实不太难，

哎，

不太难。

对，

但是你会发现搜的效果好像又不完全是，

他只是能说话，

对吧？

嗯，

他能知道你到底想表达什么，

他多了一层理解，

好像对他多了情感情绪这个部分的理解。

那我们自己做的时候就会发现你需要更合适的这种数据。

那我们那么做呢，

我们会去从互联网上，

包括我们去找各种志愿者去录合适的数据。

嗯，

这个数据对于你怎么规划你的模型，

以及你的后面的应用效果是非常关键的。

嗯，

就意味着 openai 在收集数据上其实是提前做了很多很多的思考。

比如说我要我要给用户呈现什么样效果，

就是比如说他的 sky 那个那个语音，

对吧？

还包括他的聊天风格，

像您说的，

他更多的口语化呀，

更多的更像人的这种风格。

嗯，

他提前规划好，

才有可能做到这件事情。

否则的话他是没有办法把他的风格调到像那个很多笑声，

很多这种啊嗯这种啊，

对吧？

然后呢，

这种这种事要提前去带进情绪来才能发现出来。

对，

所以我们自己做的时候就会发现，

我们需要提前把这种相关的语料找好，

然后把它训练模型。

那么搜是就如果我去做搜，

我，

我会在这件事情上投入很多很多的精力，

就包括我需要让他去长得像 her，还是长得像一个机器人，

或者是一个纯粹助手啊，

这是从数据上。

另一方面就是我们自己也测了一下，

就发现思 o 对于这种怎么去模仿人，

他其实应该找了更多的相关语料的，

就包括从文本上啊，

从他是不是会有一些甚至我觉得有一些语音或者视频的语料素材进来。

对，

就是我最近这两天在这块儿其实关就关注他们啊怎么去描述自己数据。

其实关注非常多，

嗯，

就会发现就尤其前两天他跟那个就就 sky 这个这个语音上面的一个争议上的这些事情上，

你会发现他们官方的描述上是说我们去找了什么什么的人，

我们去怎么筛选选我们的那个怎么去确定一下他聊天的风格，

对吧？

他们其实都去做了相关的规划的，

所以可以预期的是他们嗯就定义的还是相对比较清楚的吧。

嗯，

对，

然后呃像你说的他可能去找了相关的，

尤其是电影可以说是电影的真，

实际上我认为是贡献非常大的。

嗯，

就是否则的话，

他没有办法知道什么情况下说什么样的啊语气啊，

这种停顿对吧？

对，

对对对，

那天我们有一个朋友在做一个实验，

嗯，

就是给他一个啊是什么呢？

你模仿某一位脱口秀演员的风格，

把这段文字给我表达出来，

然后出来，

结果我就惊了，

他真的是模仿那个演员的风格说出来的。

所以我怀疑他学习了大量这一类的东西，

其实这里就会涉及到我们大模型怎么训的。

就比如说我们呢我们就会把互联网上，

我们能搜集的所有的语音全拿进来。

嗯，

理论上呢你可以认为你的博客呢都在他的训练，

我的那个外部日志里面，

每天都能看见 openai 的对，

就是为了去学会所有风格，

我就必须见过所有风格的对。

然后呢，

他见过之后，

但是你就要去怎么激发他嘛。

所以刚才说那个所有的收集第二部分数据的逻辑都是我怎么告诉啊 model 什么样的风格对应什么样数据，

对吧？

他才能把这些他遇见遇见的时候，

见过的这种鱼料料激发出来。

嗯，

从而更好的去像您说的，

他能够各种播客啊，

各种方法去去聊天。

对，

但是标注这个数据也是非常大的一个挑战啊，

非常难吧。

对他怎么做到的呢？

我们可以猜测一下他这是怎么做到的。

因为我们知道我们自己来做模型，

有时候就是 openai 给咱标注，

对吧？

就是让他把咱标注，

但是作为他来讲，

他是怎么做到这一步的。

这里就是两种风格吧，openai 是没有东西可以抄的。

嗯，

那么他做的时候，

你会发现他是针对真正意义上去找了合适的人，

嗯，

找了他认为需要的场景，

找了那个需要念的语料，

然后让在在这完全可控的前提下做了大量的的这种啊预定场景下的这种训练。

我觉得可以想象的一点是，

他们把他们能想象的所有场景都做了呃提前的定义。

嗯，

这个可能是我们一个非常大的工作量啊，

对，

这是我能想到最大工作量的一个场景。

呃，

就比如我们自己做的时候，

都是在呃百万千万的 level 的这种数据。

那么他他们不太可能预定一这么多，

但下限我觉得也得是在万甚十万百万这种 level 才有可能在户外，

有可能我们遇到的更多的场景。

对，

否则的话他不太可能有有这么好的效果吧。

嗯，

尤其是他有个 demo，我自己在研究院讲的时候，

我专门作为了一个案例，

就是他的那个呃两个人啊剪刀石头布。

对，

然后 ai 负责参与进去这种场景下，

如果 ai 没有见过我，

甚至无法想象他剪刀石头布是什么东西，

它是什么，

对吧？

我觉得他的这这也对他相当于他的 model 是连这种能力都已经学会了的话。

嗯，

我觉得他的语料简就是嗯非常复杂，

对，

非常非常强强大的力量。

对它不仅仅像大家猜的那样，

就是把互联网的东西都爬出来，

然后喂进去。

是的，

它还有大量的标注和训练的预处理的这种过程。

对，

而且这这下一个我想说的可能就跟这个没有不太相关，

就是他把视觉部分也加进来了。

对，

就是你需要的什么一个语音视觉文本，

能够混合起来，

且能够互相激发的一个能力。

是这么一个数据的录制，

其实是理解能力嘛。

对对，

其实远远不只是你怎么去 prompt，嗯，

你需要让模型学会这种啊多个模模态的。

然后啊那么这个数据又相当于又上升了一个 level，对吧？

你只是能够做语音 chat，这个还达不到这个效果。

对，

所以我感觉 openai 的数据上面做了大量的工作，

甚至我可能我自己是无法想象他怎么做到的对。

对，

你看就不说英文了，

你就中文。

咱比如说说一个词儿，

可能如果不结合场景的话，

它都有多异性是吧？

对吧？

对对啊，

就简单俩字儿，

你走这就是不一样，

对吧？

你说的没错，

对吧？

你走你走还是你走都不一样。

那如果我们再结合了视频的话，

它可能就是这又多了一个维度，

甚至多了更多的维度跟他的场景，

甚至都有关系。

不仅是人的情绪表情，

还有场景是怎么样的，

他都要综合的去理解。

对对对，

所以这个就是就是我想表达的是，

它不完全只是一个 model 的纯的的问题，

对吧？

就是大家以为的是我就吹一个 model 的支持，

输入语音，

对，

在视觉加上就好了，

完事了。

嗯，

远远不是嗯，

就这个 model 称完之后，

你怎么让它有这个效果。

其实中间大量的都是你的，

甚至可能你的想象对吧？

你的预定义的你的目标对这个可能是很大工作量的一个点。

对对对，

而且我注意到了这次发布会特别有意思，

他就是赶在了 googlel 的，

天天看的，

我觉得挺坏的。

然后第二天 google 的发布会我们也看了，

确实在舆论层哈，

咱不说他发布的技术，

一会儿您可以多说一点儿。

在舆论层没有集齐特别多的水花，

好像就被这个 oki 这个四欧的这个光环完全就给罩住了。

对，

其实这里我们因为也很无奈这件事儿，

对吧？

真挺无，

因为很多事情其实都是 google 开的头。

对，

其实我们甚至可以说大模型这件事情就是基于 google 的工作在做的对呀，

所有的 former 这个东西就是他搞的呀，transformerert 对呀，

还还有语音层面，

好多工作，

然后还有是这方面好的工作，

几乎都是 google 带起来的，

嗯，

甚至包括动态，

然后那个眼镜嗯是吧？google 都是在很多年前就做了，

然后但是 google 确实就面临一种尴尬的状态，

就是它放不出来东西呢，

总是没有办法让大家就是他没有办法落地，

没有办法产品化。

对，

看到的都是我们技术人员会看到的东西，

是吧？

他发个论文做个 demo 哦，

我们就知道了啊，

应该怎么做了。

然后接下来产品呢就没有看到。

对，

其实 googlele 买它都有类似的问题吧。

嗯，

呃我觉得这里就涉及到很多因素吧。

首先 openai 选择在他前一天就发布，

就说明他认为如果 google 给他发布，

就有可能是有威胁的。

嗯，

所以他就提前去 shot 了一下 google，这可能是一种呃小公司的策略略，

对吧？

对，

所以从这个角度，

他体现战争战争的舆论。

另一方面呢，google 呢又是一个大厂，

它没有办法做的非常激进，

嗯，

对吧？

他就像没有办法和 smart。

对，

就像这之前姐妹呢他对吧他做的非常牛，

反而又在舆论上占了劣势。

因为大家会去抠他的一些问题。

对对，

就有点像现在 openai 变成了一个有点像一个大厂，

对吧？

现在它它的 sky 那个音色就会被 challenge。

嗯，

但是如果现在 openai 还是去年的 openai，你会发现没有人 care，对吧？

啊，

有点问题不是很正常吗？

创业公司就应该如此，

对吧？

你是大厂，

你就不应该有那问题。

对，

就是看它公道的频率就知道了，

这是一个创业公司。

对，

是的呀对，

但但从技术上就像您提到他，

可能其实 google 这边是没有真的落后，

或者说至少从规划上没有落后的它的效果上。

第一，

它有语音的识别互动能力，

它有视觉的输入能力。

他知道你说完之后，

快就快速就回复你。

只是可能说延迟这个事情上可能是一个问题吧。

google 没有去那么激进，

但你会发现 google 前几年就把语音助手做到了非常低延迟，

对对吧？

我们显然可以相信 google 是有相关技术相关能力，

把它做到非常激进的啊，

低延迟。

他只是没有办法在这个 release 层面，

我真的去 release 是一个这么激进的 model。

嗯嗯，

所以这里可能是一个大厂的一个困境吧。

对对，

往往我们觉得大厂不能一直的走下去，

永远的领先。

就是因为后面有无数的创业公司，

他用更 smart 的方法去追他嘛。

对，

永远是这样。

其实就像我们 team 吧，

我们创业公司我们就不用 care 太多那种。

对呀，

你看 google 一开始就用一个搜索框，

就把雅虎这种大而全的目录结构就打打败了，

对吧？

然后呢今天呢 openi 又用了几乎同样的策略，

是吧？

对我就用一个对话框，

我又把 google 干的，

就不知道要要往哪去了。

而且 google 这个公司呢，

确实它的产品落地能力会稍微的差一点儿。

因为我觉得这个可能就我自己创业之后，

隐私的感觉是创业者和创产品负责人或者说大厂里面做产品的人吧。

嗯他的思路是不一样的。

创业者是说我核心是把这东西怎么快速推出去，

让大家用起来，

嗯，

快速获得反馈。

对，

而那些大厂里的是我怎么把东西放出去的同时，

且它的这个 credit 要放到我身上，

哎，

然后同时不能带来风险，

否则的话那我的 credit 就变成负数了。

对对对，

所以这里大家的优先级是有区别的。

嗯，

对，

所以可能这也是刚才说的大厂的一个困境吧。

对，

但是创业公司的激进往往也会在一个新的事物期起来的时候，

发生很多负面的东西。

对，

比如说这次的这个语音的这个 her 的这个问题的一个争议哈。

这个呃本鹤就说了啊，

你用了我的语音，

然后呢，

这个当然这里也是有一个螺生门了。

一开始 openai 找到这位演员，

说我想入你声音，

这位演员把他拒绝了是吧？

对，

但是呢发现他出了一个叫 sky 的模型，

然后用的哎好像就是它的音色非常。

然后 aii 这个事儿就是很难实锤，

只能说音色非常像，

是不是？

他怎的不知道，

就问你啊，

这是个问题吧。

就对，

说白了就是知识产权或者负责版权那个问题。

呃，

我之前在研究院的时候呢，

我们也是相关的问题吧。

就是我们把呃那个维生图以及理文本大模型，

还有动态大模型都试了试。

但是我们面临的问题是哎，

我怎么解决版权问题？

对呀，

研究院那边我们就没有办法，

就很激进，

对吧？

我们做法是我们真的去找，

比如那个国家图书馆啊，

各种各样授权。

对，

我们真的需要求授权。

然后我们想办法把自己做的在至少至少不去做明显有侵权版权的问题，

我们至少不会主观的侵权版权。

然后但是你看这个 opi 这个他们去年就开始做语音，

那时候他至少那时候还大家不会认为它是一个大厂，

对吧？

他就可以去做这种相对企外版权的问题。

然后去年或者说在此之前的纹身图，

比如说 merejeni 都都是类似的策略。

mere 监理到今天为止，

他就没有真的去解决版权问题。

没有对，

甚至在 v 六你会发现我是有点好像我我是不是故意侵犯版权了，

我是可以指定一个画家的画风。

对，

就是这是一个我觉得是很有争议的一个问题吧。

嗯，

啊但是从技术角度讲，

如果我们真的去解决版权问题，

那么这个技术无法前进的，

嗯，

对吧？

我如果从研究院角度讲会认为技术就应该我优先解决技术问题，

先解决怎么让大的大家用起来确认这个技术的需求的问题，

对吧？

所以这是从技术往前走。

如果从一个创业者呀或者是一个从呃创作者的角度讲，

我可能会希望他尊重我的版权。

我不管你什么方式，

咱先有一个未未来可能太倾向于我版权的解决方案。

然后咱们有无论是分成啊或者什么逻辑，

对吧？

这可能是一个要提前下的，

所以我觉得两边都要走吧。

尤其国内好像我看嗯至少从政府层面也是比较注重这个制胜权或者是数据安全的这个事情的。

对我觉得这里有很多路要走吧，

也希望呃后面会有一些真的真正意义上能落地的法规吧，

而不是大家猜测怎么样不侵犯版权，

怎么样就侵犯了版权，

这个还挺难搞的。

但是现在有没有一些进展的，