几千块钱换来的 OpenAI 新功能体验报告

本节目由津津乐道制作播出，

里面有我各位听友大家好啊，

这里是津津乐道与二零一开发者社区联合制作的编码人生的节目。

我这周又又见面了，

这周我们加更一期吧，

也允许我们编码人生追追热点是吧？

呃，

这期我们想聊一聊 openai 刚刚开的这个发布会，

发布的这个新产品和新能力，

就是它不应该叫新产品了，

应该叫新能力。

呃，

今天跟我一起录音的朋友们有很多是吧？

呃，

第一位呢是我们 rte 开发者社区的王尚。

唉，

大家好，

我又来了，

我这是又打酱油嘛。

对，

这次纯打酱油。

因为这个发布会啊，

其实我就没听，

是吧？

今天是来补课的啊，

你今天是来补课的对吧？

哎，

那你今天来找了，

我们有两位听了的，

对吧？

呃，

第一位呢是小白。

大家好，

我是小白，

我是一个最近呃一直在卷 openai 的接口，

然后昨天还被 openai 服务器挂掉，

被迫歇业的工程师。

对，

昨天我也歇业了。

对啊，

还有一位昨天歇业的工程师残月。

大家好啊，

我是产业员。

我昨天在他刚发布的时候，

我用了他的 assistantapi，然后被他一下子卷掉十刀的 ai 刺客。

对，

这个一会儿可以让残月的跟大家多聊一聊。

唉，

那这个 oai 的这个发会，

说实话我也没有特别的真的把视频从头到尾尾看了，

我就看了一些总结。

因为那天那个他的发布会就不跟苹果发布会一样，

他比较早，

所以那天我没熬到点儿，

我就睡着了。

所以第二天我看了一下那个总结，

但是呢你们两个人应该就都看了这个 openai 的发布会啊，

这期节目也跟大家稍微的去聊一聊这个他推的这个新能力。

那小白先讲吧。

这个呃有没有什么印象深刻的呃功能，

让你眼前一亮，

或者是确实是是能够在生产环境当中用起来的东西啊，

呃我觉得两个点让我眼前一亮吧。

第一个点是 assistant 的 api。

因为那个 api 呢其实对于我们日常去写一些功能的时候，

的确会有帮助。

哎，

那你再也前给大家介绍什么是 assistantapi，它是干什么的？openai 其实在过去他们提供的 api，我们总体可以分为三类，

就是文字补全这块就是第一类是标准的 competition，就是你输输入你的 prompt，然后我给你补全去往后贴文字。

嗯，

第二类是在 gpt 四的时候出来的 chat 的 api 应该三点五还是四的。

这个具体我记不清了，

应该是三点五出来的时候就出现 chatapi。

那在 chatapi 时候就把它强行给呃限制在对话这种模式。

嗯，

然后新的 assistantapi，它除了说在对话模式基础上，

它最好的点是它支持了 jasoncall 这种方式。

那对于我们日常应用开发的时候，

其实大家可以更加简单的去完成对接，

可能干掉了很多。

过去我们需要对接 longtime 这样的 sdk 才能够完成的事儿。

因为我理解一下，

它就是它的输出，

可以用 jason 给你去做输出了啊。

对，

不光是 jason 还是它，

你也可以用更简单的方式来去设定它的函数。

嗯，

对，

以前比如说我们自己想要去做，

让呃 openai 去调我们自己的函数。

其实我们是需要用 lunch，我们去封装一个 sdk。

我们要教 ai 说，

你应该在做某事的时候调我的 api。

但是现在呢呃 assessmentapi 你是可以直接去定义你的函数的入参和它的用法的。

在这种情况下，

对于很多开发者来说，

过去他需要接浪颤的，

现在直接裸掉 openai 的接口其实就可以完成了。

这个对于大家来说，

学习门槛是在降低的。

嗯，

对这个事儿是让我觉得比较好玩的。

对，

第二二个点就是他现场发 credit 的那一场了，

就是参会人人均发五百 credit。

对于我们现在就是大家疯狂调 openai 的接口的人来说，

还是一个蛮好玩的一个状态。

而且他是在现场通过调呃 openai 的接口，

然后先去摇了。

好像是当时摇了五个人给他们发 credit，还让 tts 接口把这些人读出来了。

然后最后是说把每一个参会人都送了这个还蛮好玩的。

我觉得可能未来大家自己做一下发布会，

也可以参考这种形态，

去搞一些比较有意思的故事。

对，

他是给到了现场参会的，

还是所有在直播上的现场参会的啊，

在直播多少人？

不因为现在直播的你没有他他的这个人的这个名字和账号，

但是现场的都会有 okok 那其他的功能你还有什么印象深刻的，

或者是给大家介绍一下，

这次都发布了什么新功能吗？

呃，

这次我印象比较深刻的，

包括更长的上下文，

对，

这次上下文达到一百二十八点二二八。

对对对，

这个其实我们在实际做应用的时候，

你会发现说呃 gpt 三点五四他们现在十六 k 大概率是不够的。

就是你一旦做一个比较复杂场景，

这些都是不够的。

这个是对于大家来说是非常重要的。

因为你现在像这一百二十八 k 能完成什么，

之前完成不了的场景，

呃，

其实没有绝对完成不了，

但是它可以让能力变得更强。

比如说举个最简单的例子，

比如说我们在做很多的应用开发的时候，

首先你要做的是把用户的绘画和 ai 的返回拼起来，

对吧？

那这个时候在过去的上下文里面，

你可能比如说我们只能保留十条上下文，

要不然它可能超长了。

但是现在在一百二十八 k 的这个长度下，

基本上呃你可能一百条以内你都随意了，

就直直接拼就好了。

对对这些东西对于大家来说，

可能会减少很多开发的工作量。

过去你要不断的拿数据，

然后把一些老的丢掉，

甚至可能你还要把之前的对话先做一轮 summary，然后再塞过去。

对，

这些是工作，

现在都可以不用做了。

当然如果你钱扛得住的话，

你的确不用做。

就是有一个最简单的例子，

就是比如说我们的博客，

如果你想给我们的这些博客去用 ai 写一个 shownote，你应该怎么干？

就是把我们这一期博客所有的录音的转成文字扔给他，

对吧？

但是在这种情况下，

以前呢我们就没有办法一股脑的扔扔给他。

是因为他的上下文的限制是有长度限制，

最大的就是十六 k。

十六 k 是什么概念呢？

就是你要除二，

再除二点七吧。

如果是中文，

差不多除二点七才是一个真正你才能扔给它的字数，

这是怎么来的？

是因为第一个他有来有回，

你去的时候，

你可能啊扔给他一半儿，

你还得给他回来留空间，

对吧？

你去的时候扔给他一半儿，

然后呢，

他呢那个返回呢，

是按 token 算，

不是按字儿算的那一个中文字儿。

一般来讲，

中位数就就是一个中文字是二点七个 token。

所以在这种情况你还得除以二点七三儿，

你真正要扔给他字数。

所以这样你换来换去，

你扔不了，

给他几个字儿，

然后你就需要怎么办呢？

你要需要分批扔给他，

然后再把它返回的这个摘要再组合起来，

再扔给他，

这样以迭代的形式出一个摘要。

那现在呢就简单多了，

你一股脑扔给他就搞定了，

就是这样不要紧，

不要紧。

嗯，

因为我确实看最近朋友圈反就是说这个新的一百二十八 k 可能能放一本哈利波特。

嗯，

对，

哎，

能放吗？

放得下吗？

哈利波特呃，

他主要不知道哈利波特有多长。

对，

所以所以当时我有点好奇，

我说直接放这么多东西，

是不是有点唉，

应该可以。

我想起来了，sum 在发布会上他说是三百配置的一本一个书啊。

对，

三百页的话，

哈利波特应该给文本，

本应应该是，

但但是全是英文文，

对英英文书可能没给不了，

这么中文，

肯定给不了。

英文应该是能够放某一本，

应该是可以以全集肯定我估计也够呛，

全集就应该选太多了。

对，

全集肯定不止三百页，

而且也没有这种放全集的需求吧。

呃，

可能有我不知道，

嗯，

呃有有这个可能就跟那个残月被消耗掉好几百美金的这件事情有关系，

对吧？

来介绍介绍一下怎么花钱。

对对，

对对对，

昨天我是这样的。

然后其实我没有拿到，

他第一时间拿到那个 chatgbtui 的那个版本那个然后然后它的 api 其实是开放，

就是 assistance 的 api 的 playround，它其实是开放。

嗯，

然后他其实他那个是可以上传文件的，

可以上传，

然后是十个还是二十个，

然后单文件可以到十 g 还是二十级，

这个可能得去查一查。

然后我放上去了一本哈利波特，

没有放着放着放着去了一本呃技术类的三百页的一本英文的一个电子书吧啊你就真的用三百页去试了一下它。

对啊，

是上限吧。

然后放上去之后，

然后他不是要建一个 certainement 一个 robot 嘛。

嗯，

然后放上去之后关联上之后，

我去跟他聊的时候，

他就不响应，

嗯，

不响应有对他不行，

要，

然后不是不是不响应，

然后我多点几下还是不响应啊，

但实际然后后来去社区看，

也有人反馈这个问题。

但是他他说他后来去看了一下余额，

他每次都在扣就扣一刀一刀这么扣。

因为他一百二十八开始创业完嘛，

差不多刚好是一刀多嘛。

嗯，

然后我他马上去看了，

然后发现已经扣了十刀了，

就是你点了时限嘛。

对，

因为他不给你响应嘛，

完全没有响应啊，

就是他没有一个回馈，

说我收到了，

你等着啊。

没有。

对啊，

这就属于哈佛 api 的设计的 bug 了。

对，

但是社区它的 opens 社区里面就有说，

可能就是它的系统可能还不完善，

然后出现了一个 bug。

嗯，

然后是然后他那边有下面的一些使用的使用的人说赶紧去设设置你的最最高月上限，

才能完全让他停下来，

不然是他一直会往下跑。

哦。

对，

比如说你摁了十次，

那他一直是在里面跑，

对他可能有城市什么的。

哦，

那有多少人被坑了？

我看社区里挺多的，

但是最终你试出来这个结果了吗？

没有没啊，

主要主要主要了没有。

对，

主要是试出来了，

我也就不说了啊，

所以他是真的没有想他可能就是出 bug 了，

他可能并没有完善。

对对对，

所以这种场景我都是建了一个非常简单的 assistant，然后先用着先跑一下。

helloworld，我不敢直接上生产代码，

所以这个就比较猛。

对，

这这个就比较猛。

对，

这直接上生产还搞这么大，

这个是有点挑战。

openai 嗯，

我当时了一个蛮简单的，

就跑了一下，

感觉的确要比自己去封装会简单很多。

嗯，

对，

对它主要就是把你的限量数据库这块也给你封装进去了哦，

直接就让你的整个使用成本降低非常多啊，

它限量数据库是怎么封装？

这我还挺好奇的，

它其实它里面有一个附加功能的一个开关，

然后你把它开了之后，

你就取可以可它有一个类似那个对象存储的一个。

你把文件上传上去之后，

然后在这个 robot 里面去关联，

然后你就可以对这些文文文档去进行一个对话。

也就是说 openai 不仅提供了 ai 的能力，

它甚至提供了一些云基础设施的能力。

对，

而且这个啊这个挺可怕的哦，

应该现在是现在应该是限时免费，

应该马上就要收费了。

对，

那他也就是按照这个向量数据存储的空间，

完完全全是对啊他收费的，

他每季，

然后每每一个 robot，然后去每一天去计费。

哎，

这是一个新的思路啊，

你看我们现在的云厂商都在头疼什么事儿啊，

就头疼自己的牟利越来越低的问题嘛，

就是卷的嘛。

嗯，

你看这次那个好多的云服务厂商，

我看有云服务厂商，

一个双十一的时候搞活动，

一个云主机卖到四十多块钱啊，

还一切是能买六年，

哎，

就是这样，

所以他们卷越越来低。

那如果它增加了 ai 的能力，

变成了一个以前我们讲云原生哈，

现在 ai 原生，

那是不是可以提高它的这个毛利率？

慢慢的 onai 又往云服务厂商这一端去解析。

我想应该是必然的对，

嗯，

而且它还有有另一个附加功能，

就是把原来 charredchatgvtui 版本，

它原来是可以有一个沙盒，

然后能让你直接运行运行代码嘛。

嗯，

也把这个能力搬到了 ac 层的 api 里面，

也是作为一个附加功能，

然后可以单独付费。

对，ok 在这个可以跑代码。

对，

你可以跑什么语言代码呢？

呃，

目前我看到应该是 python 嘛，

对，

只有 python，而且它对包各方面有一定的限制啊，ok 对这世界最好的语言还是跑不了是吧？

但他可以他在读取文件的时候，

他可以读 php 然后 java 的这些代码，

然后去可能做分析吧。

嗯，

他可以把 p 二 p 那个重新转写成文字，

我感觉应该我觉得这是可以这这个能力其实是吧？

如果你的上下文，

我现在突然想到，

如果你的上下文如果能做到一百二十八 k 而且返回还 ok 的话，

没有以前那种遗忘的那种现象的话，

那能干的事还蛮多的。

是的，

比如以前我只能让写一个函数，

对吧？

咱就依然常用，

就是你给我写一个什么什么语言的函数，

实现什么功能，

基本上都是这么教的。

现在在是不是就可以让他写一个？

写一项目出来了，

目前看是的，

你就可以把你可能相关的一些代码放上去之后可以补全。

你接下来你想要的这些功能，

你试了吗？

这个还没试，

但是一块钱反而花了，

然后肯定可以，

我感觉是可以。

如果说没有问题的话，

因为以前我们遇到过，

就是那个十六 k 的那个。

对对，

对模型会出现。

你前面说他后面就忘了。

对，

会有这个情况。

但从今天早上，

包括一些社交媒体上反馈看，

一百二十八 k 实际在六十四 k 以上，

它就会有一些损失，

就可能也它也基本上是有这个问题，

对，

还是会有。

但六十四 k 其实已经够大了，

够大，

六十四 k 真的够大。

但是它有一个问题，

就是现在统一的最新的一零六的模型，

它返返回只有四千零九十六 token 的一个大小啊，to 返回 token 有限制。

对对啊哎呦，

我刚才说到这个六十四 k 够大了这件事情，

我就突然脑子里闪过一个念头。

在四十年前，

比尔盖茨说过一句话，

六百四十六六百四十 k 的内存已经足够了，

好像是比尔盖茨说的，

说说的不对，

大家别找我来啊。

我是觉得现在 ai 这能力真是每天都在变。

你看我们最早接触 china 级别 gstwoopenai 的时候，

可能它那个模型能接受的可能是四 k 还是八 k 还二零四八。

我我八零二零四八二零四八是吧？

当时我们已经觉得很惊艳了，

到今天这才短短的一年的时间啊，

一年吧正好是一年的时间，

已经是一百二十八 k 了。

这个呃迭代我可能觉得明年是不是就可以奔着一兆去或者怎么样。

有没有可能就是从 ai 本身的这个原理上来讲，

迭代原理上来讲，

你觉得这种嗯容量的这种嗯上限会不会越来越广？

还是说它由于算力的这个限制，

可能还会局限在某一个阈值上。

我感觉可能还是看这各个对于 ai 训练的这些工程师的一个想法。

可能他们认为就是说因为人的上人的记忆的上限是有限的，

嗯，

对他可能就根本不可能说上造或者上技，

这不可能。

而且对于他的整个工程上去攻克这个难关也是非常困难的。

所以我感觉可能它会停留到一个相对大，

但是合理的一个上下文的一个窗口上。

可能嗯那除了这个一百二十八 k 以外，

还有什么让你印象深刻的能力？

还有一个是就是 gvt 四的视觉这个模型就是在上一个发布会演示的。

就是说他用了一个草稿纸，

嗯，

然后画了一个圆形，

然后然后传给那个 gd 四，

然后让他生成代码，

这个这次就把这个给下放了。

嗯，

对，

然后他官方有一个 cookbook，就是他来做最佳演示的这么一个呃我他自己的官方的一个网站。

然后也发布了一个 demo，就是他通过把一个视频的关键帧抽取出来之后，

传给这个 gbt 四的这个视觉模型之后给他。

然后通过他给他，

让他描述这每一帧都有些什么。

嗯，

然后再用 tts 转成语音，

然后给它配音对配上。

对，

这个我感觉就特别厉害了。

哦，

就是我比如说一个视频，

虽然他现在理解不了视频，

但是我可以把关键帧抽出来，

对它不能完结一一个特别长的视频。

但是你可以把一些关键帧抽出来，

然后它其实是可以上传一批的一个图片的。

他主要是理解图片嘛。

对对，

然后通过这些图片，

然后让 ppt 去对这些图片去进行描述，

然后转成我语音啊，

你试了吗？

怎么样？

还没来？

行，

还行，

我还以为你余额费用，

这个我试了这个还行。

但是他对于比如说嗯 x 光，

嗯，

然后对于英文以外的这些字符，

就如果拿它当 ocr 去用，

他那肯定是不行的对。

而且但是他能理解这个图里有什么对他能理解这里面有字儿，

但是他没法给你解释说这到底是哪个字儿或者具体是什么。

但是描述一个景色，

这个是完全可以是吧？

这是完全可以吧，

里面有几个人或者是对对对，

而且而且他有短板，

就是说他不能精准的定位，

说哪这个人在哪个位置，

这是不可不行。

而且他这个在他的 api 里面其实也都说明了，

而且现在有一些呃怎么说呢？

就公众号可能以这种方式说这个模型不行啊，

那其实就有点儿牵强了哈。

你如果说通过这个来，

因为他已经告诉你了，

这些就是不行。

对对对，

但是这里有一个，

我又有一个问题了，

那你能上传多少个视频呢？

在一个对话里。

哎，

那上上传多少个图片呢？

好像是几十张，

呃，

它每个图片要会有多最大，

要有多大呢大小。

其实它目前来看是它有一个它有一个阶梯型的一个付费，

它有五幺二以下，

它是一个定价是一样的。

然后五幺二以上它是另一个定价，

五幺二 k 对啊，

就是一个图，

五幺二 k 对，

不是五幺二乘五幺的这个尺寸哦，

尺寸费是它是它俩分辨率分辨率了，

对它俩分辨率啊，

就跟你上传多大的图片是没有关系。

对，

字节数是没有关系啊，

他等于看的是这个图有多大。

对，

因为他训练也是按这个呃，

分辨率去。

对对对，

对他推理也是按分辨率推理的吗？

对，

哦，

是这样。

哎，

这个如果我去做一个就是那个抖音上三分钟看完一部电影，

我认为非常合适是吧？

对，

和原来还可能要用人工去剪，

这个估计就人都不用了，

完全是纯流水线环。

对啊，

我就是那个什么小美和小强的故事嘛。

对对对啊，

而且它 tts 又非常逼真啊，

呃那它的银色是怎么来指定的呢？

现在它是通过呃它有它接口是通过一个参数，

它有能应该是五个七种五转六种的一个音色。

你可以选 ok 而且你也可以直接给他传你要的一个速度。

嗯，

就比如说你是一倍速还是一点二倍速，

嗯，

可以最高到四倍倍速。

嗯嗯，

对对，

反正就是固定的七倍数。

对，

现在也你也没法增加，

也不能用我自己的音色训练。

它目前看从官方看，

好像好像目前看应该还没有这个计划。

对，

还有吗？

目前看应该就这些比较印象深刻的对，

然后还有一个就是 gbd 四的最新的，

就是小白也说了，

就是那个杰森总算能固定下来了。

这个真的是对于开发人员来真的是对以前就是怎么告诉他，

以 jason 格式给我这件事情，

就是只要各种魔法，

对，

而且你用的魔法它可能百分之八十有用，

百分之二十没有用。

第二十就是例外，

我就必须是说我从代码里先解析，

而且这次如果报错，

这个就我认为它失败了，

重新你重新回答一遍就再可以了。

等于现在就没有这个问题了。

目前看应该是算比较稳定 ok 嗯嗯，

那作为开发人员在上层做应用来讲就非常好了。

对对对，

而且它的 functioncall 其实它的准确率更高了，

就没有像上一版。

可能你给他几个函数方法，

那可能还会掉错，

或者说他又给你造一个函数出来。

嗯，

这种情况现在也有了，

相当大的改善。

它这个方向扣是我不太理解，

永远没有用过哈。

它是怎么调的？

这个函数你是怎么定义的？

呃，

在你定义 assessment 接口的时候，

你需要有一传一个 function 的参数。

然后这个里面你需要定几个东西。

第一个是说你的这个函数有哪些参数，

第二是你这个函数是干嘛用的那第三是函数名，

这样的话 ai 识别。

比如说你的意图就是要调这个函数的时候，

它就会给你返回这个函数的调用方法，

然后直接调就可以了啊。

那这个函数本身函数体本身就是不需要个人语言写的，

不函数体是你自己写的。

因为你可以理解为是 ai 拿到了你的意图以后，

他会告诉你说你应该调这个函数去执行某些动作啊。

那这些函数是他固定的，

内置函数不是你写的，

你传给他的，

他可以直接调用你的代码，

对他调你的代码。

ok 那这个代码是用什么语言写的，

还是你可以用自然语言写？

呃，

这个是你自己去定义的。

你它因为它的参数比较简单，

就是说你定义函数名，

你的参数和你的用法，

然后它会给你生成一个函数调用代码。

比如说类似于一个 helloworld，然后给你传了 abc 三个 string。

嗯，

然后至于后面是什么，

他不管你可以自己去实现。

ok 那我大概明白了，

就是你在里面在调用它的自然语言模型的时候，

调了一个参数啊，

调了一个函数，

对它给你返回一个函数，

然后你只要把这个函数去这个函数头给执行了就好了。

ok 对，

比如说你自己可能定义了十个函数，

然后你告你把这十个函数告诉他。