当一个 35+ 的硬核技术人决定去卖货

本节目由津津乐道制作播出，

没有？

各位听友大家好，

这里是 rte 开发者社区和津津乐道博客网络联合制作的博客节目编码人生。

哎，

这期节目我们又来了，

今天我们请到了一位最近饱受热议的嘉宾啊。

呃，

我也是从 twitter 上把它挖出来，

然后来跟大家聊天的。

来王勇老师跟大家介绍一下自己吧。

各位听众大家好啊，

我叫王勇啊，

这个在社区里面叫毕称叫懒猫啊。

我自己在 imax 和 linux 社区的已经做了二十多年的这个一些社区啊，

或者开发的一些经验啊，

大家在社区里面应该对我比较了解。

今天也很高兴来到这个朱聪老师的这个播客节目啊啊，

希望有些分享可以帮助大家。

我怎么找到王勇老师的。

其实就是最近他在发的推他说做了一个关于 ai 的边缘计算的服务器，

然后一会可能也请他多介绍介绍啊，

因为我们其实一直在看 ai 边缘计算领域的事情嘛，

包括我们自己也做了一个所谓的 gpuforus 这样一个半死不活的项目。

其实也没有做起来。

对，

但是他提前的把我们的想法，

很多很多的想法都已经提前的实现了。

我觉得做的真是蛮漂亮的。

所以呢在推特上也引起了很多很多同学的关注，

据说现在也卖出了去了很多的产品。

所以我首先想请王勇老师来说说，

你现在做这个事情，

一会儿你可以多说一些以前做的事情啊，

那可以先说说你现在做的事情到底是怎么想的，

为什么要做这个产品？

那这个产品现在又是怎么样一个产品？

因为有很多刚刚打开电梯的同学，

可能不知道你在做什么，

可以不妨跟大家多介绍介绍你现在在做的事情。

好的好的，

我们现在其实做的也是一个叫做面向家庭或者面向小企业，

那个叫 ai 服务器。

说到外壳，

这个花了我很多心血啊，

但是很多人去看的时候会觉得唉，

这是是不是个 lust 啊？

我说这个从我们最开始，

因为这个应用还比较少嘛，

我说你可以认为它是个 ailush。

嗯，

但是呢我觉得从我们的定义啊，

包括我们最开始想法，

其实不是做一个纳 as 因为做纳 as 啊这个世界我觉得太多了，

就不不再缺一个纳 as 其实我们做 ai 服务器的最关键的一个想法。

就是说第一就是我本身是一个自由软件的一个爱好者，

就是铁杆粉丝啊，

私通了老人家的这个忠粉啊，

所以说我一直在做很多产品，

就哎我们做一个什么新的赛道，

然后能给用户带来一些价值。

同时呢在开发领域哈，

能跟这个社会带的一些长期的一些不一样的地方。

所以说我觉得服务器本身就是你那个是非常擅长的地方。

我在想就说能不能把我们的高手啊，

我们的所谓的 idc 机房，

所谓的这个非常厉害的 k 八 s 这些东西啊，

我们把它降维到一个家庭的这里面去。

然后把一个非常专业的服务器啊变成一个傻瓜化的一个服务器啊，

用户可能插个电连个网给个图标就可以了。

啊，

就这就是我们现在做的一些事情啊。

对，

现在你这样的一个产品它都有什么样的功能呢？

能给我们介绍介绍，

因为我今天还看在你在发推，

然后再介绍你最新的功能。

对嗯，

我从两个角度来说吧，

就是说如果从一个卖货的角度对吧，

或者说从对其实我卖卖货嘛，

对吧？

啊，

从卖货角度来说，

就是呃一个非常傻瓜化的服务器，

一个非常傻瓜化的家庭 ai 中心。

其实我们当时想做的，

就是说你插上电插上网啊，

你点个图标就可以了啊。

你不用去担心什么网络穿透啊，

然后这个什么反向代理啊，

你不用担心我什么做什么 docker 呀，

或者做这个什么这个我要去做什么配置啊，

就就是完全不需要啊，

就是你插上电插上网啊，wifi 一连马上就可以一个应用商店给你，

然后用图标就像你桌面图标点开它就用了啊。

他们可能有什么网盘哪相册呀，

然后有什么这个代办清单哪，

然后有什么 gadd 啊，

然后反正基本上是人私有化部署的都是 ok 啊。

这个是从产品卖点来说啊，

然后从技术卖点来说，

其实我们当时因为对力量操作系统非常了解，

所以说很多的高手就说唉我自己可以搭。

但是我觉得我做了二十多年操作系统，

我觉得操作系统最大的意义就是说要给大家带来平台。

就是说当我们过了折腾的年纪以后，

比如说像什么法向代理啊，

什么 vpn 这个加密啊，

包括 htp 的证书啊，

包括说一系列的 docker 的安装啊，

包括说多克尔做进去以后，

比如说我在操作系统级别做这个安全防控或者数据访问控制这些东西。

其实我觉得并没有太多的这个价值。

但是我觉得它是构建我们新一代生产力啊，

就是新一代 ai 应用的技术。

如果这些东西就是说我们不解决的话，

对开开发来就是说我其实买回去，

比如说我可能想造个法拉利，

对吧？

对对对，

就开始把这个轮子造起来以后，

就说哎呀，

我造不动了啊，

我就说比如我自己搭个反向带你这个哎呀，

好好麻烦呢。

对，

因为很多人在加索威，

我去搭一个 homelab，看上去简单哈，

我买一个二手服务器，

然后呃我就干。

但是呢往往就是刚才像你说的什么反向代理啊，

穿透啊，htps 这些东西你如果都弄好。

说实话第一个是你掌握这些事情的门槛比较高。

再有一个你持续维护，

它的门槛儿其实更高。

对，

其实我因为是做了几十年技术，

就是我特别能理解，

而且就是说我们到终点去玩，

那是这样的一个循环，

不是钓鱼吗？

他不是钓鱼，

就是说我其实特别能理解，

大家为什么呢？

因为其实技术人他有一个阶段，

就是说他叫叫做过程价值，

就是对我不管不管这个产品有多多。

好，

比如我像他是苹果做的，google 做的就是我就想从头这个一次我不在乎他的这个结果或者品质，

就是说他就想学习这个原理，

我是我是特别的理，

因为我也是这样成长起来啊。

但是我觉得到一定阶段以后呢，

其实我我们更多的创造力应该于就是唉我们的想法啊，

想法的基础这一块。

比如说你已经打过反向代理，

对吧？

你已经做过 vpn 了，

你已经做过这个 htb 也是证书的，

对不对？

其实有一天唉我们可以在一个开箱即用的情况下去创造一些更完美哈，

就是更有创立的。

比如说像我一个用户啊，

原来是原来我身度一个同事啊，

非常早期的同事啊，

他基本上是一个 linux 高手。

然后这个网络高手啊，

他有一天他说哎他说哥们儿来一台顶配。

哎，

我说你不像我的目标用户啊，

我说你的这种基本上要接受目标，

使用户，

对吧？

对啊，

你知道就好了。

而且我做的东西你都会啊，

他他这样跟我说，

他说他说他说我家里面有很多这种服务器啊，

都还不是那啥。

比如说比如可能直接上四零九零的服务器。

对，

但他说就说哎我折腾是我折腾，

但是呢我想让我老婆，

我小孩儿，

我妈妈对吧？

让他不要折腾。

他说经常我原来他让他让他用我折腾东西，

然后我一折腾的时候，

他们就访问不了了，

然后他们就会 diss 我。

哎，

我说这个其实就是一种新的一种想法。

就是说其实在技术上啊希望能搭一个梯子，

让我们的这个开发者他能在我们的梯子上去创造更多有价值的东西，

而不是像原来输委派也大家说说哎呀这个素质派特别好玩，

然后买回去。

然后从头每个人的过程都是从头搭个软路由啊，

然后最后从这个入门到词汇没错，

因为好多人去折腾这些事情往往会半途而废。

而且就像你说他会把大量的精力放在一些基础设施的搭建上，

但往往有的时候就忘记了那个初心。

其实我是想用这个设备来去做一些有创造力的事情的。

是的，

就是这是从技术上。

我们想去把一些无聊的或者说复杂的东西，

把它这个地址址体地址好好。

然后大家在我们这上，

比如说你在我们上面开发应用，

你不用担心这个网络穿透，

你也不用担心这个证书的下发。

嗯，

你也不用担心说，

比如说我写一个网络应用，

然后这个时候我遇到问题是我要去试标安卓，

我去识别 ios，对我要去识别力量式设备。

麦克其实这个很无聊的工作，

其实我们从这个生态来说，

就是无聊的东西我们来做啊那个这个这种折腾东西我们来做，

然后你们就做什么呢？

就是唉开发者说说今天我们有创造，

然后我就写没有意义性，

甚至我们的数据库都不需要大后端，

你都甚至不用知道勾端和 python，你就知道 n 九克式，

你就写个前端器 s 然后我们把数据库的东西绑住到 gs 这个端的就是你你写完了以后，

你比如点个 cie 六的，

把所有终端全部生成出来，

然后这个时候全部下发到用户这里面去。

然后那个用户就说哇，

我昨天才提的想法，

你今天就实现了。

其实我们想把这种创造力的技术去赋能给开发者。

这就是我们从技术这个层面上，

其实我们想做的事。

那现在你这个产品叫什么懒猫微服，

对吧？

我的昵称叫 mananalazycat，这个有点撒狗粮哈。

就是这个前半部分是我老婆的昵称，

后半部分是我的昵称啊，

所以说这个社区都在一半时期都叫我懒猫。

然后当时我们叫微服叫微信服务器嘛。

嗯啊然后我就觉得其实定义挺好的，

对吧？

懒猫猫在家里面你不出去，

守护你的安全非常之害啊，

以后再见。

对，

非常窄那个服务器。

然后呢，

我还就微信服务器，

唉，

我觉得定位定位挺好。

哎，

但是我这段时间我的这些呃这个粉丝用户啊，

说他说你定的不对。

嗯，

他说我觉得你这个叫懒猫微服，

叫做王勇无微不至的服务。

哎，

我说这我说这个解释也可以啊，

其实我们的售后很强啊，

我们的售后强到什么程？

这个就是说你可以买我东西，

比如你你家有啥问题？

比如今天说唉我这个好像我这个要科学上网的时候，

唉，

我的安卓就跟你们冲突了，vpn 冲突了。

唉，

我说我有一个方法可以嗯双开 vpn 啊，

类似这种方就是我们会跟他聊很多很多奇奇怪怪的事情。

就是说你买我的东西，

我们可以变成朋友，

可以聊天啊，

我们可以做任何理想，

得我破洞的事情。

哎，

那能不能给大家介绍一下，

现在这个服务器上都实现了哪些能力，

搭载了哪些功能呢？

特别是在 ai 这个角度上，

因为很多的开发者现在在尝试用 ai 去做一些开发呀等等这方面的工作，

他们也会在尝试。

但是往往抛给我的问题是，

唉，

那这样一个东西什么东西能够满足我在 ai 时代的一个家庭服务器上的一个需求。

那我看冷漠微服的整个的产品的说明书，

我觉得你是满足这样一个需求。

但是我还是希望从你的嘴里给大家来介绍介绍冷漠微服这样一个设备唉，

解决什么功能，

以及上面搭载了怎样的一些能力呢？

其实刚才我们聊的叫做你那个 x 加网络穿透的一种叫基础设施。

嗯，

在 ai 这一块呢，

其实客观的说我们团队是一个就是操作系统团队嘛，

工程能力非常强啊，

但是我们不是一个就是数学能力很强的团队啊，

不是说我要去建立模型。

但是呢我觉得在未来这个时代，

就是说在端这一块，

就是端侧的这个推理这一块啊，

我觉得是非常大的发展。

因为你想想我们不可能每个人都去一个线上去做，

我们做了几个事情。

就是比如说第一呢就是说我们会把一些 ai 的模型自动打包好啊，

就是你不用说从头去把它构建起来。

啊，

虽然构建起来其实对于这个技术大的用户不是什么难色，

但是其实花很长的时间是。

然后第二就是说我们在大概我们花了三年时间去做这个这个其实最开始做是没有 ai 的啊，

包括到去年年底我们有 ai 但是我们花花 ai 这块一年的我们的实践来看，

其实我觉得很多的东西可以跟大家分享。

第一，

比如说你看现在我们用英特尔聊，

会围绕这个这个框架啊，

有些时候比如像牛市的啊，

像一些这个比如像 ocr 或者其他的，

就它不一定是 gpu 最好，

其实 cpu 就很 ok 的啊。

首先你看现在我们首先在这个硬件这一块，

我们是 cpu 加 gpu 加 npu 啊，npu 就不管是这个像英特尔 npu，还是说像英美达的这种就这个 test 的 call 啊，

就是说我们其实来说可以动态的去调回他的能力。

比如说这个时候当我的这个 npu 或 gpu 不够的时候，

其实 cpu 是可以上的。

为什么？

因为你想想你上一个英特尔的，

比如十一十二十三代芯片，

嗯嗯，

它平常根本就用不满，

你为什么不用它啊？

所以说其实第一来说，

我们的这个调度来说是会根据当前的负载的调度。

第二就是说比如说打个比方，

比如说有些接这个 ocr 的这个识别或像语音的识别哈，

其他可能像语音识别。

比如说他可能会做这个语音识别，

然后他会做这个顿号停顿的识别，

然后他会做这个上下文的纠错啊，

嗯对吧？

就这些情况，

但是就是首先我们会量化它。

因为有些时候其实你不需要浮点数的。

就推理的话就是有时候可能在某些场景是不需要浮点这种设计。

举个例子啊，

比如说我们用开源的一个这个语音转文本，

对不对？

如果你做一个像今天我们朱老师的一个语音会议，

对吧？

他肯定需要很长的上下文去纠正一些我们同音的一些字。

对，

但是比如像我们的我们的 ai 智慧电视上屏上，

就是比如说我就想唉我看到一个什么，

比如网音乐有一个播放对吧？

或者有一个专业名称，

其实他可能就只有四五个字。

其实你完全不需要去做这些浮点数，

或者说这个前后上下文的这一组。

那么这个时候我们的工程实践，

就是说如果我们把一些非常强的模型的一些，

比如说浮点数量量化一下。

然后第二是把它一些地方裁剪完以后，

其实它效果是非常非常好的。

其实有的时候有一些错别字，

人脑就可以纠错儿。

你并不需要说这么大的计算能力去解决这百分之一的问题。

是的，

所以说我们在端测这一块做，

因为现在我们去上。

比如说我举个例子啊，

比如说我们在推上发他们，

就是哇他说你这个芯因为这个芯片也一般嘛，

对不对？

他说你这个做的其实没什么感觉，

但是我其实想分享两个东西。

第一就是说在端测上当，

你做量化去做场景，

就是把人工智能啊就是有些人眼可以看到的地方，

或者说这个做半自动化的东西其实效果很好。

但你要做全自动化呢，

我觉得 ai 现在还有很多的这个缺陷啊，

是。

然后第二就是说是比如说像我们的 ai 相册，

其实我们 ai 相册用的一些一个非常小的一个模型啊。

就是其实你要它实时计算，

比如说我两万张照片，

那不可能的啊。

因为现在算利达不到。

但是其实我们做这个很取巧的方式，

就是我们一回去三张照片。

然后这个时候我们在半夜啊，

大概两万张照片五个小时，

你睡一晚上，

我就把你所有的向量全部算完了。

算完以后，

这个时候我第二天你起来了。

因为你的每一张照片的向量已经算好以后呢，

我只用把你输入的文字的向量和这个语言当时训练的这个效应做对比其实就比较开了。

其实我觉得在推理这段，

其实可以即使不用这么好的 ai 芯片哈，

也可以实现非常好的效果。

这是我们的一年多的这个实践啊，

当然我们也会上一些，

比如像真正的算力中心，

比如像这个英伟达 justine 啊，

对吧？

比如他可能有这个二百七十五 t 算力，

我们也会做这些产品啊。

对，

因为我看到你对外的产品的说明书上写的也是这种英特尔的芯片。

当时我其实也愣了一下，

哎，

他怎么会用这么样一个芯片呢？

难道不是应该至少上一个英伟达的对吧？

哪怕是低一些的这个架构，

比如比如说特斯拉架构的这些东西，

对吧？

最起码能解决一些最基本的问题。

那我没有想到你用的是英特尔的这样一个方案。

因为我们最开始在公司内部做了英特尔，

也做了 amd 也做了这个呃英美达的啊 md 这个叫 sdna。

然后英美达有这个就不用说了，

就很扩大了啊。

嗯，

但是我们发现其实就是因为我们做市场产品，

它要有一个价格的是动比。

比如说英美达的杰士的这个嵌入式这个 ai 的话，

比如四十 t 可能要可能你售价可能要四五千。

对，

因为如果是二百七十五 t 最少要一万五以上嘛。

啊，

就说当时我们内内部策略以后发现就是说呃我们虽然要去做 ai，但就是说你比如说有十个场景，

但是我觉得有些场景，

比如刚才我们说的语音识别，

对吧？

包括说这个图像的一些限量处理，

它其实不需要这么强的 ai 的那这个时候其实我们可以推一个比如折中的，

像英特尔 openda 这种架，

这个架构就让用户先用到一部分 ai 能力，

对吧？

就比如像大家都有图片，

对不对？

然后用到 ai 能力以后，

他能够落落地，

他就说唉好像你有更好的设备，

那我可以买。

但是如果说我们一开始我们其实可以做，

就说比如直接上英伟达。

首先英伟达一个显卡，

最差的先增加三千块钱成本。

对，

这样的话就会导致一些。

我其实就想尝试一下的这一些这些用户可能会导你公司这样的话太高了，

太高太高了。

对，

所以说为什么当时我们内部做完以后，

就说我们当时说唉，

我们一定要把英伟达这个设备哈，

就是把它再再抛开。

如果说用户说唉，

好像你们好像这个英特尔这个芯片效果也不错，

那我再去用你们呃英伟达的，

像比如周边的产品，

它效果就更好。

啊，

所以说我们其实当时呃在推出英，

这就是我综合考虑这个情况。

而且从我来感觉就是在推理这个端。

其实如果你不要实时，

其实效果很好。

比如我再举个例子，

比如说大家说翻译对吧？

比如说跑个八 b 跑个十三对，

对不对？

其实效果很好，

你跑西式比较效果更好。

就发现一个问题是什么呢？

就是说你如果你当你要说说现在我做做老师实时翻译更多问题，

但是你说比如今天就翻一本图书，

对不对？

你就让慢慢慢翻译嘛，

对不对，

对吧？

你没有翻译的时候，

你也不看看对，

都可以等嘛。

是的，

我觉得其实大多数在终端的场景，

其实可以等的当。

你说今天说比如说唉客户说你一定要给我 ppt 啊，

这个 ppt 文章一定要很高高大高高大上，

对吧？

可能要半个小时出来，

那我觉得终端做不到啊，

我觉得现在那可能还有很永远都比不上这个在线。

但你说我觉得今天想看一本英文书，

对吧？

我就想看看他总结，

我就想看一下，

你让他翻译两遍翻译三遍。

因为你没有做这件事情之前，

他还不是在你的这个吃饭，

连饭都看不懂，

对吧？

但是你说你做完了两三天一样的嘛，

其实我觉得有时候可以拿这个时间去换。

他们体验的最关键的是，

这台机器是私，

有的是完全属于你的，

你完全可以自由的调度，

他在晚上去帮你做一些事情。

而且呢它的成本除了电费以外，

其实是一个固定投入。

反正你买来就要用，

对吧？

所以在这种情况下，

其实为什么我特别看重端侧的这个算力的这个发展，

也是在这一点上。

虽然呢今天不想提的 as 啊，

我我觉得将来家里的 nas 可能慢慢的都会变成一个所谓的 ai 加 nas 这样这样的一个东西。

也就是它会在端侧提供了一个 ai 的边缘计算能力。

这样的话其实是能够帮助用户在一些闲时来解决一些很多的 ai 能力。

比如说像刚才你说的整理相色，

这其实是一个非常纲的序。

我相信你做的时候也做过调研，

这是一个非常刚的局。

现在我就一直在苦于这个问题，

再有一个就像你说的翻译啊等等，

他对实质性要求没有这么高的。

我睡前把这 pdf 我扔给他，

然后我第二天早上醒来，

我来看呃，

这又能怎么样呢？

其其实足够了。

对呀，

就是比如说我们我还可以提前爆料。

比如说我们做了一个纤维度度器，

因为我本身就是抑郁喳喳，

就是我特别喜欢看国外的一些大脑显示技术。

但是有时候就有时候我看不懂，

你知道吧？

就是我大概看过认些，

但是我看不遍，

能够看懂字面的意思。

有的时候自己去理解这件事情可能也是比较困难。

如果翻成翻译成我们原声的语言可能看起来会更快。

啊，

你比如说我们内部啊，

就是跟跟田婷朱老师包含下，

就是比如说我们正在做一个翻译的项目。

就是说比如我订阅就好，

就是你先像比如我们订阅一些新闻，

对不对？

其实你也不是实时看，

对不对？

我订阅完了，

你晚上睡觉，

我就把它变成就就像现在那沉沉式翻译，

比如说一段英文一段中文，

一段嗯一段中文，

我觉得这特别好，

为什么呢？

因为我觉得有时候看一些外文呢，

其实大多数情况啊，

百分之九十九我觉得都没有什么营养。

但是呢我们确实要花百分之百的精力先把它翻译出来。

然后当你有这个差别就是很好，

就是我先看看它，

我没有快，

我没有办法快速预览，

因为毕竟母语不是这个。

对，

其实我是这样的，

我觉得当你其实我们在就是我们也比如说回归信息服务器或者那产品，

我觉得它有两个好处。

第一就是什么利用你睡觉的时间，

它可以帮你去做很多事情。

第二就是说你看比如说我们如果有 ai 手机，ai 笔记本，

但它有一个问题是什么？

就是说我们现在今天已经变成一个赛博人，

对吧？

我们每个人都有手机电脑，

对吧？

然后 kindle，然后这个 vir 但有个问题是什么？

第一第一是是大家不同的操作系统，

然后不同的这个升级，

对吧？

但是你如果你有一台自己的服务器，

这样有什么好处呢？

他做的所有翻译就是马上可以给你赋能到你的终端。

那这就很好啊，

就比如说我现在做 ai 相册，

比如说我我老妈的这个这个这个手机就就就很差，

大家都会跟父母买一个比较差的手机啊，

对吧？

然后这个时候就是他其实没有验过，

但他就说哎好像要我找我的孙女的照片，

那就很方便了啊。

就我觉得这其实就是一些我觉得普通人可能更在乎的一些价值啊，

而且最近有一个概念就是端和云的结合嘛。

我不知道在这一块上你有没有去做一些工作。

比如说有一些实在是在我要求实施性或者要求我做的更好的一些任务，

要不要扔给在云端的 api 来完成呢？

我们是这样的，

就是因为呃我们其实当年三年前做这个 ai 服务器的时候，

其实那时候其实就想做服务器嘛，

但也有 ai 的想法。

但是那个时候我觉得大家都知道 ai 能力其实很差啊。

所以说在我们其实工程的话，

我们实际上但是我觉得第一就是说我们本身来说，

我们会尽一切可能让用户去跑本地模型。

因为本地模型型，

我我我们端端的时候，

我觉得大多数的这个应用场景不太需要实施。

除非是你大模型文档，

对吧？

除非你就是现在我就需要结果啊，

大多是不需要的。

但是来说我们其实也非常清晰的认识。

在现在这个技就如果是比如说你手机可以做的，

或者说你的服务器可以做。

那些互联网大厂的这个，

比如 idc 机房，

它肯定会做的更好。

对，

所以我们比如说像像我们有网盘，

我们也会提供一个菜单。

就是说比如说你今天说比如今天一个表格，

我就想算一下它到底是这个季度的这个这个销量怎么样，

对吧？

或者我就想算一下这个这个书图书能不能值得看，

对吧？

他就我就想现在知道的时候，

我们其实也会提提供一个在线的财产。

比如说可以对接，

比如说对接这个国内的 kimi 啊，

或者对接这个嗯啊国外的 poe 啊，

就我们有。

对，

但但是我们会告诉你就是唉，

当你就是说我们特别在乎那隐私，

但是当你去选择就是我这个时候我就想吃饭呢，

我就想快速知道结果的时候呢，

是啊你稍微注意一下这个文档，

我们会发给合作伙伴，

发发运营商，

你决定一下啊，

这个时候是要效率还是要隐私？

其实我们是想给用户一个选择性的。

因为我觉得呃我们虽然说这个安全，

但是我觉得安全和开放是一样，

就像我们中国发展经济一样，