返回第二百四十四章 他还没看过图吧?  路大头首页

关灯 护眼     字体:

上一页 目录 下一章

低推理组之间通信延迟,把几个关键节点尽量放在同一个低延迟域里。

但云垠实际交付的时候,却没有完全按照这张图来进行部署。

他们使用了自己内部更标准、更容易维护的方法。

普通的、对通信延迟不敏感的服务器,这种接法完全没问题,属于为了可维护性做的小小牺牲,大家都可以容忍。

但是对大模型的使用场景来说,这一点小延迟就会被放大很多倍。

单点测试当然没问题,整机测试也没问题,因为问题出在服务器间的通信。

江松然的推断其实是对的,再给他一段时间,加上赵文渊的现场排查,他们应该也能查出来。

只是没有韩路一这么快罢了。

赵文渊看着两份图,脸色变得很难看。

他昨晚查了一整夜,什么gpu、驱动、配置、算子、服务、调度,全都查了,结果问题不在他能看到的任何软件层面。

而在机房布线。

还好韩总亲自来了,赵文渊心想。

江松然则在视频那边咽了口口水——韩总他是怎么看出来的?他之前是不是连这个原始的网络拓扑图都没看过?

张彪这边,已经迅速叫现场的运维工程师过来,通过节点间测速确认了问题。

排查完之后,修复起来就容易了。还不到十分钟,刘然就带着两个人跑了过来。

“韩总,韩总!实在是不好意思。”刘然气喘吁吁的说,“不知道你已经到了,不然我肯定全程陪同的。我听说你这边发现了点儿问题?”

张彪上前解释了一下。

刘然的脸色有点儿难看了。

这个事明显是云垠做错了,明明是要讨好的客户,怎么第一件事就没办好。

“韩总,我的。”刘然赶紧说,“我现在就叫人来,加班加点儿给你换好。”

韩路一背后有国网电力投资,这是他巴结都巴结不好的资源。

韩路一对这些表面功夫倒是不在意,他现在只想看修复之后每秒请求数能达到多少。

现在是争分夺秒的时候,只要能做到三十以上,那就是胜利。

刘然带来的人真的是加班加点、全力以赴的在工作,几个小时之后,线按照拓扑图的要求重新接过了。

赵文渊再次运行了压测程序。

每秒请求数缓缓上升。

八。

十六。

二十七。

三十九。

五十一。

最后停在了五十一,离理论极限还差了一点点。

但是理论是理论,实际能做到这个水平,已经可以说相当厉害了。

这就是江松然设计的链路的含金量。

看到这个结果,在场的所有人都松了一口气,包括一直等着看结果的刘然。

韩路一看着机房里亮起来的一排排服务器的指示灯。

汤圆,他制作的第一款大模型,终于在属于自己的集群上运行起来了。

从这一刻开始,他有自己的通用大模型了,从头到尾,视界出品。

『加入书签,方便阅读』

上一页 目录 下一章