载、前向、反向、梯度同步、优化器更新、检查点备份、恢复。

江松然把七个步骤写在白板上，中间没有任何停滞。

他这几年做的全部事情都在这条链上，对这些知识、和实践中可能遇到的问题，全都已经烂熟于心了。

刚才写这个流程图，花时间最多的反而是在心里把这些词的英文都找到中文翻译。

流程图写完，江松然开口道：“虽然三月初只跑推理，但训练才是大头，端到端必须现在就摸清，不然到时候再补就来不及了。咱们现在用的这个「算子打靶法」是对的，但是既然时间紧、任务重，现在这个阶段最重要的是有大局观，从宏观上调节好优先级。”

他边说边用马克笔在白板上点了点：“否则，每个人都在优化自己手里的算子，等到最后拼起来的时候，真正的瓶颈才会显现出来，到那个时候就晚了。”

赵文渊看着白板上的内容，陷入了沉思。

江松然是对的。

迄今为止赵文渊带领团队做的都是基于“点”的工作，一个算子一个算子在推进。

这么做当然是必要的，没有所有的必须的点，是不可能连成线的。

但是系统训练不只需要点，想要连线的时候不出错，那现在就得开始连了。

赵文渊算是见识到江松然的厉害了，入职的第一天上午，连项目进度都没看全，就把现在这个路线最大的隐患指了出来。

赵文渊转过椅子面对江松然，说道：“江博士，你觉得我们现在应该怎么办？”

江松然整理了一下思路，回答道：“第一阶段的目标如果只是跑推理的话，没必要追求n卡80的效率，用不满，优先把必要的算子做完跑通，我刚才看了一下，除了十个已经标绿的，还有二十三个已经过了60的线。”

江松然说到这，低头看了一下屏幕，自己纠正自己道：“二十四个，加起来是三十四个。”

江松然坐回椅子，把椅子往屏幕前挪了挪，开始在表格里圈算子。

“反向、优化器更新、梯度同步，这几类先排后，三月初的推理用不到，等四月调训练的时候再回来做。”

赵文渊点了点头，这几类在表里占了不少，确实都是训练才用得到的，先放一放完全合理。

“再看推理路径。”江松然把光标移到表格的前半段，“矩阵乘、yernor、softax、激活，这几类已经标绿了。注意力相关的算子在哪儿？”

赵文渊往下翻了翻，指了一项：“标准attention，61。fsh-attention那一版还没排上。”

“fsh不用，先用标准的，能跑就行。”江松然说，“kv-cache的读写呢？”

“这里，64。”

“够了。”江松然往后靠了靠，“再加一个采样，一个rsnor。这两个简单，融合不融合都行，先有了再说，我数一下啊。”

他在表里点了点，停在最后。

“差两个。”

赵文渊愣了一下。

他原本打算的是把所有的算子都做到80，卡住的地方直接呼叫随身老爷爷韩路一，按现在的速度可能要做到二月底了，到时候再做端到端。

章节内容不完整，请退出阅读模式查看完整内容！