Calvin Cui

从基础架构角度看大模型推理优化

模型侧

• 量化——将以前高bit数存储的数据转为低bit数存储的数据，例如用16bit short代替32bit float
  • 能放下的参数更多
  • 数据传输速度更快
• 稀疏化
  • 在参数矩阵中一些位置挖空置0，从而以稀疏矩阵的形式传输，Nvidia支持满足一定约束的稀疏矩阵计算
• 蒸馏
  • 得到的小模型能够表现出与大模型类似的能力
• KV cache

系统侧

《毛泽东传》主编 逄先知 金冲及 中共中央文献研究室

写在前面的话——兼读后感

打小我对建国后相当一段历史范围的认知是十分有限且模糊的。中学的历史书上大多细致介绍社会主义建设时期三大改造的历程与成就，而对于60年代到70年代的内容则匆匆略过。当时的我并不知道有公开的文献著作可以查阅学习，于是只能以文学作品的只鳞半爪来管中窥豹，尤其是一些八九十年代的“伤痕文学”。

很小的时候看曹文轩写的《红瓦黑瓦》，写油麻地中学的孩子们参加大串联，在接待站的大锅菜里捞肉片，当时神而往之，觉得学生可以不用花钱到处玩实在是太幸福了……后来看王小波的小说，无论是《黄金时代》还是《革命年代的爱情》，觉得那个年代的青年又是不幸的，他们青春中无处发泄的骚动先是被狂热的社会氛围匆匆点燃，然后又在重复的劳作中慢慢熄灭。杨绛写《我们仨》、流沙河写《锯齿啮痕录》、季羡林写《牛棚杂忆》、巴金写《随想录》……

贺品嘉 LOGPAI

日志分析

• 高质量的规范日志——日志记录
  • where to log? 15年工作：将问题限制在try catch块和return value check
  • 挑战
    • 难以很好的完成总体任务，更多工作是聚焦于子任务的解决
    • 粒度不够，业务代码的细节难以被理解
    • 受限于方法本身的约束，假设太强的工作也难以投入实际应用
• 管理和保存大量日志——日志压缩
• 从日志中提取信息——日志解析
  • 解析半结构化的数据
  • 挑战：
    • 难以跨日志系统泛化，利于基于文本生成的方法就要面对不同系统中词语含义不一样的问题
    • 业界的日志比较复杂，多行日志与单行日志混合，现有的工作主要聚焦单行日志
    • 受限于方法本身的约束，例如日志模板是定长的还是变长的
• 利用日志中挖掘的信息——日志挖掘
  • 例如一些机器学习的方法，聚类等等
  • 挑战：
    • 难以挖掘语义，因为日志的上下文丢了
    • 难以适应日志的迭代

近期工作

Large Language Model & High Perforam Calculation

大模型的训练离不开高性能计算

训练过程：先pre-train一个base model，再fine tune一个aligned model，用于inference

训练优化：

An Introduction to LLM-based Multi-Agent System.

Agent：一个综合性系统，能够适应定义好的环境，完成相关的任务

• 组件：profile，memory(长期，短期)，planning，action

Multi-Agent：分割功能，更高内聚=>更高的token效率