第113章_算力方案
第二天一早，沈一鸣就把自己关进了实验室。
昨晚他几乎没睡，整夜都在思考协同推理的具体实现。早上七点，左城到公司的时候，实验室的灯已经亮了。
“一鸣，你这是通宵了？“左城推门进去，看到沈一鸣趴在桌上睡著了。
沈一鸣揉揉眼睛坐起来：“城哥，我想出来了。“
他从桌上拿起一叠手绘的图纸：“你看，这是我设计的分布式边缘ai架构。“
左城接过图纸，仔细看著上面的线条和標註。
“每颗卫星不再运行一个完整的ai模型，而是运行一个精简版的决策代理。“沈一鸣指著图解释，“代理只负责局部决策，通过星间链路与其他代理通信。“
方泽这时候也走了进来，手里端著三杯咖啡。
“我来补充一下硬体层面的思路。“他把咖啡放下，“如果用协同推理的架构，单颗卫星的算力需求可以大幅降低。我们可以考虑用低功耗的嵌入式ai晶片。“
“功耗能压到多少？“左城问。
方泽调出一些测试数据：“我昨晚查了一下，目前行业里最低功耗的嵌入式ai晶片可以做到2瓦左右。如果用三四颗这样的晶片协同，功耗大概在6到8瓦。“
“还是超標。“沈一鸣皱眉，“目標必须压到5瓦以下。“
“与其用多颗低功耗晶片，不如把一个高性能晶片的模型压缩到极致。“左城突然开口。
沈一鸣眼睛一亮：“模型压缩？“
“对。“左城在白板上画了一个示意图，“如果我们能把ai模型的体积压缩到原来的三十分之一，同时保持80%以上的决策准確率，就能在单晶片上运行。“
方泽快速计算著：“寒武纪的mlu270功耗30瓦，如果压缩到三十分之一，理论上功耗可以降到1瓦左右。“
“问题是，我们现在的压缩技术能做到吗？“沈一鸣问。
左城打开系统面板，查看当前的叶片列表。
【科技树叶片】
- 神经网络基础
- 深度学习框架
- 强化学习策略
- 自然语言理解
- 计算机视觉
- 模型压缩优化
- 联邦学习
- 因果推理
- 生成式模型
- 梯度稀疏化压缩
模型压缩优化。
这枚叶片应该有用。
但他不能直接告诉沈一鸣这些。
“一鸣，你觉得我们的压缩技术有提升空间吗？“左城问。
沈一鸣沉吟片刻：“有。但需要新的算法突破。“
“什么样的突破？“
“有一种方向叫知识蒸馏。“沈一鸣在白板上写下这个词，“把大模型的知识蒸馏到小模型里。但知识蒸馏的难点在於，我们没有一个足够强大的教师模型来指导学生模型。“
“为什么？“
“因为天穹卫星的ai调度是一个全新的场景。“沈一鸣解释道，“传统的预训练模型在这个场景上表现不好，我们需要从头训练一个专用的大模型。“
“这需要多少时间？“
沈一鸣估算了一下：“至少两到三个月。“
两到三个月。
而他们只有两周。
“还有一个方向。“方泽突然说。
“边缘计算。“方泽说，“与其在卫星上跑完整的ai模型，不如把一部分计算任务搬到地面站或者中继卫星上。“
“你的意思是？“沈一鸣问。
“云边协同。“方泽在白板上画了一个简单的架构图，“卫星只负责简单的感知和决策，复杂的推理放到地面站或者中继卫星上完成。“
“但这样会增加通信延迟。“沈一鸣提出问题，“对於实时性要求高的场景，延迟可能是致命的。“
“所以要用预测性调度。“左城突然开口。
两人一愣。
“我们的目標不是让卫星实时思考，而是让它提前预判。“左城在白板上画了一条时间线，“比如，星间链路的状態变化是可以预测的。如果卫星能提前几秒钟预判到链路拥塞，就可以提前调整路由，避免问题发生。“
“预测性调度……“沈一鸣喃喃自语，“这需要对卫星网络的动態特性有深入理解。“
“我们不是有联邦学习吗？“左城说，“用联邦学习的方式，让所有卫星共享网络状態信息，然后用ai预测链路变化。“
“城哥，你是说，用联邦学习训练一个预测模型？“
“对。“左城点头，“这个模型不需要在卫星上运行，只需要在地面站训练好后，下发预测参数给各卫星。卫星根据参数做简单计算就行了。“
沈一鸣眼睛一亮。
“这样既保证了预测的准確性，又降低了卫星的算力需求。“方泽兴奋地补充。
“能压缩到多少？“左城问。
沈一鸣估算了一下：“原来需要压缩到三十分之一，现在可能只需要十分之一就够了。准確率可以从70%提升到85%左右。“
85%。
距离90%的目標更近了一步。
“但还不够。“左城摇头，“必须做到95%以上。“
沈一鸣有些为难：“95%的话，单纯的压缩很难做到。除非……“
“除非有新的算法突破。“沈一鸣说，“比如，超参数自动优化。“
超参数自动优化。
这正是他需要的。
“能提升多少？“左城问。
“理论上能提升5到10个百分点。“沈一鸣说。
5到10个百分点。
85%加上10%，就是95%。
左城闭上眼睛，深吸一口气。
他需要这项技术。
科技雷达的冷却还有多久？
他打开系统面板看了一眼：剩余8小时。
8小时后，他就可以扫描沈一鸣，获取超参数自动优化的技术。
“好。“左城睁开眼睛，“就这么定了。“
“定了？“沈一鸣有些意外。
“第一，用联邦学习训练预测模型。第二，把模型压缩到十分之一。第三，用超参数自动优化提升准確率。“
左城在白板上写下三个关键词。
“两周內完成。“
沈一鸣和方泽对视一眼，都看到了彼此眼中的决心。
“没问题。“沈一鸣说，“我这就开始写技术方案。“
“晶片的事交给我。“方泽说，“我去联繫寒武纪，看他们能不能提供一些技术支持。“
三人分头行动，会议室里重新忙碌起来。
左城最后一个离开。他看了一眼系统面板上的倒计时。
8小时。
只需要再等8小时。
昨晚他几乎没睡，整夜都在思考协同推理的具体实现。早上七点，左城到公司的时候，实验室的灯已经亮了。
“一鸣，你这是通宵了？“左城推门进去，看到沈一鸣趴在桌上睡著了。
沈一鸣揉揉眼睛坐起来：“城哥，我想出来了。“
他从桌上拿起一叠手绘的图纸：“你看，这是我设计的分布式边缘ai架构。“
左城接过图纸，仔细看著上面的线条和標註。
“每颗卫星不再运行一个完整的ai模型，而是运行一个精简版的决策代理。“沈一鸣指著图解释，“代理只负责局部决策，通过星间链路与其他代理通信。“
方泽这时候也走了进来，手里端著三杯咖啡。
“我来补充一下硬体层面的思路。“他把咖啡放下，“如果用协同推理的架构，单颗卫星的算力需求可以大幅降低。我们可以考虑用低功耗的嵌入式ai晶片。“
“功耗能压到多少？“左城问。
方泽调出一些测试数据：“我昨晚查了一下，目前行业里最低功耗的嵌入式ai晶片可以做到2瓦左右。如果用三四颗这样的晶片协同，功耗大概在6到8瓦。“
“还是超標。“沈一鸣皱眉，“目標必须压到5瓦以下。“
“与其用多颗低功耗晶片，不如把一个高性能晶片的模型压缩到极致。“左城突然开口。
沈一鸣眼睛一亮：“模型压缩？“
“对。“左城在白板上画了一个示意图，“如果我们能把ai模型的体积压缩到原来的三十分之一，同时保持80%以上的决策准確率，就能在单晶片上运行。“
方泽快速计算著：“寒武纪的mlu270功耗30瓦，如果压缩到三十分之一，理论上功耗可以降到1瓦左右。“
“问题是，我们现在的压缩技术能做到吗？“沈一鸣问。
左城打开系统面板，查看当前的叶片列表。
【科技树叶片】
- 神经网络基础
- 深度学习框架
- 强化学习策略
- 自然语言理解
- 计算机视觉
- 模型压缩优化
- 联邦学习
- 因果推理
- 生成式模型
- 梯度稀疏化压缩
模型压缩优化。
这枚叶片应该有用。
但他不能直接告诉沈一鸣这些。
“一鸣，你觉得我们的压缩技术有提升空间吗？“左城问。
沈一鸣沉吟片刻：“有。但需要新的算法突破。“
“什么样的突破？“
“有一种方向叫知识蒸馏。“沈一鸣在白板上写下这个词，“把大模型的知识蒸馏到小模型里。但知识蒸馏的难点在於，我们没有一个足够强大的教师模型来指导学生模型。“
“为什么？“
“因为天穹卫星的ai调度是一个全新的场景。“沈一鸣解释道，“传统的预训练模型在这个场景上表现不好，我们需要从头训练一个专用的大模型。“
“这需要多少时间？“
沈一鸣估算了一下：“至少两到三个月。“
两到三个月。
而他们只有两周。
“还有一个方向。“方泽突然说。
“边缘计算。“方泽说，“与其在卫星上跑完整的ai模型，不如把一部分计算任务搬到地面站或者中继卫星上。“
“你的意思是？“沈一鸣问。
“云边协同。“方泽在白板上画了一个简单的架构图，“卫星只负责简单的感知和决策，复杂的推理放到地面站或者中继卫星上完成。“
“但这样会增加通信延迟。“沈一鸣提出问题，“对於实时性要求高的场景，延迟可能是致命的。“
“所以要用预测性调度。“左城突然开口。
两人一愣。
“我们的目標不是让卫星实时思考，而是让它提前预判。“左城在白板上画了一条时间线，“比如，星间链路的状態变化是可以预测的。如果卫星能提前几秒钟预判到链路拥塞，就可以提前调整路由，避免问题发生。“
“预测性调度……“沈一鸣喃喃自语，“这需要对卫星网络的动態特性有深入理解。“
“我们不是有联邦学习吗？“左城说，“用联邦学习的方式，让所有卫星共享网络状態信息，然后用ai预测链路变化。“
“城哥，你是说，用联邦学习训练一个预测模型？“
“对。“左城点头，“这个模型不需要在卫星上运行，只需要在地面站训练好后，下发预测参数给各卫星。卫星根据参数做简单计算就行了。“
沈一鸣眼睛一亮。
“这样既保证了预测的准確性，又降低了卫星的算力需求。“方泽兴奋地补充。
“能压缩到多少？“左城问。
沈一鸣估算了一下：“原来需要压缩到三十分之一，现在可能只需要十分之一就够了。准確率可以从70%提升到85%左右。“
85%。
距离90%的目標更近了一步。
“但还不够。“左城摇头，“必须做到95%以上。“
沈一鸣有些为难：“95%的话，单纯的压缩很难做到。除非……“
“除非有新的算法突破。“沈一鸣说，“比如，超参数自动优化。“
超参数自动优化。
这正是他需要的。
“能提升多少？“左城问。
“理论上能提升5到10个百分点。“沈一鸣说。
5到10个百分点。
85%加上10%，就是95%。
左城闭上眼睛，深吸一口气。
他需要这项技术。
科技雷达的冷却还有多久？
他打开系统面板看了一眼：剩余8小时。
8小时后，他就可以扫描沈一鸣，获取超参数自动优化的技术。
“好。“左城睁开眼睛，“就这么定了。“
“定了？“沈一鸣有些意外。
“第一，用联邦学习训练预测模型。第二，把模型压缩到十分之一。第三，用超参数自动优化提升准確率。“
左城在白板上写下三个关键词。
“两周內完成。“
沈一鸣和方泽对视一眼，都看到了彼此眼中的决心。
“没问题。“沈一鸣说，“我这就开始写技术方案。“
“晶片的事交给我。“方泽说，“我去联繫寒武纪，看他们能不能提供一些技术支持。“
三人分头行动，会议室里重新忙碌起来。
左城最后一个离开。他看了一眼系统面板上的倒计时。
8小时。
只需要再等8小时。