端侧模型跑起来之后,服务器的角色变了
当一部分推理直接在手机和电脑上完成,后台承担的工作从算得更多,变成了管得更细:分发、校验、回收与兜底。
算力往边上挪
端侧芯片这两年在能效上进步明显,一些中等规模的模型已经能在本地完成推理,响应更快,也不必把数据传出去。
这改变的不只是速度。数据不出设备,隐私与合规的压力同时下降了一截。
后台开始管分发
模型要按设备能力分成不同版本,后台负责判断哪台设备该拿哪一版,还要处理增量更新与回滚。
这更像软件分发系统而不是计算中心。版本清单、灰度比例、失败回退,成了主要工作。
校验放在哪一层
端侧输出无人复核,质量把关就要前移。常见做法是在本地加一层规则校验,把明显不合规的结果拦在展示之前。
规则本身也要能更新,否则新出现的问题只能等下一次整包发版才能处理。
兜底仍然在云上
设备性能不足、模型版本不支持或者本地算力被占用时,请求会回落到云端。这条路径必须一直可用。
兜底链路平时流量很低,容易被忽视,真正用到时才发现容量和限流都没配好。
成本结构变了
推理从集中转向分散之后,云端的带宽与算力账单下降,取而代之的是分发、监控与设备适配的投入。
这笔账要整体算。只看单次推理成本会得出错误结论,维护与迭代的长期投入同样要计入。
本文由考腾资讯网编辑部整理撰写,观点仅供参考;转载请注明来源与链接。