专访端侧 AI 创业者：大模型跑进手机的真实瓶颈
"端侧大模型"是这两年最热的概念之一，但落地却比发布会慢。我们对话了一位做端侧 AI 应用的创业者。
瓶颈不在模型大小
"大家老盯着几 B 参数，其实推理时数据在内存和算力单元间频繁搬运，带宽不够就卡。"他解释，手机 NPU 算力够，但内存带宽与能效才是天花板，"模型小一圈，体验未必好一截"。
续航是隐形红线
持续本地推理对电池压力明显，尤其夏天。"我们做的第一件事是限频与任务分级——能云端的不占端，端上只留隐私敏感、要离线的。"他说混合部署是近期唯一现实路径。
真正的价值是"常驻"
他认为端侧的意义不在替代云端，而在常驻与隐私：相册本地检索、离线语音、输入法联想，这些高频小任务不放云端才安心。"等带宽与能效再跳一档，体验会质变，但不是靠堆参数。"
- 问：端侧大模型最大的瓶颈是参数规模吗？
- 答：不是。瓶颈在内存带宽与功耗：模型再小，推理也要频繁搬数据，带宽不够就卡；持续推理又吃电。参数规模只是表象，带宽与能效才是真门槛。
- 问：端侧和云端模型怎么分工？
- 答：端侧做常驻、隐私、低延迟的小任务（输入法联想、相册检索、离线助手），云端做复杂推理与联网。混合部署才是近期主流，而非"端侧替代云端"。
