Open Weights & Local
开放权重、本地部署与成本
把“可下载”“可修改”“可商用”和“可安全运行”逐项拆开。
The Question
模型能在本机运行,是否就意味着免费且隐私安全?
Must Know
必须掌握
- 开放权重不自动等于开源,许可证、训练透明度和再分发权限各自独立。
- 本地运行减少一部分数据外传,但依赖、日志、插件和更新仍可能联网。
- 总成本包括硬件、输入输出、缓存、延迟、维护和人工核验。
Know Enough
应当了解
- 参数量、量化和显存
- 吞吐、首 token 延迟与批处理
- API、托管和本地方案的责任边界
Put It to Work
落实到工作
- 01
先核许可证和数据流,再比较速度。
- 02
用真实输入长度测显存、时间和能耗。
- 03
为联网依赖、日志和更新建立清单。
Common Mistakes
不要这样理解
- 把“开源模型”作为模糊宣传词
- 只比较 token 单价
- 默认本地应用绝不联网
Primary Sources