Open Weights & Local

开放权重、本地部署与成本

把“可下载”“可修改”“可商用”和“可安全运行”逐项拆开。

The Question

模型能在本机运行,是否就意味着免费且隐私安全?

Must Know

必须掌握

  1. 开放权重不自动等于开源,许可证、训练透明度和再分发权限各自独立。
  2. 本地运行减少一部分数据外传,但依赖、日志、插件和更新仍可能联网。
  3. 总成本包括硬件、输入输出、缓存、延迟、维护和人工核验。

Know Enough

应当了解

  • 参数量、量化和显存
  • 吞吐、首 token 延迟与批处理
  • API、托管和本地方案的责任边界

Put It to Work

落实到工作

  1. 01

    先核许可证和数据流,再比较速度。

  2. 02

    用真实输入长度测显存、时间和能耗。

  3. 03

    为联网依赖、日志和更新建立清单。

Common Mistakes

不要这样理解

  • 把“开源模型”作为模糊宣传词
  • 只比较 token 单价
  • 默认本地应用绝不联网

Primary Sources

继续阅读

  1. 01Meta Llama Get Started
  2. 02Qwen Model Studio
  3. 03NIST AI RMF