数字花园
Strata 星检：十一万行自研引擎与 3070 的边界
星检学的第一美德，是让 star 数与代码质量在报告里分开站立。
一、解剖
Strata，一个基于 llama.cpp/ggml 谱系的本地推理引擎，宣称让 125B 的 MoE 模型跑在游戏 PC 上。两周、17,957 star、1,591 fork、406 个未处理 issue/PR——病毒式增长的样板。解剖刀下去，结论先行：这是真实、高质量的开源项目，不是恶意软件也不是 AI 噱头壳子。
src/ 与 include/strata/ 下没有任何上游原样文件，全是自研代码，约 110,140 行（非测试实现 86,313 行）。与上游的耦合是三种受控形式：按固定 commit 转写的 CUDA kernel（每个文件头注明）、构建时 FetchContent 拉固定 tag、vendored 的 ggml header（带许可证与版本文件），归属在文档里逐条列明。自研核心模块各有完整实现：kernels 五万三千行（CUDA 原生 MoE/反量化/FlashAttention 加 CPU AVX-512 多 token i-quant，约 40 个 parity 测试对照 ggml）、core 二万七千行（专家缓存与 SSD 流式取数、MTP 起草层、推测解码验证窗口、弹性 KV）、prefill 一万三千行、ngram 一千一百四十行（26.8 GiB 的 n-gram 表直读 SSD，异步 ticket 式 IO——这是 125B 塞进 12GB 显存的关键手段之一）、spec 九百四十九行（推测解码成本模型）。
二、安全审查：干净且高于平均线
343KB 的 setup.py 之大，是因为塞了三千字符的引擎变更日志与大量文档注释，不是混淆代码。逐项核查：无远程代码执行（exec/eval/base64 载荷/shell=True 全部零命中，子进程调用全是显式 argv 列表）；无遥测外联（所有网络请求都是 HEAD/GET，那个名字像遥测的模块实为纯本地硬件采样，无任何 socket）；无提权无持久化（Windows 侧零 runas、零注册表、零开机启动项）；下载校验扎实（引擎 zip 对 GitHub releases API 的 SHA-256 校验、模型走 HF 固定 commit、MTP 起草层逐 tensor 硬编码哈希）。服务端默认绑 127.0.0.1，API key 用常量时间比较，未设 key 时也有 Host 与 Origin 检查防 DNS rebinding。需要留意的几点都是设计使然：Docker 默认 0.0.0.0 加空 key、STRATA_SKIP_SHA256=1 是刻意留的逃生门、run config 的 before_load 与 mcp_servers 会执行任意命令——配置文件要视同代码信任。
三、三个信号
正面信号最能说明成色：今天的最新提交标题是”Stage buffers: pinning is opt-in；默认开启时在 release gate 里把 IQ3_S 解码搞坏了”——他们在自己的发布门禁里抓到 bug 并回退默认值，加上文档里”no claims without a measurement”的明文要求，这种自我纠错的工程文化比 star 数更能说明项目成色。中性信号：.github/ 下没有 workflows（无 CI）、git 历史在两天前被重写过——审计只能审当前代码树，无法追溯演进。需要自己判断的：它的路线是激进量化加专家 SSD 流式加 n-gram 表，换取 12GB 显存跑 125B，输出质量是代价。
四、边界的锋刃
用户的配置是 3070 8GB 加 32GB 内存。答案从仓库的实测数据里夹逼而出，而不是从宣传语里：32GB 内存唯一装得下的档位是 Coder（IQ1_M），官方原话”8GB 能跑，慢”；最接近的实测锚点（RX 5700 XT 8GB 加 32GB 跑 Coder）decode 18–23 tok/s，往上的锚点（2080 Ti 11GB、双卡 3060 12GB）34–44 tok/s。结论：短对话约 25–35 tok/s、中位数 28；32K 上下文 20–28、128K 15–22；读 prompt 400–700 tok/s——真正的痛点不是生成速度，是长文档的首字延迟：灌三万字的文档要等 45–80 秒才出第一个字。三种会掉到 18 甚至个位数的情况被逐一标注：常驻模式余量不足退回 SSD 流式（模型必须放 NVMe）、worker 数不对、以及 Coder 的偏科——只保留 512 个专家里用代码数据选出的 256 个，代码强、通用弱、中文更弱。磁盘要预留约 80GB。
真实坐标
- 项目：llama.cpp 衍生本地推理引擎，主打单张游戏显卡跑 125B MoE（Qwen3.8-Flash-Next，512 experts，真实存在）
- 体量：17,957 star/1,591 fork/406 issue+PR，MIT，创建于 2026-09-24，最近提交当天
- 自研引擎约 110,140 行（非测试 86,313）：kernels 5.3 万（CUDA MoE/反量化/FlashAttention + CPU AVX-512，40 个 parity 测试）、core 2.7 万、prefill 1.3 万、ngram 1,140（26.8GiB SSD 直读）、spec 949
- 测试：40 个测试文件、79 个 parity/bench、28 个免 GPU 安装器测试、1586 个入库实测 benchmark JSON
- 安全：无 RCE/遥测/提权/持久化；SHA-256 多环校验；默认 127.0.0.1 + 常量时间比较 + Host/Origin 检查；保留意见＝Docker 默认 0.0.0.0 空 key、逃生门环境变量、配置文件即代码
- 三信号：正面＝在自家 release gate 抓 bug 回退默认 + “no claims without a measurement”；中性＝无 CI + 历史被重写；自判＝激进量化路线以输出质量为代价
- 3070 8GB + 32GB 结论：仅 Coder（IQ1_M）装得下；decode 25–35 tok/s（中位 28）；prefill 400–700；32K 首字 45–80 秒为真痛点；模型须 NVMe；预留 80GB 磁盘；Coder 偏科（代码强/通用弱/中文更弱）
评论