デジタルガーデン

Strataの星検:十一万行の自研エンジンと3070の限界

2026-10-08 · 約 9 分 · Strata · ローカル推論 · 安全審査 · 3070

星検学の第一の美徳は、スター数とコードの質を報告の中で別々に立たせることである。

一、解剖

Strata、llama.cpp/ggmlの血統を引くローカル推論エンジンで、125BのMoEモデルをゲーミングPCで動かすと称する。二週間、17,957スター、1,591フォーク、406件の未処理issue/PR——ウイルス的成長の見本である。解剖刀が入り、結論が先に出た——これは本物の、高品質なオープンソースプロジェクトであり、マルウェアでもAIの掂格壳包装でもない。

src/とinclude/strata/の下には上流のファイルが一行もそのままなく、すべて自研のコード、約110,140行(非テスト実装86,313行)。上流との結合は三つの制御された形を取る——固定commitで転写したCUDAカーネル(各ファイル頭に明記)、ビルド時にFetchContentで固定tagを引く、vendoredされたggmlヘッダ(ライセンスとバージョンファイル付き)、帰属は文書に一条ずつ列挙されている。自研の核心モジュールにはそれぞれ完全な実装がある。kernels五万三千行(CUDAネイティブのMoE/反量化/FlashAttention+CPU AVX-512の多token i-quant、約四十個のparityテストがggmlに対照)、core二万七千行(専門家キャッシュとSSDストリーミング読み出し、MTPドラフト層、投機的解号の検証窓、弾性KV)、prefill一万三千行、ngram千一百四十行(26.8GiBのn-gram表をSSDから直読、非同期ticket式IO——これは125Bを12GBのVRAMに押し込む鍵となる手段の一つである)、spec九百四十九行(投機的解号のコストモデル)。

二、安全審査:干净であり、平均線を上回る

343KBのsetup.pyが大きいのは、三千文字のエンジン変更ログと大量の文書注釈が入っているからで、難読化コードではない。項目ごとの照合の結果——遠隔コード実行なし(exec/eval/base64ペイロード/shell=Trueは全部ゼロ命中、サブプロセス呼び出しはすべて明示的なargvリスト)。テレメトリの外联なし(すべてのネットワークリクエストはHEAD/GET。テレメトリめいた名前のモジュールは実は純粋なローカルハードウェア・サンプリングで、ソケットは一つもない)。権限昇格も持続化もなし(Windows側はrunasゼロ・レジストリ書き込みゼロ・起動項目ゼロ)。ダウンロードの校験は扎实している(エンジンzipはGitHub releases APIのSHA-256を照合、モデルはHFの固定commit、MTPドラフト層はtensorごとのハードコードハッシュ)。サーバーは既定で127.0.0.1に bind し、API keyは定数時間比較を用い、key未設定時もHostとOriginの検査でDNS rebindingを防ぐ。留意すべき点はすべて設計上そうである——Dockerは既定で0.0.0.0+空key、STRATA_SKIP_SHA256=1は意図的に残された校験の逃生門、run configのbefore_loadとmcp_serversは任意のコマンドを実行する——設定ファイルはコードとして信用せねばならない。

三、三つのシグナル

正のシグナルが最もその成色を物語る——本日の最新コミットの標題は「Stage buffers: pinning is opt-in;既定で有効にするとrelease gateの中でIQ3_Sの復号を壊した」——彼らは自分たちのリリース門関の中でbugを捕らえ、既定値を戻したのである。文書にある「no claims without a measurement」の明文化された要求と合わせ、この自己訂正の工学文化は、スター数よりも遥かにプロジェクトの成色を説明する。中性のシグナル——.github/の下にワークフローがない(CIなし)、gitの履歴は二日前に書き換えられた——監査できるのは現在のコード木のみで、変遷を遡れない。自分で判断すべき点——その路線は積極的な量化+専門家のSSDストリーミング+n-gram表で、12GBのVRAMで125Bを動かす引き換えに、出力の質が代価である。

四、限界の刃

利用者の構成は3070 8GB+メモリ32GBである。答えは仓库の実測データから挟み撃ちにされ、宣伝文句からではない——32GBで唯一入るのはCoder(IQ1_M)の档位のみで、公式の言い回しは「8GBは動く、遅い」。最も近い実測の锚(RX 5700 XT 8GB+32GBでCoder)はdecode 18–23 tok/s、上の锚(2080 Ti 11GB、デュアル3060 12GB)は34–44 tok/s。結論——短い対話は約二十五から三十五 tok/s、中央値二十八。32Kの文脈では二十から二十八、128Kでは十五から二十二。promptの読み取りは四百から七百 tok/s——本当の痛点は生成速度ではなく、長い文書の初tokenの遅延である——三万字を注ぎ込むと最初の一文字まで四十五から八十秒待つ。十八 tok/sさらには一桁に落ちる三つの状況が一つずつ標記された——常駐モードの余裕不足でSSDストリーミングに退く(モデルはNVMeになければならない)、worker数が正しくない、そしてCoderの偏り——五百十二の専門家のうち、コードデータで選ばれた二百五十六だけを保持し、コードに強く、汎用に弱く、中文はさらに弱い。ディスクは約80GBを予約すべきである。

真実の座標

コメント

← デジタルガーデン