タグ：ローカル推論

Strataの星検：十一万行の自研エンジンと3070の限界

二週間で一万八千スターへ駆け上がったローカル推論エンジンを丸ごと解剖した——十一万行の自研カーネル、干净な安全審査、玩味に値する三つのシグナル。そして利用者の3070 8GB＋32GBメモリへの答えは鋭い——動く、一秒あたり二十五から三十五トークン、本当の痛点は初_tokenの遅延である。