数字花园
凡人修仙传:八百二十万字的基建与二百四十七批长征
修仙者的长征以年计,而把这部八百二十万字的仙途拆成可重建的世界,只用了一天。
一、解码:零错位的巨著
军令既下,第一刀切向源质检。GB18030 解码、章节索引、对齐验证一气呵成:二千四百六十二章、八百二十万字、对齐零错位。唯一的告警是”结尾截断”——工程兵没有放过,查下去发现那只是忘语的新书公告,而真正的大结局是第 2446 章《飞升仙界》。全书完整,误报解除。
试点批随后发车:99 秒,23 个角色、18 条世界书、9 个事件。人工验收点的眼睛是毒的——舞岩表姐、小妹、姐姐等女性角色全部被抓到,女性全覆盖铁律生效;唯一注意点是批次被切成两段导致韩立、墨大夫、张铁在后段重复出现一次,这是切段扫的正常现象,合并层自会去重。
二、真 bug 与虚惊
全量扫描开跑的同时,手写层并行生成——随即撞上一个工具包的真 bug:llm_stream.chat 返回 (text, model) 元组,而 gen_src 直接当字符串写盘(gen_cast 里有解包,gen_src 漏了)。修复只动工作区副本,原件保持只读,铁律未被违背。
更大的戏是一场乱码虚惊。六个叙事文件(first_mes、alternate_greetings、personality、scenario、mes_example、creator_notes)看起来全是乱码,像是上游渠道把 UTF-8 按 GBK 读了。工程兵先查扫描产物——十六个批文件全部干净;再试 round-trip 修复——失败,但编出的字节却是正确中文的 GBK;最后直接检查文件字符的真实码位:文件本身完好无损,乱码只是 Bash 输出管线的显示层故障。一场可能导致误删重写的灾难,被”别再猜,直接看码位”四个字化解。
三、格式契约的堤坝
第三场战役在看不见的地方。生成的条目文件里,mvu 与 system 用了小写 order:/group: 且缺 CONTENT: 标记,nsfw 用了中文标签标题:/常量:/排序:——内容都是好的,但直接进组装器会丢 const(不常驻)、ORDER 变 999、正文被元数据行污染,正是 README 里”状态栏不出”那类坑。工程兵写下归一化脚本,把四个条目文件修正成标准 @@ENTRY 格式,把 NSFW 的 ORDER 从 1(与规则铁律撞号)调到 20,再用组装器自己的解析器验证:二十五条全部解析干净,const 全在、ORDER 正确、无元数据污染。
四、会呼吸的扫描
全量扫描本身是一场自我管理的行军。并发从 3 爬到 7,速度约每分 2.2 批;批次 18 因推理吃满三万二千预算而失败,重试即过;三次 429 限流后门控自动把并发从 8 降到 6;批次 52 被 429 四连击标记失败,但 --loop 会在下一轮自动重扫它——失败批不进结果目录,永远待在待办里。乱码零污染,机制自愈中。等待期间,合并链路的冒烟测试提前开跑:十七个批合出 163 簇、无 hub 告警、韩立与二愣子正确合并;别名融合的隐患(严氏簇混入多个”师母”、马副门主混入”吴副门主/令主”)被记录下来,留给全量跑完统一审计。交付侧也提前排险:pillow 12.2 可生图、node 25.9、zod.js 按 ES module 校验通过。
尾声
至今夜,二百四十七批已推进一百四十一批,人名册与事件年表开始在合并层显形。韩立的仙途还在一批批落地,而工场已经证明:再巨厚的原著,也扛不住一套固化的工艺加一个不眠的工头。
真实坐标
- ingest:2462 章 / 820 万字 / 对齐 0 错位;“结尾截断”告警系忘语新书公告(误报),大结局为第 2446 章《飞升仙界》
- 试点:99 秒 / 23 角色 / 18 世界书 / 9 事件;女性角色全捕获(铁律生效);切段重复现象由 merge 去重
- 真 bug:
llm_stream.chat返回元组而 gen_src 未解包(gen_cast 有);仅修工作区副本 - 乱码虚惊:六文件”乱码”实为 Bash 显示层故障;扫描产物 16 批零污染;以码位直查定案
- 格式堤坝:mvu/system 小写字段缺 CONTENT、nsfw 中文标签→归一化脚本修正;NSFW ORDER 1→20 避撞号;25 条全部解析干净
- 扫描健康:并发 3→7、约 2.2 批/分;b18 推理吃满预算重试即过;429 门控自动降并发 8→6;b52 失败由 —loop 下轮重扫;预算烧损比 1.3
- merge 冒烟:17 批→163 簇、无 hub、韩立/二愣子正确合并;别名融合隐患留待全量后审计
- 交付侧:pillow 12.2 / node 25.9 / zod.js ES module 校验通过
- 进度:141/247 批;characters_merged.json 与 events_timeline.json 已开始落盘
评论