2 Commits
Author SHA1 Message Date
sansenandClaude Code b264073f2b 大交替串加首字符预筛:convert_text 提速 3.05x,输出零差异
CPython 的 re 不对大交替串 (?:A|B|...) 做首字符预筛——460 个年号的交替串在每个
位置都要把全部分支逐个试完才移向下一位。实测这类扫描占 convert_text 总耗时的 82%
(sample_2.txt 1.03M 字符:扫描 7.05 / 总计 8.54 µs/字符),而其中多数模式只命中
0~134 处。

改法:给每个"以年号或朝代名开头"的模式前面加一个零宽前瞻 (?=[首字集合])。前瞻不
消耗字符,只在当前位置断言下一个字符属于集合。预筛字符集从与模式**同一份源数据**
推导(_dynasty_names / _dynasty_prefix / KNOWN_ERAS_ALL),CSV 加新年号时自动同步。
三种预筛:_GATE_DYNASTY(朝代组必选)/ _GATE_DYNASTY_OPT(_dynasty_opt 可空)/
_GATE_ERA(朝代组为空)。

结果为什么不变(结构性保证,非经验之谈):前瞻只拒绝「原模式根本不可能开始匹配」的
位置 → 匹配集合完全相同 → 捕获组相同 → 后续执行序列一致 → 输出逐字段一致。

不加预筛者(前提不满足):公元段(前缀整个可选)、裸干支段(以干支对开头)、
民国段(以字面量 民 开头,re 自带前缀优化)。

顺带把 2b/3/3b 段的 4 个正则从 extract_era_years 内提到模块级:只编译一次,且差分
测试能取到它们。

验证:
- 全字段快照比对:sample.txt 1766 / sample_2.txt 20188 / test/sample.txt 14 /
  test/sample_crosscheck.txt 11,全部 19 个字段逐条一致,零差异
- pytest 260 passed(新增 TestFirstCharGate 3 条)、summary.py 96/96
- 速度:sample_2.txt 8.53s → 2.80s(3.05x)、sample.txt 0.64s → 0.21s(2.99x)
- 3.8.10 下编译通过(部署目标)
- 变异测试:手动砍掉预筛里一个首字符后,差分测试立即失败并指出漏掉的 "万历二十三年"
  —— 证明这道护栏真的能挡住坏的预筛

Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-09-23 17:14:13 +08:00
sansenandClaude Code f4613a8da2 重命名 parser.py → era_parser.py:适配 Python 3.8.10 部署
`parser` 在 Python 3.8/3.9 是标准库内置模块(已弃用的旧语法解析器)。
BuiltinImporter 排在 sys.meta_path 第一位,优先于任何 sys.path 条目——
即使 sys.path[0] 指向项目根,`from parser import convert_text` 也会拿到内置
模块并抛 ImportError: cannot import name 'convert_text' from 'parser'
(unknown location)。该模块 3.9 弃用、3.10 才移除,故 3.8/3.9 部署环境都会中招。

- client_app.py: from parser import * → from era_parser import *
- era_data.py: 文档注释同步
- 纯重命名,无内容改动(git 识别为 100% similarity)

test/ 下的 extract.py / summary.py / test_parser.py 也已同步改导入,但 test/
被 .gitignore 忽略,不入库。CLAUDE.md / AGENTS.md 同样已更新(含「不要改回
parser.py」的警告),亦被忽略。

验证:pytest 257 passed;summary.py 96/96;语料回归 sample.txt 1766 条、
sample_2.txt 20188 条,与改名前完全一致。

Co-Authored-By: Claude Code <noreply@anthropic.com>
2026-09-23 16:56:45 +08:00