Skip to content

测试基建:规范化粘连的 API 配置行 - #712

Closed
feixi139 wants to merge 1 commit into
PFCCLab:mainfrom
feixi139:fix-0size-config-lines
Closed

测试基建:规范化粘连的 API 配置行#712
feixi139 wants to merge 1 commit into
PFCCLab:mainfrom
feixi139:fix-0size-config-lines

Conversation

@feixi139

Copy link
Copy Markdown
Collaborator

1. 新增共享配置行解析器

新增 config_preprocess/config_lines.py

  • 基于括号深度拆分连续的顶层 paddle.*(...) 调用;
  • 正确处理嵌套括号、转义字符和字符串内容;
  • 严格限制 API 名字符,避免跨调用搜索左括号并生成不存在的 API;
  • 对括号不匹配、非法 API 名和无法归属的残余文本明确报错。

2. 增加流水线输入规范化

新增 config_preprocess/normalize_config_lines.py,并在 run_pipeline.sh 增加 Step 0:

  • 将 1024、2048、4096、8192 配置规范化为每行一个调用;
  • 保持调用内容、顺序和重复次数不变;
  • 后续 derive、verify、dedup 和 0size 生成统一读取规范化文件;
  • 无法拆分的原始行写入 <output>.unparsed.txt
  • 流水线使用 --strict,完整扫描并保留错误证据后返回非零状态。

3. 增强 0size 配置解析

to_0_size_config.py 增加:

  • 共享顶层调用拆分能力;
  • APIConfig 解析异常的文件名和行号上下文;
  • 拒绝配置落盘;
  • --strict 严格模式;
  • 拆分后继续使用现有的全局精确去重逻辑。

@feixi139 feixi139 closed this Aug 18, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant