当前测试分三类:
1阶段测试/:确定性单元测试。2阶段测试/:mock 流程测试。3阶段测试/:离线评测指标测试。
统一运行命令:
python -m pytest testsCI 会额外执行 coverage、Ruff 和 dry-run 评测。
- taxonomy 固定 type/tags 规则。
/type、/tag、/filter底层筛选。/summary时间范围计算和订阅读写。- 自动总结 scheduler 到点触发规则。
- feedback 反馈记录的 JSONL 落盘。
- worker 从 WAL record 到 note/vector/mark_processed 的 mock 流程。
- 已存在笔记缺向量时的 vector backfill。
process_pending()对重复 message_id 的跳过逻辑。/askReAct 工具选择、observation 传递和 semantic_search fallback。- 有界任务执行器的队列拒绝、ingest 执行和状态统计。
- PendingDrainer 的 pending 重提交流程、inflight 跳过、batch size 和队列满停止。
- DeliveryStore 的租约、reserve/sent/failed/unknown 幂等规则和最大尝试次数。
- 自动总结 delivery/subscription 对账,覆盖 sent 修复、unknown 跳过和 failed 重提交流程。
- Summary scheduler 异常韧性,覆盖对账失败跳过当前订阅、下一轮恢复、一个订阅失败不影响其他订阅、tick 级异常保护。
- Memory V2 extraction state,覆盖 completed、empty、partial、failed、attempt_count、retryable 状态和 stale processing 恢复。
- Memory V2 SQLite WAL/locked 重试和并发写入,覆盖 sources、versions 不丢失。
- Memory V2 consolidation run 幂等,覆盖 daily/weekly/monthly period_key、completed 跳过、failed 重试、running 租约、同日 scheduler retry、手动命令幂等和同 key 并发 reserve。
- Memory V2 daily consolidation 异常隔离,覆盖单条坏笔记失败不阻塞后续笔记、下一轮只重试失败 note。
- Memory V2 查询阈值,覆盖低相关结果过滤和自定义
min_score。 - 核心记忆审理与演化,覆盖 same 确认证据、真实 merge 版本、supersede 双向关系、Decision 持久化、低置信度 pending review 和 note 幂等。
- LLM 候选抽取契约、规则 fallback、敏感信息前置过滤、Trace 脱敏与 SQLite Trace 副本。
- 总结同时消费 Note 事件与 Memory 状态变化。
- 任务级重试边界,确认 runner 失败不会整体重跑。
- 同一
space_idingest 串行、不同space_id可并行、压力提交受 worker/queue 限制。 - TaskRegistry 的历史裁剪和累计计数保留。
- 离线评测评分函数。
python eval/eval_classification.py --dry-run
python eval/eval_retrieval.py --dry-run
python eval/eval_summary.py --dry-run
python eval/eval_query_react.py --dry-run
python eval/eval_memory.py --dry-run去掉 --dry-run 后才会调用真实 LLM / embedding API。
- 飞书 SDK 真实收发消息集成测试。
- worker 真实文件链路集成测试。
- 总结内容质量人工/半自动评测。
最近一次结果以 CI 为准;本地可用 python -m pytest tests 复现。
最近一次真实 LLM / embedding 离线评测结果见 docs/metrics/latest.json 和 eval/README.md。