面向多领域中文百科语料(人物/组织/地理/科技/事件)的知识图谱 RAG:用 LLM 从文档抽取实体与关系构建图谱,查询时从种子实体 BFS 扩张检索,不依赖向量库与嵌入模型。回答逐句附原文引用,经逐字校验与句级证据审核,无法回答时诚实拒答。内置可复现评测体系(手工金标 + 合成回归集),用真实数字度量每次改进。FastAPI 后端 + Vue 3 前端(含图谱可视化)。
| 问答(逐句引用与证据校验) | 图谱可视化 |
|---|---|
![]() |
![]() |
答案不是"生成后希望它对",而是先证明后有答案:每个事实句必须附逐字摘自原文分块的引用(模型编造引用或引用片段不在原文中会被直接丢弃),再经一次独立的句级证据审核;证据不足时诚实回答"无法回答"而不是编造。实测:否定边界题(问语料中不存在的事实)诚实拒答率 100%,70 道评测题零硬编。
不做嵌入、不建向量索引——实体关系图本身就是检索结构(NetworkX 持久化,JSON 快照)。检索路径完全可解释:问题 → 种子实体定位 → BFS 扩张 → 候选分块,每一步都能在页面上展开检查。代价是对图覆盖的依赖(见不足),换来的是零向量库运维、中文语料上天然免分词、以及引用与推理链的全程可追溯。
每个成功分块的抽取底稿原子落盘(含内容哈希与配置指纹),构建过程按检查点增量发布图谱版本——中断/重启/改代码后重新构建,只补缺失部分,数千分块的恢复接近零重复调用。内容或模型配置变更通过指纹比对自动失效相关缓存,删除文档本地重放合图不调模型。
这不是"感觉效果不错"的项目:手工金标 20 题(quote 逐字校验入库)+ 合成回归集 57 题(held-out 复验),运行器输出来源召回率/引用正确率/忠实度/拒答率/延迟分位。每次架构改进都有 before/after 数字(见实测效果),评测还反向定位了两个结构瓶颈(工程实录)。
文档(PDF/MD/TXT/DOCX) → 加载 → 中文分块 → LLM 抽取实体/关系 → NetworkX 图谱 → JSON 原子快照(检查点增量发布)
查询: 问题 → LLM 抽种子实体 → 图上定位 → BFS 扩张 → 分块召回 → 相关性重排 → 句级生成 + 逐字校验 + 证据审核
- 抽取层:OpenAI 兼容端点(自定义 base_url/api_key),结构化输出三种模式可切换(json_mode/function_calling/json_schema)
- 图谱层:实体别名归一(繁简/全角/别名图合并),同名不同类型实体分离;节点身份由"类型+规范名"决定,合图顺序无关
- 检索层:种子定位 → BFS 扩张 → collect 分块 → BM25 重排序(CJK 字符二元组,零分词依赖) → 前 N 块进入生成
- 验证层:逐字引用校验 → 句级证据审核(独立 LLM 调用)→ 未支持句子剔除
图谱 6927 节点 / 8462 边(50 篇中文维基语料,deepseek-v4-flash,2026-11-04):
| 指标 | 金标 20 题 seed | 金标 20 题 full | 合成 50 题 full |
|---|---|---|---|
| 来源召回率 | 93.8% | 68.8% | 78.0% |
| 引用正确率 | 78.1%(重排前 39.6%) | 49.0%(重排前 12.5%) | 59.6%(重排前 46.0%) |
| 忠实度(verified) | 80.0%(重排前 40.0%) | 55.0%(重排前 15.0%) | 72.0%(重排前 54.0%) |
| 否定题诚实拒答率 | 100%(4/4) | 100%(4/4) | — |
| 种子定位率 | — | 75.0% | 80.0% |
指标口径:来源召回率 = 金标分块被检索到的比例(重排序不改变候选集,故持平);引用正确率 = 被引分块属于金标的比例;忠实度 = 回答通过句级证据审核的比例;种子定位率 = 问题实体在图中命中的比例(仅 full 模式)。逐字引用校验(修复后恒 100%)系生成层结构性保证,作为审计金丝雀不列入对比。
最关键的改进实例——来源重排序(修复"证据在库不在窗"):
重排前金标分块平均排在候选第 50.3 位(窗口上限 40,进窗率 43.75%);重排后平均第 1.9 位(进窗率 93.75%),重排自身开销平均 31-40ms/题。完整的前后对比、归因拆分与图表见工程实录;全部数字可从 docs/benchmarks/ 已提交的评测报告复现。
- 企业内部知识库问答:文档进、带出处的答案出;引用到分块级,审核链路可审计——适合对"答案必须有据可查"有硬要求的场景(合规、法务、技术文档)。
- 不依赖向量库的轻量部署:单机 JSON 持久化 + 任一 OpenAI 兼容端点即可运行;数据规模在数百文档量级时,图谱检索的准确可控性优于黑盒向量召回。
- 防幻觉基线系统:句级"逐字依据"校验的架构可直接移植到任何 LLM 问答系统,作为生成层之上的独立验证层。
- AI 辅助工程的过程资产:53 项离线回归、评测工具链、工程实录文档本身展示了如何用评测数据驱动迭代(定位瓶颈 → 修复 → 量化验证)。
坦率列出当前没做好的部分:
- 查询实体定位(full 模式):LLM 抽取的裸名实体在图中有同名/含名多节点时,按歧义契约宁可返回 None——约 20% 题目种子落空导致空检索拒答(种子定位率 75%-80%)。已尝试修复但与"同名实体保持分离"的契约冲突而回滚,是下一个待解课题。
- 图扩张覆盖缺口:极少数金标分块不在 2 跳扩张的候选集内(如「改革开放」题),排序无法救回未检出的内容;需要多路召回。
- 延迟偏高:p50 约 15s、p95 可到 60s+,主要由回答生成与句级审核的两次 LLM 调用构成;单机单用户场景可用,高并发未验证。
- verified ≠ 正确:句级审核保证"结论能在引用原文中找到逐字依据",不等于事实层面正确;语义审核本身也依赖模型判断。
- 中文 PDF 依赖内嵌文本,扫描件需 OCR(预留扩展点)。
pip install -r requirements.txt && cp .env.example .env # 填入 base_url / api_key / 模型名
cd web && npm install && npm run build && cd ..
./start.sh # 打开 http://localhost:8002要求 Python 3.10+ / Node.js 18+ / 任一 OpenAI 兼容端点;conda 环境名自定义、详细步骤与配置说明见 docs/INSTALL.md。
- docs/INSTALL.md — 完整安装、配置项与日常操作
- docs/SHOWCASE.md — 工程实录:问题、瓶颈、突破与提升(含全部数据与图表)
- docs/INTERNALS.md — 构建检查点/增量发布机制、长任务实现细节、火山方舟配置
- docs/ — 开发历程与工程决策记录
PYTHONPATH=src python tests/review_checks.py # 53 项离线回归
PYTHONPATH=src python evals/diagnose_rank.py # 金标排名诊断(零 LLM)
PYTHONPATH=src python evals/run_eval.py evals/gold/wiki_gold.jsonl --mode seed # 金标 seed
PYTHONPATH=src python evals/run_eval.py evals/gold/wiki_gold.jsonl --mode full # 金标 full
PYTHONPATH=src python evals/run_eval.py data/evals/synthetic.jsonl --mode full --limit 50
PYTHONPATH=src python scripts/make_charts.py # 从已提交数据复现图表

