work
离线语义核验与 AI 问数系统
将纸质笔录与录音转写自动进行语义比对的离线核验平台，并配套可溯源的 AI 问数助手。
项目概览
项目简介
这是我在工作中参与交付的一套本地化部署系统。核验人员上传纸质笔录和对应的音视频，系统完成说话人分离与语音转写、识别视频水印时间并对齐时间轴，再将笔录与转写文本进行语义比对，把遗漏、改写和不一致之处直接批注在原文上，最后导出核验报告。配套的 AI 问数模块支持用自然语言多轮查询核验与业务数据，以流式文本和图表作答。整套系统包括前端、后端、语音服务和大模型均在内网离线运行。
系统架构
前端、后端、语音与 OCR 服务、智能体和本地大模型全部运行在内网，不依赖任何外部服务。
问题背景
审讯类笔录需要与录音录像逐字核对，人工一边听一边比，单份就要花费大量时间，还容易遗漏改写或时间错位等问题；同时业务人员想查数据时只能依赖固定报表。
我的角色
我担任前端负责人，主导核验工作台与 AI 问数对话两大模块的设计与实现，包括任务侧栏、上传与来源关联、文档与音视频联动预览、比对结果看板和原文批注；同时参与了后端接口、智能体问答链路与部署方案等系统其他部分的建设。
解决方案
前端采用 React 18 + Vite + Ant Design，后端使用 Java Spring Boot 负责任务编排、规则库与报告导出。语音侧由 FunASR 完成说话人分离和转写，并通过水印 OCR 识别视频时间实现对齐。AI 问数由 Python FastAPI 智能体承担，先做结构化查询规划，再调用本地 Ollama 上的 Qwen3 模型生成回答，并以流式方式推送文本和图表。核心流程为：上传笔录与音视频、转写与时间对齐、语义比对与原文批注、人工复核、导出报告。
最终结果
系统把核验从逐字人工比对转为“机器比对、人工复核”，核验人员只需关注被标出的差异；AI 问数让业务人员可以直接用自然语言查询数据，回答中的数据均可追溯。
技术亮点
全链路离线 / 隔离网络部署，模型与语音服务均在本地运行
说话人分离与重命名，转写结果按角色呈现
视频水印 OCR 识别时间，自动对齐笔录与录音时间轴
语义级差异比对，差异直接批注在 Word / PDF 原文上
事实校验防幻觉层：回答中的数字和状态必须能在查询结果中找到依据
结构化查询规划，支持相对日期、多轮指代等自然语言问法
流式回答，富文本与 ECharts 图表同步渲染
兼容 Chrome 69 等旧版浏览器，适配内网环境
复盘总结
在严肃场景中引入大模型，关键不在于模型多强，而在于边界设计：让模型负责理解和表达，让数据与规则负责事实，并把每一个结论都做成可核对的。
项目信息
年份2026
角色前端负责人
分类work
技术栈
React 18ViteAnt DesignSpring BootFastAPIFunASROllama
约束条件
- 必须完全离线部署，不能调用任何外部服务
- 面向非技术核验人员，流程要清晰、结果要可追溯
- 需要兼容内网中较旧版本的浏览器
- 大模型回答中的数据必须准确，不能出现编造