Tianshu 天枢

企业级 AI 数据预处理平台

支持文档、图片、音频等多模态数据处理 | GPU 加速 | MCP 协议

结合 Vue 3 前端 + FastAPI 后端 + LitServe GPU负载均衡

English | 简体中文

如果这个项目对你有帮助，请点击右上角 ⭐ Star 支持一下，这是对开发者最大的鼓励！

---

📝 最新更新

2026-10-12 🚀 v2.2.0：加密文档解析支持

• ✅ 加密 PDF：支持密码保护的 PDF；空密码 / 仅所有者密码的文档自动移除限制，无需手动输入
• ✅ 加密 Office：支持加密的 DOCX / XLSX / PPTX 及旧版 DOC / XLS / PPT（msoffcrypto-tool 解密后走正常解析流水线）
• ✅ 加密 ZIP：支持 ZipCrypto 与 AES 加密的压缩包，解密后自动解包为父子任务批量解析
• ✅ 全链路 password 参数：提交任务时可选填文档打开密码——API 表单、前端提交页高级选项、MCP parse_document 工具、Dify 插件均已支持
• ✅ 密码错误可补救：解密失败任务给出友好中文报错，可在任务详情页重试时填写正确密码直接重跑，无需重新提交
• 🔒 密码安全：密码仅存于任务 options（接口返回一律掩码）、不落任何日志；解密明文副本隔离存放，任务完成自动清理

2026-09-13 🚀 v2.1.0：Webhook 任务通知、审计日志与界面体系升级

• ✅ Webhook 任务终态通知：任务完成/失败时向对接方推送带 HMAC 签名的回调（仅任务元数据 + 结果查询地址，不含解析内容）；调度器周期投递，失败指数退避重试直至死信，全程 SSRF 防护，投递记录可查询
• ✅ 按 API Key 维度配置回调：每个对接系统在「API Token 管理」中自助绑定回调地址、签名密钥与出站鉴权（Bearer/Basic/自定义头），支持测试投递；管理员可在系统设置统一查看与管理全部对接方；临时场景可在提交任务时按任务指定 webhook_url
• ✅ 审计日志：登录、配置变更、API Key 与任务高危操作全量留痕（含 IP/UA），系统设置页可视化筛选查询，按保留期自动清理
• ✅ 界面体系升级：设置中心重构为导航式布局，全局页面自适应流式宽度，顶栏分区协调不遮挡；英文界面全量翻译，中英文完整双语

2026-09-12 🚀 v2.0.0 稳定版：多模态图片描述、ZIP/EPUB 支持与系统完善

• ✅ 图片描述（多模态大模型）：解析结果中的图片可自动调用多模态大模型生成内容描述，写回 Markdown 图片 alt 与 JSON 的 img_caption；管理员在系统配置页完成启用与模型配置（OpenAI 兼容接口），支持连接测试与并发控制
• ✅ ZIP 压缩包解析：上传 zip 自动解包为父子任务批量解析（条目数/解压总量限制，防 Zip Slip），结果按条目合并；新增 EPUB 格式支持（MarkItDown）
• ✅ 邀请码注册：管理员可在配置页开启注册邀请码，公开注册接口按需校验
• ✅ 任务取消：支持取消 pending/processing/paused 状态的任务（PR #83）
• ✅ MinerU 3.4.5 升级：Office 原生解析（DOCX/XLSX/PPTX）、macOS MPS 原生运行支持；引擎聚焦 MinerU，移除 PaddleOCR 引擎
• ✅ 部署统一：单一交互式 setup.sh 入口（GPU/纯 pipeline/CPU/原生/离线），新增 pipeline-only 编排与离线部署方案
• ⚡ 性能与稳定性：SQLite 启用 WAL 模式消除读写互斥；API 端点去阻塞化；Redis 队列与 SQLite 定期对账；子任务单事务批量创建；vLLM 容器按需冷启动
• 🔒 安全加固：认证与密钥强度强制校验、文件服务鉴权与下载防护、对象存储凭据与网络收紧、依赖版本升级等系统性完善（升级前请按文档重新生成 .env）
• 🔧 修复：图片 EXIF 方向非法导致解析失败、模型缓存随容器重建丢失、图片源文件预览失败等问题

2026-09-11 🚀 MinerU 3.4.5 升级

• ✅ MinerU 3.4.5 升级：mineru[all]>=3.4.5，同步 mineru-vl-utils>=1.0.5,<2、pypdf>=5.6.0
• ✅ VLM 模型更新：MinerU2.5-2509-1.2B → MinerU2.5-Pro-2605-1.2B（模型下载脚本、mineru.json、vLLM 服务同步）
• ✅ 兼容确认：do_parse API、vlm/hybrid 后端名（旧别名 *-auto-engine 仍受支持）、pipeline 模型目录结构（PP-DocLayoutV2 等）均保持不变
• ✅ macOS 原生支持：Apple Silicon 自动启用 MPS 加速（--accelerator mps），VLM 后端自动走 MLX；音视频辅助引擎在 mac 上回退 CPU

2026-04-12 🔧 MinerU 3.0.9 升级 & Office 格式增强

• ✅ MinerU 3.0.9 升级
  • 核心依赖同步：transformers==4.57.6、albumentations>=1.4.11
  • 配置格式迁移：magic-pdf.json（扁平）→ mineru.json（嵌套 models-dir 结构）
  • 模型路径适配 3.0 新结构（unimernet_hf_small_2503、pp_formulanet_plus_m）
• ✅ DOCX 原生解析：.docx 文件路由至 MinerU 3.0 原生解析器（office_docx_analyze），解析精度优于 MarkItDown
• ✅ 旧版 Office 格式支持：.doc、.xls、.ppt 经 LibreOffice 自动转换为新格式后，再交由 MinerU 或 MarkItDown 处理，不再报错
• ✅ 前端引擎信息面板：仪表盘新增引擎状态卡片，实时展示各引擎版本号、GPU/CUDA 环境及关键包版本

2025-12-10 ⚡ 大文件并行处理

• ✅ PDF 自动拆分功能：超过阈值（默认 500 页）的 PDF 自动拆分为多个子任务并行处理
  • 可配置的分块大小（默认 500 页/块），显著提升大文件处理速度
  • 实现父子任务系统：自动管理子任务状态并在完成后合并结果
  • 智能结果合并：保留原始页码信息，按序合并 Markdown 和 JSON 输出
  • 处理时间可缩短 40-60%（取决于硬件配置）
  • 异步拆分：拆分操作在 Worker 中进行，API 接口秒级响应
• ✅ PDF 拆分配置（.env 新增）
  • PDF_SPLIT_ENABLED: 是否启用自动拆分（默认 true）
  • PDF_SPLIT_THRESHOLD_PAGES: 拆分阈值页数（默认 500）
  • PDF_SPLIT_CHUNK_SIZE: 每个子任务处理页数（默认 500）
• ✅ Worker 内存管理
  • WORKER_MEMORY_LIMIT: 容器硬内存限制（默认 16G）
  • WORKER_MEMORY_RESERVATION: 内存软限制/预留（默认 8G）

2025-12-05 🗄️ RustFS 对象存储集成