MySearch Proxy

English Guide

MySearch Proxy 是一套给 AI 助手准备的统一搜索栈。

它把原本分散的 4 件事收成了同一个仓库：

• mysearch/
  • 真正可安装的 MySearch MCP
• skill/
  • 给 Codex / Claude Code 的 skill 与安装说明
• openclaw/
  • 给 OpenClaw / ClawHub 的独立 skill bundle
• proxy/
  • 给团队或公开部署使用的控制台与代理层

支持的搜索能力：

• Tavily
• Firecrawl
• Exa
• 可选 X / Social

目标很简单：

• 让本地 AI 助手先用起来
• 让 OpenClaw 直接装上去
• 让团队共享一套统一搜索后端
• 让调用方尽量少关心底层 provider 差异

项目入口：

• GitHub： skernelx/MySearch-Proxy
• Docker Hub： skernelx/mysearch-proxy
• ClawHub： clawhub.ai/skernelx/mysearch

为什么做这个项目

很多搜索类项目只解决其中一小段：

• 只给一个 web_search
• 只会搜，不会抓正文
• 只会调官方 API，不方便接自建网关
• 只给 prompt，不给真正能安装的运行时
• 只做 key 面板，不解决 AI 如何调用

MySearch Proxy 选择直接把整条链补齐：

上游 provider / 聚合网关
  -> Tavily / Firecrawl / Exa / X / Social

MySearch Proxy
  -> 控制台、Token、额度同步、兼容代理接口

MySearch MCP / Codex Skill / OpenClaw Skill
  -> 给 Codex、Claude Code、OpenClaw、其他 Agent 直接使用

推荐架构

当前最推荐的是 proxy-first：

上游 provider
  -> MySearch Proxy
     -> 生成 MySearch 通用 token
        -> MySearch MCP / OpenClaw skill / 其他 Agent

这条路的好处很直接：

• 客户端只需要一组 MYSEARCH_PROXY_*
• Tavily / Firecrawl / Exa 不再散落到每台机器
• 可以统一管理 token、调用统计和额度同步
• OpenClaw、本地 Codex、团队代理都能复用同一套配置

如果你暂时还没有 Proxy，也可以让 mysearch/ 或 openclaw/ 直接连官方 provider。

最新优化（v0.1.11）

这次版本重点是把 provider 健康状态从“只看有没有 key”升级成“能看出 key 是不是活着”，并把 docs / resource 路由对失效 provider 的自保补齐；上一版 config-first、Python 3.10 兼容和 Firecrawl 域名过滤回退继续保留。

• 配置入口收口：

  • MySearch runtime 现在会优先读取 ~/.codex/config.toml 的 mcp_servers.mysearch.env。
  • install.sh 会先继承宿主已注册的 MYSEARCH_*，再用 mysearch/.env 只补缺省值。
  • OpenClaw wrapper 现在会优先读取 openclaw.json 的 skills.entries.mysearch.env。
  • .env 继续支持，但明确只保留给本地单仓调试兜底，不再是推荐主路径。
  • 读取宿主 config 时不再强依赖 Python 3.11 的 tomllib，对 Python 3.10 会自动回退到轻量解析。

• 文档 / 资源类结果重排：

  • docs / github / pdf / resource / tutorial 的 blended 结果现在会优先官方域名和官方文档路径。
  • 显式传了 include_domains 时，会进一步把命中域名的结果稳定放到前面。
  • reddit / arxiv / researchgate / medium / youtube 这类明显第三方页面不再轻易抢前几条。
  • citations 会跟随重排后的结果顺序，避免前排已经修正但引用顺序还是旧的。
  • Firecrawl 如果在 site:domain query 这一跳返回空结果，会自动做一轮无 site: 的 Firecrawl 检索，再在客户端按域名过滤，优先把结果留在 Firecrawl 链路里，而不是立刻退回 Tavily。

• Provider 健康检查与路由自保：

  • health 现在除了 available_keys，还会返回每个 provider 的 live_status、live_error、last_checked_at。
  • 例如 Tavily key 已失效 / 被停用，现在会明确显示成 auth_error，而不是只看起来像“有 key 可用”。
  • docs / resource / balanced 路由会跳过 auth_error 的 provider，不再把失效的 Tavily 当成发现阶段主路由。
  • Firecrawl 的域名 fallback 也会跳过 auth_error 的 Tavily，避免本来已经切开主路由，最后又在 fallback 阶段被 401 绊倒。

• 路由与参数稳定性：

  • MCP 入口现在兼容单字符串形式的 sources、include_domains、formats 等参数。
  • 显式指定 provider 时，不会再被 balanced 策略偷偷混成 hybrid。

• 抓取质量修复：

  • extract_url(auto) 现在会识别更多假正文，并按需回退。
  • 已覆盖 linux.do anti-bot 提示、验证码挑战页、GitHub blob 页面壳等场景。
  • GitHub 公开仓库 blob 页面在 auto 模式下会优先改写到 raw 地址直接抓正文。

• 社交结果一致性：

  • 日期过滤后如果没有命中，results / citations / answer 会保持一致，不再残留旧内容。

• Social / X fallback：

  • social/search 现在支持主模型结果过少或上游报错时自动 fallback。
  • 返回里新增 route 元信息，能直接看到实际选中的模型、fallback 是否触发，以及每轮尝试结果数。
  • 推荐线上配置改为：主模型 grok-3-mini，fallback grok-4.1-fast，阈值 3。