运维123 - web-crawl
type: channel
link: https://www.sddts.cn/index.php/tag/web-crawl/
items: UltimateSearchSkill双引擎网络搜索Skill

UltimateSearchSkill双引擎网络搜索Skill
type: item
date: 2026-03-02T00:53:18+00:00
description: UltimateSearchSkill 双引擎网络搜索 Skill一、概述1. 简介A. 是什么UltimateSearchSkill 是为 OpenClaw / Pi agent 打造的双引擎网络搜索 Skill，整合了 Grok AI 联网搜索和 Tavily 结构化搜索两种能力，提供并行搜索、网页抓取、站点映射等功能。B. 核心特性双引擎搜索：Grok AI 驱动的语义搜索与 Tavily 结构化数据检索互补协作多账户聚合：通过 grok2api 和 TavilyProxyManager 实现多账号负载均衡自动降级：web-fetch 采用 Tavily Extract → FireCrawl Scrape → 报错的三级降级策略Cloudflare 自动绕过：集成 FlareSolverr 自动获取并刷新 cf_clearance零 MCP 依赖：纯 Shell 脚本实现，agent 通过 Bash 原生调用2. 前置条件A. 系统要求Docker 和 Docker Composecurl、jq 工具至少一个 Grok 账号的 SSO Session TokenB. 必备 KeyGrok SSO Session Token（从浏览器 Cookie 获取）Tavily API Key（免费额度 1000 次/月）FireCrawl API Key（可选，作为网页抓取降级方案）二、架构设计1. 系统组成系统由以下核心组件构成：组件功能端口grok2apiGrok Token 聚合服务8100TavilyProxyManagerTavily Key 聚合服务8200FlareSolverrCloudflare 自动绕过81912. 工作原理graph TD A[用户提问] --> B[Agent] B --> C{搜索工具选择} C -->|Grok AI 搜索| D[grok-search.sh] C -->|Tavily 搜索| E[tavily-search.sh] C -->|双引擎并行| F[dual-search.sh] C -->|网页抓取| G[web-fetch.sh] C -->|站点映射| H[web-map.sh] D --> I[grok2api] I --> J[Grok 联网搜索 API] E --> K[TavilyProxyManager] K --> L[Tavily 搜索 API] F --> I F --> K F --> M[结果交叉验证] G --> N[Tavily Extract] N -->|失败| O[FireCrawl Scrape] O -->|失败| P[报错] H --> K K --> Q[Tavily Map API]3. 服务间交互sequenceDiagram participant A as Agent participant G as grok-search.sh participant T as tavily-search.sh participant G2 as grok2api participant TP as TavilyProxyManager participant FS as FlareSolverr A->>G: grok-search.sh --query G->>G2: GET /v1/search G2->>FS: 获取 cf_clearance FS-->>G2: 返回 Cookie G2->>G2: 选择可用 Token G2->>G2: 调用 Grok API G2-->>G: 返回搜索结果 G-->>A: JSON 输出 A->>T: tavily-search.sh --query T->>TP: POST /api/search TP->>TP: 负载均衡选择 Key TP->>TP: 调用 Tavily API TP-->>T: 返回搜索结果 T-->>A: JSON 输出三、安装部署1. 克隆仓库git clone https://github.com/你的用户名/UltimateSearchSkill.git cd UltimateSearchSkill # 复制环境变量模板 cp .env.example .env2. 启动服务# 创建数据目录 mkdir -p data/grok2api/logs data/tavily-proxy # 拉取镜像并启动 docker compose pull docker compose up -d3. 服务状态验证# 查看服务状态 docker compose ps # 查看日志 docker compose logs grok2api docker compose log…