网页抓取

搜索与获取编辑精选

Fetch

by Anthropic

Fetch 是 MCP 官方参考服务器,让 AI 能抓取网页并转为 Markdown 格式。

这个服务器解决了 AI 直接处理网页内容时格式混乱的问题,适合需要让 Claude 分析在线文档或新闻的开发者。不过作为参考实现,它缺乏生产级的安全配置,你得自己处理反爬虫和隐私风险。

92.1kGitHub

什么是 网页抓取?

Fetch 是 MCP 官方参考服务器,让 AI 能抓取网页并转为 Markdown 格式。

如何使用 网页抓取

运行方式

在终端运行。加 --scope project 可写入项目根目录的 .mcp.json,与团队共享。

终端命令
claude mcp add --transport stdio fetch -- npx -y @modelcontextprotocol/server-fetch

常见问题

网页抓取 是什么?

抓取网页并转换为 Markdown,便于 AI 处理。

如何安装 网页抓取?

运行命令:npx -y @modelcontextprotocol/server-fetch

安装排障(国内网络)

npx 拉包很慢、超时或报 ETIMEDOUT 怎么办?

国内直连 npm 官方源经常超时。把 registry 切到 npmmirror(淘宝镜像)即可。全局切换对所有客户端生效;只想对这个 MCP 生效,就在配置的 env 里加 NPM_CONFIG_REGISTRY。bun 和 pnpm 用各自的写法。

全局切换(npm / npx)
npm config set registry https://registry.npmmirror.com
单次使用
npx --registry=https://registry.npmmirror.com -y @modelcontextprotocol/server-fetch
只对这个 MCP 生效(写进配置的 env)
"env": {
  "NPM_CONFIG_REGISTRY": "https://registry.npmmirror.com"
}
pnpm
pnpm config set registry https://registry.npmmirror.com
bunx(~/.bunfig.toml)
[install]
registry = "https://registry.npmmirror.com"
终端里开了代理,客户端里的 MCP 还是连不上?

从 Dock、开始菜单启动的 Claude Desktop、Cursor 等客户端不会继承终端里 export 的代理变量,MCP 进程拿不到代理。把代理地址写进该 MCP 配置的 env(端口换成你自己的)。注意 Node 自带的 fetch 默认不读 HTTPS_PROXY,Node 24 及以上可再加 NODE_USE_ENV_PROXY=1;仍不行就开代理软件的 TUN / 增强模式。

写进配置的 env
"env": {
  "HTTPS_PROXY": "http://127.0.0.1:7890",
  "HTTP_PROXY": "http://127.0.0.1:7890",
  "NODE_USE_ENV_PROXY": "1"
}
只让 npm 下载走代理
npm config set proxy http://127.0.0.1:7890
npm config set https-proxy http://127.0.0.1:7890
报 SyntaxError、fetch is not defined 或 Unsupported engine?

多半是 Node 版本太低。大多数 MCP Server 需要 Node 18 以上,建议用 LTS(20 或 22)。用 nvm 装好后,客户端可能仍在用系统自带的旧 Node:用 which npx 查出完整路径,把配置里的 command 换成这个绝对路径。

查看版本
node -v
用 nvm 安装 LTS
nvm install --lts
nvm alias default 'lts/*'
查出 npx 绝对路径
which npx
Windows 上提示 spawn npx ENOENT 或客户端无法启动?

Windows 下 npx 实际是 npx.cmd,部分客户端不能直接启动它。把 command 改成 cmd,在 args 前面加上 /c 和 npx。

Windows 配置写法
"command": "cmd",
"args": ["/c","npx","-y","@modelcontextprotocol/server-fetch"]

相关 Skills

共享基础

by googleworkspace

Universal
热门

为 Google Workspace 相关 Skill 统一处理认证、全局 flags 和输出格式,适合在 Claude Code 中复用基础配置,减少重复接入并保持命令结果一致。

✎ 为命令行工具统一认证、全局参数和输出格式,省去重复造轮子,尤其适合多命令协同的开发场景。

搜索与获取
未扫描32.4k

SEO优化

by agricidaniel

Universal
热门

面向网站 SEO 的通用分析 Skill,可系统检查页面结构、内容质量、关键词布局与技术问题,适合做站点诊断、优化策略制定和持续搜索表现改进。

搜索与获取
未扫描31.0k

技能注册中心

by google

Claude
热门

对接 Gemini Enterprise Agent Platform Skill Registry,创建并检索可用的 Skill,方便在 Claude Code 中快速发现和复用已注册的 Agent 能力。

搜索与获取
未扫描24.5k

相关 MCP Server

热门

控制真实 Chrome 浏览器完成各种任务:填写表单、提取数据、预订机票等。

搜索与获取
121.6k

by Anthropic

热门

Puppeteer 是让 Claude 自动操作浏览器进行网页抓取和测试的 MCP 服务器。

✎ 这个服务器解决了手动编写 Puppeteer 脚本的繁琐问题,适合需要自动化网页交互的开发者,比如抓取动态内容或做端到端测试。不过,作为参考实现,它可能缺少生产级的安全防护,建议在可控环境中使用。

搜索与获取
92.1k

Brave 搜索

编辑精选

by Anthropic

热门

Brave Search 是让 Claude 直接调用 Brave 搜索 API 获取实时网络信息的 MCP 服务器。

✎ 如果你想让 AI 助手帮你搜索最新资讯或技术文档,这个工具能绕过传统搜索的限制,直接返回结构化数据。特别适合需要实时信息的开发者,比如查 API 更新或竞品动态。不过它依赖 Brave 的 API 配额,高频使用可能受限。

搜索与获取
92.1k

评论