什么是 Web Scraper?
从任意网站提取干净文本、结构化数据和元数据,支持整页截图,并可执行 Google 搜索以发现相关网页信息。
核心功能 (6 个工具)
scrape_urlFetch a URL and extract clean text/markdown content (like readability).
scrape_structuredExtract structured data from a URL using CSS selectors.
screenshot_urlTake a screenshot of a URL.
extract_linksExtract all links from a URL with their text.
extract_metaExtract metadata from a URL (title, description, OG tags, favicon, etc).
search_googleSearch Google and return results.
常见问题
Web Scraper 是什么?
从任意网站提取干净文本、结构化数据和元数据,支持整页截图,并可执行 Google 搜索以发现相关网页信息。
Web Scraper 提供哪些工具?
提供 6 个工具,包括 scrape_url、scrape_structured、screenshot_url 等。
相关 MCP Server
Puppeteer 浏览器控制
编辑精选by Anthropic
Puppeteer 是让 Claude 自动操作浏览器进行网页抓取和测试的 MCP 服务器。
✎ 这个服务器解决了手动编写 Puppeteer 脚本的繁琐问题,适合需要自动化网页交互的开发者,比如抓取动态内容或做端到端测试。不过,作为参考实现,它可能缺少生产级的安全防护,建议在可控环境中使用。
网页抓取
编辑精选by Anthropic
Fetch 是 MCP 官方参考服务器,让 AI 能抓取网页并转为 Markdown 格式。
✎ 这个服务器解决了 AI 直接处理网页内容时格式混乱的问题,适合需要让 Claude 分析在线文档或新闻的开发者。不过作为参考实现,它缺乏生产级的安全配置,你得自己处理反爬虫和隐私风险。
Brave 搜索
编辑精选by Anthropic
Brave Search 是让 Claude 直接调用 Brave 搜索 API 获取实时网络信息的 MCP 服务器。
✎ 如果你想让 AI 助手帮你搜索最新资讯或技术文档,这个工具能绕过传统搜索的限制,直接返回结构化数据。特别适合需要实时信息的开发者,比如查 API 更新或竞品动态。不过它依赖 Brave 的 API 配额,高频使用可能受限。