Firecrawl：把网页变成大模型能读的 Markdown 的抓取 API
Firecrawl 给一个 URL 就返回清洗干净的 LLM 友好 Markdown，支持整站递归与动态页渲染。本文讲清使用场景、五分钟上手与合规注意。
做大模型应用绕不开一个脏活：把网页内容变成模型能干净消化的文本。手写爬虫处理各种反爬和页面结构，一写就是几天。Firecrawl 把这件事做成了一个 API：给它一个 URL，还你一份 LLM 友好的 Markdown。
Firecrawl 解决什么问题
直接喂 HTML 给大模型效果很差：导航栏、广告、脚本标签全是噪声。Firecrawl 抓取网页后会做结构提取与清洗，输出干净的 Markdown，标题层级、列表、表格都保留完好。除了单页抓取，它还支持从一个入口页递归爬取整站、批量处理 sitemap 里的 URL，以及抓取那些靠 JavaScript 渲染的动态页面。
项目采用开源加云服务的双形态：源代码公开可以自部署，官方云 API 则免去了运维麻烦，注册后有免费额度可以先试。
典型使用场景
- RAG 知识库建设：批量抓取公司官网、帮助文档、行业资料站，清洗后入库向量化；
- 大模型联网能力：给自己的 AI 应用接一个"读取网页"的工具，搜索结果点开就能变成干净的正文；
- 竞品与行情监测：定时抓取目标页面转 Markdown，喂给模型做摘要比对；
- 数据集准备：为微调或评测收集领域文本语料。
五分钟上手
以云 API 为例：注册拿到密钥，调用抓取接口传入目标 URL，响应里就是整理好的 Markdown 文本。SDK 支持 Python 和 Node.js 等主流语言，几行代码即可嵌入现有流程。自部署路线则需要一点 Docker 基础，适合对数据出域敏感的团队。
选型时的三个考量
- 合规先行：抓取任何网站前确认目标站的 robots 协议与服务条款，商用场景尤其注意版权边界；
- 成本结构：云 API 按额度计费，大规模整站爬取前先估算页数；自部署则承担服务器与维护成本；
- 动态页面占比：如果目标站点大量依赖前端渲染，确认所用方案开启了渲染抓取能力，否则拿到的是空壳 HTML。
与同类方案的对比
传统爬虫框架（Scrapy 等）灵活但要自己写解析规则；无头浏览器方案能渲染动态页但产出的是原始 HTML 还需二次清洗。Firecrawl 的卡位是"抓取+清洗一步到位"，牺牲一点灵活性换来开箱即用的 Markdown 质量，对以喂模型为目的的场景恰好是对路的取舍。
小结
凡是要"网页进、语料出"的场景都值得把 Firecrawl 放进工具箱。个人玩 RAG 用免费额度足够起步，企业级知识库建设再评估自部署。它不炫技，只是把一件高频脏活做得足够干净利落。