Crawl4AI - 一款开源的 Web 爬虫工具

工具介绍

Crawl4AI 旨在简化网页数据的爬取与提取过程，专为 LLM 和 AI 应用打造 使用门槛非常低，一行命令就可以开始，爬取新闻类网站比较简单，速度是真的快（如图爬的是NBC的新闻，输出md格式）

工具截图

工具地址

GitHub：

https://github.com/unclecode/crawl4ai

使用文档：

https://crawl4ai.com/mkdocs/