我的计算机之旅始于童年，当时作为计算机科学家的父亲向我介绍了Amstrad电脑。这段早期经历激发了我对技术的热爱，促使我在研究生阶段专攻自然语言处理。正是在那时，我第一次涉足网络爬虫领域，构建工具帮助研究人员整理论文和从出版物中提取信息——这段充满挑战又收获颇丰的经历磨练了我的数据提取技能。

时间来到2023年，我在为一个项目开发工具时需要将网页转换为Markdown的爬虫。在探索解决方案时，我发现一个声称开源的工具却要求创建账户并生成API令牌。更糟的是，它实际上是收费16美元的SaaS服务，且质量不尽人意。出于沮丧，我意识到这是个更深层的问题。这种挫败感转化为动力，我决定自己构建解决方案。短短几天内，我创造了Crawl4AI。出乎意料的是，它迅速走红，获得了数千GitHub星标，引起了全球社区的共鸣。

我将Crawl4AI开源有两个原因。首先，这是我对职业生涯中一直支持我的开源社区的回报。其次，我相信数据应该对所有人开放，而不是被付费墙封锁或被少数人垄断。数据的开放获取为AI民主化奠定了基础，让每个人都能训练自己的模型并掌握自己的信息。这个库是创建有史以来最佳开源数据提取和生成工具的第一步，将由充满热情的社区共同构建。

感谢所有支持这个项目、使用它并提供反馈的人。你们的鼓励激励我追求更大的梦想。加入我们，提交问题，发起PR，或传播这个项目。我们可以共同打造真正赋能人们获取自身数据、重塑AI未来的工具。

• 🧹 纯净Markdown：生成结构清晰、格式准确的Markdown
• 🎯 精炼Markdown：基于启发式过滤去除噪音和无关内容，适合AI处理
• 🔗 引用与参考文献：将页面链接转换为带清晰引用的编号参考列表
• 🛠️ 自定义策略：用户可创建针对特定需求的Markdown生成策略
• 📚 BM25算法：采用BM25过滤提取核心信息，去除无关内容

• 🤖 LLM驱动提取：支持所有LLM（开源和专有）进行结构化数据提取
• 🧱 分块策略：实现主题型、正则表达式、句子级分块进行针对性内容处理
• 🌌 余弦相似度：基于用户查询查找相关内容块进行语义提取
• 🔎 CSS选择器提取：使用XPath和CSS选择器快速提取基于模式的数据
• 🔧 模式定义：定义自定义模式从重复结构中提取结构化JSON

• 🖥️ 托管浏览器：使用用户自有浏览器完全控制，避免机器人检测
• 🔄 远程浏览器控制：连接Chrome开发者工具协议实现远程大规模数据提取
• 👤 浏览器配置管理：创建和管理持久化配置，保存认证状态、cookies和设置
• 🔒 会话管理：保持浏览器状态并复用于多步骤爬取
• 🧩 代理支持：无缝连接带认证的代理实现安全访问
• ⚙️ 完整浏览器控制：修改headers、cookies、用户代理等定制爬取设置
• 🌍 多浏览器支持：兼容Chromium、Firefox和WebKit
• 📐 动态视口调整：自动调整浏览器视口匹配页面内容，确保完整渲染和元素捕获

• 🖼️ 媒体支持：提取图片、音频、视频及响应式图片格式如srcset和picture
• 🚀 动态爬取：执行JS并等待异步或同步内容提取
• 📸 截图功能：爬取过程中捕获页面截图用于调试或分析
• 📂 原始数据爬取：直接处理原始HTML(raw:)或本地文件(file://)
• 🔗 全面链接提取：提取内部、外部链接及嵌入式iframe内容
• 🛠️ 可定制钩子：在每个步骤定义钩子自定义爬取行为
• 💾 缓存机制：缓存数据提高速度，避免重复获取
• 📄 元数据提取：从网页检索结构化元数据
• 📡 IFrame内容提取：无缝提取嵌入式iframe内容
• 🕵️ 懒加载处理：等待图片完全加载，确保不遗漏懒加载内容
• 🔄 全页扫描：模拟滚动加载并捕获所有动态内容，完美支持无限滚动页面

• 🐳 Docker化部署：优化Docker镜像搭配FastAPI服务器实现轻松部署
• 🔑 安全认证：内置JWT令牌认证保障API安全
• 🔄 API网关：一键部署带安全令牌认证的API工作流
• 🌐 可扩展架构：专为大规模生产环境优化服务器性能
• ☁️ 云部署：提供主流云平台即用部署配置

• 🕶️ 隐身模式：模拟真实用户避免机器人检测
• 🏷️ 标签内容提取：基于自定义标签、headers或元数据优化爬取
• 🔗 链接分析：提取并分析所有链接进行详细数据探索
• 🛡️ 错误处理：稳健的错误管理确保无缝执行
• 🔐 CORS与静态服务：支持基于文件系统的缓存和跨域请求
• 📖 清晰文档：简化并持续更新的入门和高级使用指南
• 🙌 社区认可：透明公开地表彰贡献者和PR提交者

根据需求选择安装方式：

基础安装

适用于基础网页爬取任务：

pip install crawl4ai
crawl4ai-setup # Setup the browser

默认安装异步版Crawl4AI，使用Playwright进行网页爬取。

👉 注意：安装Crawl4AI时，crawl4ai-setup应自动安装并配置Playwright。如遇Playwright相关问题，可手动安装：

1. 通过命令行：

   playwright install
   

2. 如上述无效，尝试更具体的命令：

   python -m playwright install chromium
   

第二种方法在某些情况下更可靠。

同步版本安装

同步版本已弃用，将在未来版本移除。如需使用Selenium的同步版本：

pip install crawl4ai[sync]

开发安装

适用于计划修改源代码的贡献者：

git clone https://github.com/unclecode/crawl4ai.git
cd crawl4ai
pip install -e .                    # Basic installation in editable mode

安装可选功能：

pip install -e ".[torch]"           # With PyTorch features
pip install -e ".[transformer]"     # With Transformer features
pip install -e ".[cosine]"          # With cosine similarity features
pip install -e ".[sync]"            # With synchronous crawling (Selenium)
pip install -e ".[all]"             # Install all optional features

🚀 现已推出！ 我们全新设计的Docker实现比以往更高效、更无缝。

新版Docker特性

包含以下改进：

• 浏览器池：页面预热实现更快响应
• 交互式演练场：测试并生成请求代码
• MCP集成：直接连接Claude Code等AI工具
• 全面API端点：包括HTML提取、截图、PDF生成和JS执行
• 多架构支持：自动检测(AMD64/ARM64)
• 优化资源：改进内存管理

开始使用

# Pull and run the latest release candidate
docker pull unclecode/crawl4ai:0.6.0-rN # Use your favorite revision number
docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:0.6.0-rN # Use your favorite revision number

# Visit the playground at http://localhost:11235/playground

完整文档参见Docker部署指南。

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
from crawl4ai.content_filter_strategy import PruningContentFilter, BM25ContentFilter
from crawl4ai.markdown_generation_strategy import DefaultMarkdownGenerator

async def main():
    browser_config = BrowserConfig(
        headless=True,  
        verbose=True,
    )
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.ENABLED,
        markdown_generator=DefaultMarkdownGenerator(
            content_filter=PruningContentFilter(threshold=0.48, threshold_type="fixed", min_word_threshold=0)
        ),
        # markdown_generator=DefaultMarkdownGenerator(
        #     content_filter=BM25ContentFilter(user_query="WHEN_WE_FOCUS_BASED_ON_A_USER_QUERY", bm25_threshold=1.0)
        # ),
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url="https://docs.micronaut.io/4.7.6/guide/",
            config=run_config
        )
        print(len(result.markdown.raw_markdown))
        print(len(result.markdown.fit_markdown))

if __name__ == "__main__":
    asyncio.run(main())

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
from crawl4ai.extraction_strategy import JsonCssExtractionStrategy
import json

async def main():
    schema = {
    "name": "KidoCode Courses",
    "baseSelector": "section.charge-methodology .w-tab-content > div",
    "fields": [
        {
            "name": "section_title",
            "selector": "h3.heading-50",
            "type": "text",
        },
        {
            "name": "section_description",
            "selector": ".charge-content",
            "type": "text",
        },
        {
            "name": "course_name",
            "selector": ".text-block-93",
            "type": "text",
        },
        {
            "name": "course_description",
            "selector": ".course-content-text",
            "type": "text",
        },
        {
            "name": "course_icon",
            "selector": ".image-92",
            "type": "attribute",
            "attribute": "src"
        }
    }
}

    extraction_strategy = JsonCssExtractionStrategy(schema, verbose=True)

    browser_config = BrowserConfig(
        headless=False,
        verbose=True
    )
    run_config = CrawlerRunConfig(
        extraction_strategy=extraction_strategy,
        js_code=["""(async () => {const tabs = document.querySelectorAll("section.charge-methodology .tabs-menu-3 > div");for(let tab of tabs) {tab.scrollIntoView();tab.click();await new Promise(r => setTimeout(r, 500));}})();"""],
        cache_mode=CacheMode.BYPASS
    )
        
    async with AsyncWebCrawler(config=browser_config) as crawler:
        
        result = await crawler.arun(
            url="https://www.kidocode.com/degrees/technology",
            config=run_config
        )

        companies = json.loads(result.extracted_content)
        print(f"Successfully extracted {len(companies)} companies")
        print(json.dumps(companies[0], indent=2))


if __name__ == "__main__":
    asyncio.run(main())

import os
import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode, LLMConfig
from crawl4ai.extraction_strategy import LLMExtractionStrategy
from pydantic import BaseModel, Field

class OpenAIModelFee(BaseModel):
    model_name: str = Field(..., description="Name of the OpenAI model.")
    input_fee: str = Field(..., description="Fee for input token for the OpenAI model.")
    output_fee: str = Field(..., description="Fee for output token for the OpenAI model.")

async def main():
    browser_config = BrowserConfig(verbose=True)
    run_config = CrawlerRunConfig(
        word_count_threshold=1,
        extraction_strategy=LLMExtractionStrategy(
            # Here you can use any provider that Litellm library supports, for instance: ollama/qwen2
            # provider="ollama/qwen2", api_token="no-token", 
            llm_config = LLMConfig(provider="openai/gpt-4o", api_token=os.getenv('OPENAI_API_KEY')), 
            schema=OpenAIModelFee.schema(),
            extraction_type="schema",
            instruction="""From the crawled content, extract all mentioned model names along with their fees for input and output tokens. 
            Do not miss any models in the entire content. One extracted model JSON format should look like this: 
            {"model_name": "GPT-4", "input_fee": "US$10.00 / 1M tokens", "output_fee": "US$30.00 / 1M tokens"}."""
        ),            
        cache_mode=CacheMode.BYPASS,
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url='https://openai.com/api/pricing/',
            config=run_config
        )
        print(result.extracted_content)

if __name__ == "__main__":
    asyncio.run(main())

import os, sys
from pathlib import Path
import asyncio, time
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode

async def test_news_crawl():
    # Create a persistent user data directory
    user_data_dir = os.path.join(Path.home(), ".crawl4ai", "browser_profile")
    os.makedirs(user_data_dir, exist_ok=True)

    browser_config = BrowserConfig(
        verbose=True,
        headless=True,
        user_data_dir=user_data_dir,
        use_persistent_context=True,
    )
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.BYPASS
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        url = "ADDRESS_OF_A_CHALLENGING_WEBSITE"
        
        result = await crawler.arun(
            url,
            config=run_config,
            magic=True,
        )
        
        print(f"Successfully crawled {url}")
        print(f"Content length: {len(result.markdown)}")

• 0. 图爬虫：使用图搜索算法智能遍历网站，实现全面嵌套页面提取
• 1. 问答式爬虫：自然语言驱动的网页发现与内容提取
• 2. 知识最优爬虫：最大化知识获取同时最小化数据提取
• 3. 代理式爬虫：复杂多步骤爬取操作的自主系统
• 4. 自动化模式生成器：将自然语言转换为提取模式
• 5. 领域专用爬虫：常见平台（学术、电商）的预配置提取器
• 6. 网页嵌入索引：爬取内容的语义搜索基础设施
• 7. 交互式演练场：带 AI 辅助的 Web UI 测试与策略对比
• 8. 性能监控器：实时洞察爬虫运行状态
• 9. 云集成：跨云服务商的一键部署方案
• 10. 赞助计划：分级福利的支持体系
• 11. 教育内容："如何爬取"视频系列与交互式教程

• 数据资产化：将数字足迹转化为可衡量的价值资产
• 真实 AI 数据：为 AI 系统提供真实人类洞察
• 共享经济：创建惠及数据创造者的公平数据市场

1. 开源工具：社区驱动的透明数据提取平台
2. 数字资产结构化：组织和评估数字知识的工具
3. 道德数据市场：安全公平的结构化数据交易平台

详情参见完整使命声明。