私のコンピュータとの関わりは子供の頃に始まりました。コンピュータ科学者である父がAmstradコンピュータを紹介してくれたのがきっかけです。その初期の日々が技術への興味を引き起こし、私はコンピュータサイエンスを学び、大学院ではNLPを専門としました。この時期に初めてWebクローリングに取り組み、研究者が論文を整理し出版物から情報を抽出するのを助けるツールを構築しました。これはデータ抽出スキルを磨く挑戦的でやりがいのある経験でした。

2023年、プロジェクト向けのツールを開発中に、ウェブページをマークダウンに変換するクローラーが必要になりました。ソリューションを探していると、オープンソースを謳いながらアカウント作成とAPIトークン生成を要求するものを見つけました。さらに悪いことに、それは$16を請求するSaaSモデルで、品質も私の基準に達していませんでした。この不満が怒りに変わり、私は独自のソリューションを構築することを決意しました。わずか数日でCrawl4AIを作成しました。驚いたことに、これはバズり、数千のGitHubスターを獲得し、グローバルなコミュニティに共感されました。

私がCrawl4AIをオープンソースにした理由は2つあります。1つ目は、私のキャリアを通じて支えてくれたオープンソースコミュニティへの恩返しです。2つ目は、データは誰もがアクセス可能であるべきで、ペイウォールの後ろに閉じ込められたり、少数によって独占されたりすべきではないという信念です。データへのオープンアクセスは、個人が自分自身のモデルをトレーニングし、自分の情報の所有権を取ることができるAIの民主化のビジョンの基礎を築きます。このライブラリは、情熱的なコミュニティによって協力的に構築される、史上最高のオープンソースデータ抽出・生成ツールを作る大きな旅の第一歩です。

このプロジェクトをサポートし、使用し、フィードバックを共有してくれた皆さんに感謝します。あなたの励ましが私にさらに大きな夢を抱かせます。私たちに参加し、問題を報告し、PRを提出し、または言葉を広めてください。一緒に、人々が自分自身のデータにアクセスし、AIの未来を再形成する真に力強いツールを構築しましょう。

• 🧹 クリーンなマークダウン: 正確なフォーマットでクリーンで構造化されたマークダウンを生成
• 🎯 フィットマークダウン: ノイズや無関係な部分を除去するヒューリスティックベースのフィルタリングでAIフレンドリーな処理
• 🔗 引用と参照: ページリンクを番号付き参照リストに変換し、クリーンな引用を提供
• 🛠️ カスタム戦略: 特定のニーズに合わせた独自のマークダウン生成戦略を作成可能
• 📚 BM25アルゴリズム: コア情報を抽出し無関係なコンテンツを除去するBM25ベースのフィルタリングを採用

• 🤖 LLM駆動抽出: 構造化データ抽出のためにすべてのLLM（オープンソースおよびプロプライエタリ）をサポート
• 🧱 チャンキング戦略: ターゲットコンテンツ処理のためのチャンキング（トピックベース、正規表現、文レベル）を実装
• 🌌 コサイン類似度: セマンティック抽出のためのユーザークエリに基づく関連コンテンツチャンクを検索
• 🔎 CSSベース抽出: XPathとCSSセレクタを使用した高速なスキーマベースのデータ抽出
• 🔧 スキーマ定義: 繰り返しパターンから構造化JSONを抽出するためのカスタムスキーマを定義

• 🖥️ 管理されたブラウザ: ボット検出を回避する完全な制御を伴うユーザー所有のブラウザを使用
• 🔄 リモートブラウザ制御: 大規模なデータ抽出のためにChrome Developer Tools Protocolに接続
• 👤 ブラウザプロファイラー: 保存された認証状態、クッキー、設定を持つ永続的なプロファイルを作成・管理
• 🔒 セッション管理: ブラウザ状態を保持し、マルチステップクローリングで再利用
• 🧩 プロキシサポート: 認証付きプロキシにシームレスに接続して安全なアクセスを実現
• ⚙️ 完全なブラウザ制御: ヘッダー、クッキー、ユーザーエージェントなどを変更してカスタマイズされたクローリング設定を実現
• 🌍 マルチブラウザサポート: Chromium、Firefox、WebKitに対応
• 📐 動的ビューポート調整: ブラウザのビューポートをページコンテンツに合わせて自動調整し、すべての要素の完全なレンダリングとキャプチャを保証

• 🖼️ メディアサポート: 画像、オーディオ、ビデオ、およびsrcsetやpictureなどのレスポンシブ画像フォーマットを抽出
• 🚀 動的クローリング: JSを実行し、非同期または同期を待機して動的コンテンツを抽出
• 📸 スクリーンショット: デバッグや分析のためにクローリング中にページのスクリーンショットをキャプチャ
• 📂 生データクローリング: 生HTML(raw:)またはローカルファイル(file://)を直接処理
• 🔗 包括的なリンク抽出: 内部リンク、外部リンク、および埋め込みiframeコンテンツを抽出
• 🛠️ カスタマイズ可能なフック: クローリング動作をカスタマイズするためのあらゆるステップでフックを定義
• 💾 キャッシング: 速度向上と冗長なフェッチを避けるためにデータをキャッシュ
• 📄 メタデータ抽出: ウェブページから構造化メタデータを取得
• 📡 IFrameコンテンツ抽出: 埋め込みiframeコンテンツからのシームレスな抽出
• 🕵️ レイジーロード処理: 画像が完全にロードされるのを待機し、レイジーロードによるコンテンツの見逃しを防止
• 🔄 フルページスキャン: 無限スクロールページに最適な、すべての動的コンテンツをロードしてキャプチャするためのスクロールをシミュレート

• 🐳 Docker化セットアップ: FastAPIサーバーを備えた最適化されたDockerイメージで簡単なデプロイメント
• 🔑 セキュアな認証: APIセキュリティのための組み込みJWTトークン認証
• 🔄 APIゲートウェイ: APIベースのワークフローのためのセキュアなトークン認証を伴うワンクリックデプロイメント
• 🌐 スケーラブルなアーキテクチャ: 大規模な本番環境向けに設計され、サーバーパフォーマンスが最適化
• ☁️ クラウドデプロイメント: 主要なクラウドプラットフォーム向けのデプロイメント設定が準備完了

• 🕶️ ステルスモード: 実際のユーザーを模倣してボット検出を回避
• 🏷️ タグベースコンテンツ抽出: カスタムタグ、ヘッダー、またはメタデータに基づいてクローリングを洗練
• 🔗 リンク分析: 詳細なデータ探索のためにすべてのリンクを抽出・分析
• 🛡️ エラーハンドリング: シームレスな実行のための堅牢なエラー管理
• 🔐 CORS＆静的提供: ファイルシステムベースのキャッシングとクロスオリジンリクエストをサポート
• 📖 明確なドキュメント: オンボーディングと高度な使用法のための簡素化され更新されたガイド
• 🙌 コミュニティ認識: 透明性のために貢献者とプルリクエストを認識

ニーズに最適なインストールオプションを選択:

基本インストール

基本的なWebクローリングとスクレイピングタスク向け:

pip install crawl4ai
crawl4ai-setup # Setup the browser

デフォルトでは、WebクローリングにPlaywrightを使用するCrawl4AIの非同期バージョンがインストールされます。

👉 注意: Crawl4AIをインストールすると、crawl4ai-setupが自動的にPlaywrightをインストールしてセットアップするはずです。しかし、Playwright関連のエラーが発生した場合、以下のいずれかの方法で手動でインストールできます:

1. コマンドラインから:

   playwright install
   

2. 上記がうまくいかない場合、このより具体的なコマンドを試してください:

   python -m playwright install chromium
   

この2番目の方法は、いくつかのケースでより信頼性が高いことが証明されています。

同期バージョンでのインストール

同期バージョンは非推奨で、将来のバージョンで削除されます。Seleniumを使用する同期バージョンが必要な場合:

pip install crawl4ai[sync]

開発インストール

ソースコードを変更する予定の貢献者向け:

git clone https://github.com/unclecode/crawl4ai.git
cd crawl4ai
pip install -e .                    # Basic installation in editable mode

オプション機能をインストール:

pip install -e ".[torch]"           # With PyTorch features
pip install -e ".[transformer]"     # With Transformer features
pip install -e ".[cosine]"          # With cosine similarity features
pip install -e ".[sync]"            # With synchronous crawling (Selenium)
pip install -e ".[all]"             # Install all optional features

🚀 利用可能になりました！ 完全に再設計されたDocker実装が登場！この新しいソリューションは、これまで以上に効率的でシームレスなデプロイメントを実現します。

新しいDocker機能

新しいDocker実装には以下が含まれます:

• より速い応答時間のためのページ事前ウォーミングを伴うブラウザプーリング
• リクエストコードをテストおよび生成するためのインタラクティブプレイグラウンド
• Claude CodeなどのAIツールに直接接続するためのMCP統合
• HTML抽出、スクリーンショット、PDF生成、JavaScript実行を含む包括的なAPIエンドポイント
• 自動検出(AMD64/ARM64)を伴うマルチアーキテクチャサポート
• 改善されたメモリ管理を伴う最適化されたリソース

はじめに

# Pull and run the latest release candidate
docker pull unclecode/crawl4ai:0.6.0-rN # Use your favorite revision number
docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:0.6.0-rN # Use your favorite revision number

# Visit the playground at http://localhost:11235/playground

完全なドキュメントについては、Dockerデプロイメントガイドを参照してください。

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
from crawl4ai.content_filter_strategy import PruningContentFilter, BM25ContentFilter
from crawl4ai.markdown_generation_strategy import DefaultMarkdownGenerator

async def main():
    browser_config = BrowserConfig(
        headless=True,  
        verbose=True,
    )
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.ENABLED,
        markdown_generator=DefaultMarkdownGenerator(
            content_filter=PruningContentFilter(threshold=0.48, threshold_type="fixed", min_word_threshold=0)
        ),
        # markdown_generator=DefaultMarkdownGenerator(
        #     content_filter=BM25ContentFilter(user_query="WHEN_WE_FOCUS_BASED_ON_A_USER_QUERY", bm25_threshold=1.0)
        # ),
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url="https://docs.micronaut.io/4.7.6/guide/",
            config=run_config
        )
        print(len(result.markdown.raw_markdown))
        print(len(result.markdown.fit_markdown))

if __name__ == "__main__":
    asyncio.run(main())

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
from crawl4ai.extraction_strategy import JsonCssExtractionStrategy
import json

async def main():
    schema = {
    "name": "KidoCode Courses",
    "baseSelector": "section.charge-methodology .w-tab-content > div",
    "fields": [
        {
            "name": "section_title",
            "selector": "h3.heading-50",
            "type": "text",
        },
        {
            "name": "section_description",
            "selector": ".charge-content",
            "type": "text",
        },
        {
            "name": "course_name",
            "selector": ".text-block-93",
            "type": "text",
        },
        {
            "name": "course_description",
            "selector": ".course-content-text",
            "type": "text",
        },
        {
            "name": "course_icon",
            "selector": ".image-92",
            "type": "attribute",
            "attribute": "src"
        }
    }
}

    extraction_strategy = JsonCssExtractionStrategy(schema, verbose=True)

    browser_config = BrowserConfig(
        headless=False,
        verbose=True
    )
    run_config = CrawlerRunConfig(
        extraction_strategy=extraction_strategy,
        js_code=["""(async () => {const tabs = document.querySelectorAll("section.charge-methodology .tabs-menu-3 > div");for(let tab of tabs) {tab.scrollIntoView();tab.click();await new Promise(r => setTimeout(r, 500));}})();"""],
        cache_mode=CacheMode.BYPASS
    )
        
    async with AsyncWebCrawler(config=browser_config) as crawler:
        
        result = await crawler.arun(
            url="https://www.kidocode.com/degrees/technology",
            config=run_config
        )

        companies = json.loads(result.extracted_content)
        print(f"Successfully extracted {len(companies)} companies")
        print(json.dumps(companies[0], indent=2))


if __name__ == "__main__":
    asyncio.run(main())

import os
import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode, LLMConfig
from crawl4ai.extraction_strategy import LLMExtractionStrategy
from pydantic import BaseModel, Field

class OpenAIModelFee(BaseModel):
    model_name: str = Field(..., description="Name of the OpenAI model.")
    input_fee: str = Field(..., description="Fee for input token for the OpenAI model.")
    output_fee: str = Field(..., description="Fee for output token for the OpenAI model.")

async def main():
    browser_config = BrowserConfig(verbose=True)
    run_config = CrawlerRunConfig(
        word_count_threshold=1,
        extraction_strategy=LLMExtractionStrategy(
            # Here you can use any provider that Litellm library supports, for instance: ollama/qwen2
            # provider="ollama/qwen2", api_token="no-token", 
            llm_config = LLMConfig(provider="openai/gpt-4o", api_token=os.getenv('OPENAI_API_KEY')), 
            schema=OpenAIModelFee.schema(),
            extraction_type="schema",
            instruction="""From the crawled content, extract all mentioned model names along with their fees for input and output tokens. 
            Do not miss any models in the entire content. One extracted model JSON format should look like this: 
            {"model_name": "GPT-4", "input_fee": "US$10.00 / 1M tokens", "output_fee": "US$30.00 / 1M tokens"}."""
        ),            
        cache_mode=CacheMode.BYPASS,
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url='https://openai.com/api/pricing/',
            config=run_config
        )
        print(result.extracted_content)

if __name__ == "__main__":
    asyncio.run(main())

import os, sys
from pathlib import Path
import asyncio, time
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode

async def test_news_crawl():
    # Create a persistent user data directory
    user_data_dir = os.path.join(Path.home(), ".crawl4ai", "browser_profile")
    os.makedirs(user_data_dir, exist_ok=True)

    browser_config = BrowserConfig(
        verbose=True,
        headless=True,
        user_data_dir=user_data_dir,
        use_persistent_context=True,
    )
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.BYPASS
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        url = "ADDRESS_OF_A_CHALLENGING_WEBSITE"
        
        result = await crawler.arun(
            url,
            config=run_config,
            magic=True,
        )
        
        print(f"Successfully crawled {url}")
        print(f"Content length: {len(result.markdown)}")

• 0. グラフクローラー: グラフ探索アルゴリズムによる包括的なネストページ抽出
• 1. 質問ベースクローラー: 自然言語駆動型ウェブ発見・コンテンツ抽出
• 2. 知識最適化クローラー: データ抽出最小化で知識最大化するインテリジェントクローリング
• 3. エージェンシッククローラー: 複数段階クローリング操作の自律システム
• 4. 自動スキーマジェネレーター: 自然言語から抽出スキーマへ変換
• 5. ドメイン特化スクレイパー: 主要プラットフォーム向け事前設定済み抽出器（学術、eコマース）
• 6. ウェブ埋め込みインデックス: クロールコンテンツのセマンティック検索基盤
• 7. インタラクティブプレイグラウンド: AI支援付きテスト・戦略比較用Web UI
• 8. パフォーマンスモニター: クローラー操作のリアルタイム可視化
• 9. クラウド統合: クラウドプロバイダー向けワンクリックデプロイ
• 10. スポンサーシッププログラム: 階層型特典付き支援システム
• 11. 教育コンテンツ: 「クローリング入門」動画シリーズとインタラクティブチュートリアル

• データ資本化: デジタルフットプリントを測定可能な価値ある資産へ変換
• 真正なAIデータ: AIシステムに実在する人間の洞察を提供
• 共有経済: データ作成者が利益を得る公平なマーケットプレイス創出

1. オープンソースツール: 透明性あるデータ抽出のためのコミュニティ駆動型プラットフォーム
2. デジタル資産構造化: デジタル知識を整理・評価するツール
3. 倫理的データマーケットプレイス: 構造化データ交換の安全で公平なプラットフォーム

詳細は完全なミッションステートメントをご覧ください。