제 컴퓨터와의 여정은 어린 시절로 거슬러 올라갑니다. 컴퓨터 과학자이신 아버지가 저에게 Amstrad 컴퓨터를 소개해주셨죠. 그 초기 시절은 기술에 대한 매력을 불러일으켰고, 결국 컴퓨터 과학을 전공하게 되었으며 대학원 시절에는 NLP를 전문화했습니다. 그 당시 웹 크롤링에 처음 발을 들였고, 연구자들이 논문을 정리하고 출판물에서 정보를 추출할 수 있도록 돕는 도구를 만들었습니다. 데이터 추출 기술을 연마하는 도전적이면서도 보람 있는 경험이었죠.

2023년으로 넘어와, 저는 프로젝트를 위한 도구를 작업 중이었고 웹페이지를 마크다운으로 변환할 크롤러가 필요했습니다. 해결책을 찾던 중, 오픈소스라고 주장하지만 계정 생성과 API 토큰 생성이 필요한 것을 발견했습니다. 더 나쁜 것은 SaaS 모델로 $16을 청구했고 품질이 제 기준에 미치지 못했습니다. 좌절감을 느끼며, 이는 더 깊은 문제임을 깨달았습니다. 그 좌절감은 터보 분노 모드로 바뀌었고, 저는 직접 해결책을 만들기로 결정했습니다. 단 며칠 만에 Crawl4AI를 만들었습니다. 놀랍게도, 이 프로젝트는 급속도로 퍼져 수천 개의 GitHub 스타를 얻으며 글로벌 커뮤니티와 공감을 얻었습니다.

저는 Crawl4AI를 오픈소스로 공개한 데 두 가지 이유가 있습니다. 첫째, 제 경력 전반에 걸쳐 저를 지원해준 오픈소스 커뮤니티에 보답하는 방법이기 때문입니다. 둘째, 데이터는 모든 사람이 접근할 수 있어야 하며, 유료 벽 뒤에 갇히거나 소수에 의해 독점되어서는 안 된다고 믿기 때문입니다. 데이터에 대한 개방형 접근은 AI의 민주화를 위한 기반을 마련하며, 개인이 자신의 모델을 훈련하고 정보의 소유권을 가질 수 있는 비전을 실현합니다. 이 라이브러리는 열정적인 커뮤니티가 협력하여 구축한 최고의 오픈소스 데이터 추출 및 생성 도구를 만들기 위한 더 큰 여정의 첫 걸음입니다.

이 프로젝트를 지원하고 사용하며 피드백을 공유해주신 모든 분들께 감사드립니다. 여러분의 격려는 제가 더 큰 꿈을 꾸도록 동기부여합니다. 함께하셔서 이슈를 제출하거나 PR을 제출하거나 소문을 퍼뜨려주세요. 함께라면 사람들이 자신의 데이터에 접근하고 AI의 미래를 재구성할 수 있는 진정한 도구를 만들 수 있습니다.

• 🧹 깔끔한 마크다운: 정확한 형식으로 깔끔하고 구조화된 마크다운을 생성합니다.
• 🎯 적합한 마크다운: AI 친화적인 처리를 위해 노이즈 및 관련 없는 부분을 제거하는 휴리스틱 기반 필터링.
• 🔗 인용 및 참조: 페이지 링크를 깔끔한 인용이 포함된 번호 매기기 참조 목록으로 변환합니다.
• 🛠️ 사용자 정의 전략: 특정 요구 사항에 맞춘 사용자 정의 마크다운 생성 전략을 만들 수 있습니다.
• 📚 BM25 알고리즘: 핵심 정보 추출 및 관련 없는 콘텐츠 제거를 위해 BM25 기반 필터링을 사용합니다.

• 🤖 LLM 기반 추출: 구조화된 데이터 추출을 위해 모든 LLM(오픈소스 및 독점)을 지원합니다.
• 🧱 청킹 전략: 대상 콘텐츠 처리를 위한 청킹(주제 기반, 정규식, 문장 수준)을 구현합니다.
• 🌌 코사인 유사도: 의미론적 추출을 위해 사용자 쿼리 기반 관련 콘텐츠 청크를 찾습니다.
• 🔎 CSS 기반 추출: XPath 및 CSS 선택자를 사용한 빠른 스키마 기반 데이터 추출.
• 🔧 스키마 정의: 반복적인 패턴에서 구조화된 JSON을 추출하기 위한 사용자 정의 스키마 정의.

• 🖥️ 관리형 브라우저: 봇 탐지를 피하면서 사용자 소유의 브라우저를 완전한 제어와 함께 사용합니다.
• 🔄 원격 브라우저 제어: 대규모 데이터 추출을 위해 Chrome 개발자 도구 프로토콜에 연결합니다.
• 👤 브라우저 프로파일러: 저장된 인증 상태, 쿠키 및 설정이 포함된 지속적인 프로필 생성 및 관리.
• 🔒 세션 관리: 브라우저 상태를 보존하고 다단계 크롤링을 위해 재사용합니다.
• 🧩 프록시 지원: 보안 접근을 위한 인증이 포함된 프록시에 원활하게 연결합니다.
• ⚙️ 완전한 브라우저 제어: 맞춤형 크롤링 설정을 위해 헤더, 쿠키, 사용자 에이전트 등을 수정합니다.
• 🌍 다중 브라우저 지원: Chromium, Firefox 및 WebKit과 호환됩니다.
• 📐 동적 뷰포트 조정: 브라우저 뷰포트를 페이지 콘텐츠에 맞게 자동 조정하여 모든 요소의 완전한 렌더링 및 캡처를 보장합니다.

• 🖼️ 미디어 지원: 이미지, 오디오, 비디오 및 srcset 및 picture와 같은 반응형 이미지 형식을 추출합니다.
• 🚀 동적 크롤링: JS 실행 및 비동기 또는 동기 대기를 통해 동적 콘텐츠 추출.
• 📸 스크린샷: 디버깅 또는 분석을 위해 크롤링 중 페이지 스크린샷 캡처.
• 📂 원시 데이터 크롤링: 원시 HTML(raw:) 또는 로컬 파일(file://)을 직접 처리합니다.
• 🔗 포괄적인 링크 추출: 내부, 외부 링크 및 임베디드 iframe 콘텐츠를 추출합니다.
• 🛠️ 사용자 정의 가능한 훅: 크롤링 동작을 사용자 정의하기 위해 모든 단계에서 훅을 정의합니다.
• 💾 캐싱: 속도 향상 및 중복 페치 방지를 위해 데이터를 캐시합니다.
• 📄 메타데이터 추출: 웹 페이지에서 구조화된 메타데이터를 검색합니다.
• 📡 IFrame 콘텐츠 추출: 임베디드 iframe 콘텐츠에서 원활한 추출.
• 🕵️ 지연 로드 처리: 이미지가 완전히 로드될 때까지 대기하여 지연 로드로 인한 콘텐츠 누락을 방지합니다.
• 🔄 전체 페이지 스캐닝: 무한 스크롤 페이지에 완벽한 모든 동적 콘텐츠를 로드하고 캡처하기 위해 스크롤을 시뮬레이션합니다.

• 🐳 Dockerized 설정: 쉬운 배포를 위한 FastAPI 서버가 포함된 최적화된 Docker 이미지.
• 🔑 보안 인증: API 보안을 위한 내장 JWT 토큰 인증.
• 🔄 API 게이트웨이: API 기반 워크플로우를 위한 보안 토큰 인증으로 원클릭 배포.
• 🌐 확장 가능한 아키텍처: 대규모 생산 및 최적화된 서버 성능을 위해 설계되었습니다.
• ☁️ 클라우드 배포: 주요 클라우드 플랫폼을 위한 즉시 배포 가능한 구성.

• 🕶️ 스텔스 모드: 실제 사용자를 모방하여 봇 탐지를 피합니다.
• 🏷️ 태그 기반 콘텐츠 추출: 사용자 정의 태그, 헤더 또는 메타데이터를 기반으로 크롤링을 정제합니다.
• 🔗 링크 분석: 상세한 데이터 탐색을 위해 모든 링크를 추출하고 분석합니다.
• 🛡️ 오류 처리: 원활한 실행을 위한 강력한 오류 관리.
• 🔐 CORS & 정적 서빙: 파일 시스템 기반 캐싱 및 교차 출처 요청을 지원합니다.
• 📖 명확한 문서화: 온보딩 및 고급 사용을 위한 단순화되고 업데이트된 가이드.
• 🙌 커뮤니티 인정: 투명성을 위해 기여자 및 풀 리퀘스트를 인정합니다.

필요에 맞는 설치 옵션을 선택하세요:

기본 설치

기본적인 웹 크롤링 및 스크래핑 작업을 위한:

pip install crawl4ai
crawl4ai-setup # Setup the browser

기본적으로 Playwright를 사용하는 Crawl4AI의 비동기 버전이 설치됩니다.

👉 참고: Crawl4AI를 설치할 때 crawl4ai-setup이 자동으로 Playwright를 설치하고 설정해야 합니다. 그러나 Playwright 관련 오류가 발생하면 다음 방법 중 하나로 수동으로 설치할 수 있습니다:

1. 명령줄을 통해:

   playwright install
   

2. 위 방법이 작동하지 않으면 더 구체적인 명령어 시도:

   python -m playwright install chromium
   

이 두 번째 방법이 경우에 따라 더 안정적입니다.

동기 버전 설치

동기 버전은 더 이상 사용되지 않으며 향후 버전에서 제거될 예정입니다. Selenium을 사용하는 동기 버전이 필요한 경우:

pip install crawl4ai[sync]

개발 설치

소스 코드를 수정할 계획인 기여자를 위한:

git clone https://github.com/unclecode/crawl4ai.git
cd crawl4ai
pip install -e .                    # Basic installation in editable mode

선택적 기능 설치:

pip install -e ".[torch]"           # With PyTorch features
pip install -e ".[transformer]"     # With Transformer features
pip install -e ".[cosine]"          # With cosine similarity features
pip install -e ".[sync]"            # With synchronous crawling (Selenium)
pip install -e ".[all]"             # Install all optional features

🚀 이제 사용 가능! 완전히 재설계된 Docker 구현이 도입되었습니다! 이 새로운 솔루션은 이전보다 더 효율적이고 원활한 배포를 가능하게 합니다.

새로운 Docker 기능

새로운 Docker 구현에는 다음이 포함됩니다:

• 페이지 사전 워밍을 통한 브라우저 풀링으로 더 빠른 응답 시간
• 요청 코드를 테스트하고 생성하기 위한 대화형 플레이그라운드
• Claude Code와 같은 AI 도구에 직접 연결하기 위한 MCP 통합
• HTML 추출, 스크린샷, PDF 생성 및 JavaScript 실행을 포함한 포괄적인 API 엔드포인트
• 자동 감지(AMD64/ARM64)를 통한 다중 아키텍처 지원
• 개선된 메모리 관리를 통한 최적화된 리소스

시작하기

# Pull and run the latest release candidate
docker pull unclecode/crawl4ai:0.6.0-rN # Use your favorite revision number
docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:0.6.0-rN # Use your favorite revision number

# Visit the playground at http://localhost:11235/playground

전체 문서는 Docker 배포 가이드를 참조하세요.

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
from crawl4ai.content_filter_strategy import PruningContentFilter, BM25ContentFilter
from crawl4ai.markdown_generation_strategy import DefaultMarkdownGenerator

async def main():
    browser_config = BrowserConfig(
        headless=True,  
        verbose=True,
    )
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.ENABLED,
        markdown_generator=DefaultMarkdownGenerator(
            content_filter=PruningContentFilter(threshold=0.48, threshold_type="fixed", min_word_threshold=0)
        ),
        # markdown_generator=DefaultMarkdownGenerator(
        #     content_filter=BM25ContentFilter(user_query="WHEN_WE_FOCUS_BASED_ON_A_USER_QUERY", bm25_threshold=1.0)
        # ),
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url="https://docs.micronaut.io/4.7.6/guide/",
            config=run_config
        )
        print(len(result.markdown.raw_markdown))
        print(len(result.markdown.fit_markdown))

if __name__ == "__main__":
    asyncio.run(main())

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode
from crawl4ai.extraction_strategy import JsonCssExtractionStrategy
import json

async def main():
    schema = {
    "name": "KidoCode Courses",
    "baseSelector": "section.charge-methodology .w-tab-content > div",
    "fields": [
        {
            "name": "section_title",
            "selector": "h3.heading-50",
            "type": "text",
        },
        {
            "name": "section_description",
            "selector": ".charge-content",
            "type": "text",
        },
        {
            "name": "course_name",
            "selector": ".text-block-93",
            "type": "text",
        },
        {
            "name": "course_description",
            "selector": ".course-content-text",
            "type": "text",
        },
        {
            "name": "course_icon",
            "selector": ".image-92",
            "type": "attribute",
            "attribute": "src"
        }
    }
}

    extraction_strategy = JsonCssExtractionStrategy(schema, verbose=True)

    browser_config = BrowserConfig(
        headless=False,
        verbose=True
    )
    run_config = CrawlerRunConfig(
        extraction_strategy=extraction_strategy,
        js_code=["""(async () => {const tabs = document.querySelectorAll("section.charge-methodology .tabs-menu-3 > div");for(let tab of tabs) {tab.scrollIntoView();tab.click();await new Promise(r => setTimeout(r, 500));}})();"""],
        cache_mode=CacheMode.BYPASS
    )
        
    async with AsyncWebCrawler(config=browser_config) as crawler:
        
        result = await crawler.arun(
            url="https://www.kidocode.com/degrees/technology",
            config=run_config
        )

        companies = json.loads(result.extracted_content)
        print(f"Successfully extracted {len(companies)} companies")
        print(json.dumps(companies[0], indent=2))


if __name__ == "__main__":
    asyncio.run(main())

import os
import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode, LLMConfig
from crawl4ai.extraction_strategy import LLMExtractionStrategy
from pydantic import BaseModel, Field

class OpenAIModelFee(BaseModel):
    model_name: str = Field(..., description="Name of the OpenAI model.")
    input_fee: str = Field(..., description="Fee for input token for the OpenAI model.")
    output_fee: str = Field(..., description="Fee for output token for the OpenAI model.")

async def main():
    browser_config = BrowserConfig(verbose=True)
    run_config = CrawlerRunConfig(
        word_count_threshold=1,
        extraction_strategy=LLMExtractionStrategy(
            # Here you can use any provider that Litellm library supports, for instance: ollama/qwen2
            # provider="ollama/qwen2", api_token="no-token", 
            llm_config = LLMConfig(provider="openai/gpt-4o", api_token=os.getenv('OPENAI_API_KEY')), 
            schema=OpenAIModelFee.schema(),
            extraction_type="schema",
            instruction="""From the crawled content, extract all mentioned model names along with their fees for input and output tokens. 
            Do not miss any models in the entire content. One extracted model JSON format should look like this: 
            {"model_name": "GPT-4", "input_fee": "US$10.00 / 1M tokens", "output_fee": "US$30.00 / 1M tokens"}."""
        ),            
        cache_mode=CacheMode.BYPASS,
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result = await crawler.arun(
            url='https://openai.com/api/pricing/',
            config=run_config
        )
        print(result.extracted_content)

if __name__ == "__main__":
    asyncio.run(main())

import os, sys
from pathlib import Path
import asyncio, time
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode

async def test_news_crawl():
    # Create a persistent user data directory
    user_data_dir = os.path.join(Path.home(), ".crawl4ai", "browser_profile")
    os.makedirs(user_data_dir, exist_ok=True)

    browser_config = BrowserConfig(
        verbose=True,
        headless=True,
        user_data_dir=user_data_dir,
        use_persistent_context=True,
    )
    run_config = CrawlerRunConfig(
        cache_mode=CacheMode.BYPASS
    )
    
    async with AsyncWebCrawler(config=browser_config) as crawler:
        url = "ADDRESS_OF_A_CHALLENGING_WEBSITE"
        
        result = await crawler.arun(
            url,
            config=run_config,
            magic=True,
        )
        
        print(f"Successfully crawled {url}")
        print(f"Content length: {len(result.markdown)}")

• 0. 그래프 크롤러: 그래프 탐색 알고리즘을 사용한 스마트 웹사이트 순회 및 중첩 페이지 추출
• 1. 질문 기반 크롤러: 자연어 기반 웹 탐색 및 콘텐츠 추출
• 2. 지식 최적화 크롤러: 데이터 추출을 최소화하면서 지식을 극대화하는 스마트 크롤링
• 3. 에이전트 크롤러: 복잡한 다단계 크롤링 작업을 위한 자율 시스템
• 4. 자동 스키마 생성기: 자연어를 추출 스키마로 변환
• 5. 도메인 특화 스크래퍼: 일반 플랫폼(학술, 전자상거래)을 위한 사전 구성 추출기
• 6. 웹 임베딩 인덱스: 크롤링된 콘텐츠의 의미론적 검색 인프라
• 7. 인터랙티브 플레이그라운드: AI 지원으로 전략 테스트 및 비교를 위한 웹 UI
• 8. 성능 모니터: 크롤러 운영에 대한 실시간 인사이트
• 9. 클라우드 통합: 클라우드 제공업체 간 원클릭 배포 솔루션
• 10. 스폰서십 프로그램: 계층별 혜택이 있는 구조화된 지원 시스템
• 11. 교육 콘텐츠: "크롤링 방법" 비디오 시리즈 및 인터랙티브 튜토리얼

• 데이터 자본화: 디지털 흔적을 측정 가능하고 가치 있는 자산으로 변환
• 진정성 있는 AI 데이터: AI 시스템에 실제 인간 통찰력 제공
• 공유 경제: 데이터 창작자에게 혜택이 돌아가는 공정한 데이터 시장 창출

1. 오픈소스 도구: 투명한 데이터 추출을 위한 커뮤니티 주도 플랫폼
2. 디지털 자산 구조화: 디지털 지식을 조직하고 가치를 부여하는 도구
3. 윤리적 데이터 시장: 구조화된 데이터를 교환하기 위한 안전하고 공정한 플랫폼

자세한 내용은 전체 미션 설명을 참조하세요.