web-scraper

대규모 웹 검색, 스크래핑, 상호작용을 위한 컨텍스트 API. 🔥

🕷️ 단일 요청부터 대규모 크롤링까지 모두 처리하는 적응형 웹 스크래핑 프레임워크!

AI 에이전트에 인터넷 전체를 볼 수 있는 눈을 부여하세요. Twitter, Reddit, YouTube, GitHub, Bilibili, XiaoHongShu 읽기 및 검색 — 하나의 CLI, API 비용 제로

AI 기반 Python 스크래퍼

🔥 웹 스크래핑, 크롤링, 검색 및 AI 데이터 추출을 위한 오픈소스 노코드 플랫폼 • 몇 분 만에 웹사이트를 구조화된 API로 변환 🔥

다양한 언어로 작성된 훌륭한 웹 크롤러 및 스파이더 모음입니다.

Google Maps에서 데이터를 스크래핑합니다. 각 장소의 이름, 주소, 전화번호, 웹사이트 URL, 평점, 리뷰 수, 위도 및 경도, 리뷰, 이메일 등의 데이터를 추출합니다.

실용적인 지식 빌딩 프로젝트 목록

차단 없이 대규모로 Google AI 모드 응답 스크래핑

PHP Curl Class를 사용하면 HTTP 요청을 쉽게 전송하고 웹 API와 통합할 수 있습니다.

LLM 기반의 강력한 웹 스크래퍼 | OpenAI, Gemini 및 Ollama

Python을 사용하여 Amazon에서 제목, 평점, 가격, 이미지, 설명 등 제품 데이터를 추출하는 프로세스입니다.

온라인 소스에서 전자책을 생성하고 다운로드합니다.

BeautifulSoup과 유사한 Go 언어 웹 스크래퍼

Python과 Oxylabs E-Commerce Scraper API를 사용하여 Amazon에서 베스트셀러 상품, 검색 결과, 현재 진행 중인 할인 상품을 추출하는 코드입니다.

Python과 Oxylabs SERP Scraper API를 사용하여 Google Scholar에서 제목, 저자, 인용 횟수를 추출하는 가이드

단일 HTML 파일에 전체 웹페이지의 충실한 복사본을 저장하기 위한 CLI 도구 (SingleFile 기반)

AI 에이전트를 위한 최고의 헤드리스 브라우저. 가볍고 빠르며 호환성이 높음. Rust로 제작됨

Python 3에서 더 빠른 요청 처리

AI Scraper는 비교할 수 없는 정밀도로 데이터 추출을 자동화하도록 구축된 강력한 스크래핑 도구이자 스크래핑 에이전트입니다. 다양한 웹 소스에서 확장 가능한 AI 스크래핑 작업에 이상적이며, 복잡한 스크래핑 작업을 효율적이고 지능적인 워크플로로 단순화합니다.

인체공학적이고 프라이버시를 고려한 Rust HTTP 클라이언트

Rust로 작성된 빠르고 가벼운 Firecrawl/Tavily 대안. AI 에이전트를 위한 MCP 서버를 포함한 웹 스크레이퍼, 크롤러 및 검색 API. Firecrawl 호환 API 제공, 1K-URL 벤치마크 기준 Tavily 대비 2.3배, Firecrawl 대비 1.5배 빠름. 6MB RAM 점유, 단일 바이너리. 자체 호스팅 또는 관리형 클라우드 사용 가능

사이트, 여러 도메인, 특정 링크 크롤링 또는 무한 크롤링이 가능한 다목적 Ruby 웹 스파이더링 라이브러리. Spidr은 빠르고 사용하기 쉽도록 설계되었습니다.

웹 전반의 스크레이퍼 목록

에이전트를 위한 더 나은 링크 추출 기능을 갖춘 100% 무료 오픈 소스 Firecrawl 대안. Cloudflare나 Vercel에 직접 배포 가능.

PHP용 범용 웹 유틸리티입니다.

소셜 미디어 전반에서 사용자 데이터 가져오기

Basketball Reference를 통한 NBA 통계 API

Official Oxylabs AI-Studio Openclaw plugin

Oxylabs Web Scraper API 무료 체험을 활용하기 위한 Python 퀵스타트 가이드