web-scraping
web-scraping 태그가 달린 추적 중인 오픈소스 리포지토리를 스타 수 순으로 보여줘요.
관련 토픽
같은 리포지토리에 web-scraping 태그와 자주 함께 쓰이는 토픽이에요.
최근 라이징
최근 90일 안에 만들어지고 web-scraping 태그가 달린 리포지토리예요.
- #1creatorhub@3441293738
멀티 플랫폼 콘텐츠 모니터링·수집·배포. 하나의 Web 패널로 Douyin / Xiaohongshu / Kuaishou 관리
★ 1,781 - #2moli@lexmount
AI 에이전트를 위한 최고의 헤드리스 브라우저. 가볍고 빠르며 호환성이 높음. Rust로 제작됨
★ 1,481 - #3trawl@germondai
셀프 호스팅 스크래핑 엔진 — Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest 등 모든 JS 챌린지 및 캡차 우회. FlareSolverr 및 Byparr의 대안이자 *arr 스택의 드롭인 대체품.
★ 742 - #4browser-search@Johell1NS
A skill for AI agents: search the web with SearXNG, browse with Camofox, bypass protections with CloakBrowser. Anti-hallucination by design. Self-hosted, free, unlimited.
★ 506 - #5oc@only-cli
Turn any website into a compact CLI tailored for AI agents. Browse the web in hundreds of tokens, not tens of thousands.
★ 412
- #1firecrawl@firecrawl
대규모 웹 검색, 스크래핑, 상호작용을 위한 컨텍스트 API. 🔥
★ 174,034+3,406최근 7일 스타 변화 - #2Scrapling@D4Vinci
🕷️ 단일 요청부터 대규모 크롤링까지 모두 처리하는 적응형 웹 스크래핑 프레임워크!
★ 77,158+1,432최근 7일 스타 변화 - #3scrapy@scrapy
Python을 위한 빠르고 고수준의 웹 크롤링 및 스크래핑 framework Scrapy.
★ 64,098+106최근 7일 스타 변화 - #4changedetection.io@dgtlmoon
웹사이트 변경 감지, 웹페이지 모니터링, 웹사이트 변경 알림을 위한 가장 좋고 간단한 도구. 콘텐츠 변경, 가격 하락, 재입고 알림, 웹사이트 변조 모니터링 추적에 완벽합니다. 무료로 이용하거나 SaaS 플랜을 즐겨보세요!
★ 33,414+132최근 7일 스타 변화 - #5ai-website-cloner-template@JCodesMore
AI 코딩 에이전트를 사용하여 단 한 번의 명령어로 모든 웹사이트 복제
★ 33,352+683최근 7일 스타 변화 - #6CloakBrowser@CloakHQ
모든 봇 탐지 테스트를 통과하는 스텔스 Chromium. 소스 수준의 핑거프린트 패치가 적용된 드롭인 방식의 Playwright 대체재. 30/30 테스트 통과.
★ 30,947+439최근 7일 스타 변화 - #7Jobs_Applier_AI_Agent_AIHawk@feder-cr
Python으로 구현된 오픈소스 AI 구직 지원 봇: 브라우저 자동화와 웹 스크래핑으로 채용 공고를 읽고, 각 공고에 맞춤형 이력서와 자기소개서로 자동 지원합니다.
★ 30,278+58최근 7일 스타 변화 - #8Scrapegraph-ai@ScrapeGraphAI
AI 기반 Python 스크래퍼
★ 30,047+244최근 7일 스타 변화 - #9crawlee@apify
안정적인 크롤러를 구축하기 위한 Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리인 Crawlee. JavaScript 및 TypeScript 지원. AI, LLM, RAG 또는 GPT용 데이터를 추출합니다. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일을 다운로드하세요. Puppeteer, Playwright, Cheerio, JSDOM 및 원시 HTTP와 함께 작동합니다. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 기능 포함.
★ 25,556+98최근 7일 스타 변화 - #10Douyin_TikTok_Download_API@Evil0ctal
🚀「Douyin_TikTok_Download_API」는 즉시 사용 가능한 고성능 비동기 Douyin, Kuaishou, TikTok, Bilibili 데이터 크롤링 도구로, API 호출, 온라인 일괄 파싱 및 다운로드를 지원합니다.
★ 19,727+192최근 7일 스타 변화 - #11maxun@getmaxun
🔥 웹 스크래핑, 크롤링, 검색 및 AI 데이터 추출을 위한 오픈소스 노코드 플랫폼 • 몇 분 만에 웹사이트를 구조화된 API로 변환 🔥
★ 17,322+70최근 7일 스타 변화 - #12SurfSense@MODSetter
오픈소스 NotebookLM 대안. 단일 플랫폼, API 또는 MCP 서버를 통해 실시간 데이터(Reddit, YT, IG, TikTok, Indeed, Google Search, Maps 등)로 오픈 웹을 리서치하세요. 디스코드 참여하기: https://discord.gg/ejRNvftDp9
★ 16,029+46최근 7일 스타 변화 - #13Skill_Seekers@yusufkaraaslan
자동 충돌 감지 기능을 통해 문서 웹사이트, GitHub 저장소, PDF를 Claude AI 스킬로 변환
★ 14,858+64최근 7일 스타 변화 - #14SeleniumBase@seleniumbase
📊 웹 자동화, 테스트, 봇 탐지 우회를 위한 API.
★ 12,971+30최근 7일 스타 변화 - #15jsoup@jhy
jsoup: HTML 편집, 정리, 스크래핑 및 XSS 보안을 위해 제작된 Java HTML 파서
★ 11,384+0최근 7일 스타 변화 - #16pinchtab@pinchtab
고급 스텔스 인젝션 및 실시간 대시보드를 갖춘 고성능 브라우저 자동화 브리지 및 멀티 인스턴스 오케스트레이터
★ 10,173+57최근 7일 스타 변화 - #17crawlee-python@apify
안정적인 크롤러를 구축하기 위한 Python용 웹 스크래핑 및 브라우저 자동화 라이브러리 Crawlee. AI, LLM, RAG 또는 GPT용 데이터를 추출하세요. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일을 다운로드하세요. Parsel, BeautifulSoup, Playwright 및 원시 HTTP와 호환됩니다. 헤드풀 및 헤드리스 모드를 모두 지원하며 프록시 로테이션 기능을 제공합니다.
★ 9,477+19최근 7일 스타 변화 - #18camofox-browser@jo-inc
AI 에이전트를 위한 스텔스 헤드리스 브라우저 — Cloudflare, 봇 탐지 및 안티 스크래핑 우회. Puppeteer/Playwright 드롭인 대체재.
★ 8,960+195최근 7일 스타 변화 - #19helium@mherrmann
Python을 이용한 더 가벼운 웹 자동화
★ 8,324-1최근 7일 스타 변화 - #20awesome-web-scraping@lorien
웹 스크래핑 및 데이터 처리를 위한 라이브러리, 도구, API 목록.
★ 8,138+10최근 7일 스타 변화 - #21autoscraper@alirezamika
Python을 위한 스마트하고 자동화된 빠르고 가벼운 웹 스크래퍼
★ 7,915+25최근 7일 스타 변화 - #22API-mega-list@cporter202
간단한 자동화부터 대규모 애플리케이션까지 구축하는 데 즉시 사용할 수 있는 강력한 API 모음 저장소입니다. GitHub에서 가장 가치 있는 API 목록 중 하나입니다. 💪
★ 7,556+47최근 7일 스타 변화 - #23firecrawl-mcp-server@firecrawl
🔥 공식 Firecrawl MCP Server - Cursor, Claude 및 기타 LLM 클라이언트에 강력한 웹 스크래핑 및 검색 기능을 추가합니다.
★ 7,347+58최근 7일 스타 변화 - #24rod@go-rod
웹 자동화 및 스크래핑을 위한 Chrome DevTools Protocol 드라이버입니다.
★ 7,082+14최근 7일 스타 변화 - #25pydoll@autoscrape-labs
Pydoll은 WebDriver 없이 Chromium 기반 브라우저를 자동화하고 현실적인 상호 작용을 제공하는 라이브러리입니다.
★ 7,053+16최근 7일 스타 변화 - #26trafilatura@adbar
웹의 텍스트 및 메타데이터 수집을 위한 Python 및 명령줄 도구: 크롤링, 스크래핑, 추출, CSV, JSON, HTML, MD, TXT, XML 출력 지원
★ 6,728+50최근 7일 스타 변화 - #27curl_cffi@lexiforest
cffi를 통한 curl-impersonate 포크용 Python 바인딩. 브라우저 tls/ja3/http2 지문(fingerprint)을 위장할 수 있는 HTTP 클라이언트.
★ 6,416+56최근 7일 스타 변화 - #28ferret@MontFerret
구조화된 추출 워크플로우를 위한 선언형 데이터 자동화 언어 및 Go 런타임.
★ 6,008-1최근 7일 스타 변화 - #29google-maps-scraper@gosom
Google Maps에서 데이터를 스크래핑합니다. 각 장소의 이름, 주소, 전화번호, 웹사이트 URL, 평점, 리뷰 수, 위도 및 경도, 리뷰, 이메일 등의 데이터를 추출합니다.
★ 5,662+84최근 7일 스타 변화 - #30skills@browser-act
AI agent를 위해 구축된 브라우저 자동화 CLI. 봇 방어벽을 우회하고, 막히면 여러 플랫폼에서 사람에게 전환합니다. 병렬 멀티태스킹 실행, 독립된 멀티 세션 작업, 격리된 멀티 계정 브라우징.
★ 5,522+129최근 7일 스타 변화
