web-crawler
web-crawler 태그가 달린 추적 중인 오픈소스 리포지토리를 스타 수 순으로 보여줘요.
관련 토픽
같은 리포지토리에 web-crawler 태그와 자주 함께 쓰이는 토픽이에요.
최근 라이징
최근 90일 안에 만들어지고 web-crawler 태그가 달린 리포지토리예요.
- #1★ 174,034+3,406최근 7일 스타 변화
- #2
AI 기반 Python 스크래퍼
★ 30,047+244최근 7일 스타 변화 - #3
안정적인 크롤러를 구축하기 위한 Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리인 Crawlee. JavaScript 및 TypeScript 지원. AI, LLM, RAG 또는 GPT용 데이터를 추출합니다. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일을 다운로드하세요. Puppeteer, Playwright, Cheerio, JSDOM 및 원시 HTTP와 함께 작동합니다. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 기능 포함.
★ 25,556+98최근 7일 스타 변화 - #4★ 12,264+4최근 7일 스타 변화
- #5
안정적인 크롤러를 구축하기 위한 Python용 웹 스크래핑 및 브라우저 자동화 라이브러리 Crawlee. AI, LLM, RAG 또는 GPT용 데이터를 추출하세요. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일을 다운로드하세요. Parsel, BeautifulSoup, Playwright 및 원시 HTTP와 호환됩니다. 헤드풀 및 헤드리스 모드를 모두 지원하며 프록시 로테이션 기능을 제공합니다.
★ 9,477+19최근 7일 스타 변화 - #6★ 7,819+5최근 7일 스타 변화
- #7
🔥 공식 Firecrawl MCP Server - Cursor, Claude 및 기타 LLM 클라이언트에 강력한 웹 스크래핑 및 검색 기능을 추가합니다.
★ 7,347+58최근 7일 스타 변화 - #8
다양한 언어로 작성된 훌륭한 웹 크롤러 및 스파이더 모음입니다.
★ 7,298+6최근 7일 스타 변화 - #9
AI 코딩 에이전트를 위한 최고의 웹 — MCP 기반의 로컬 퍼스트 검색, 페치, 크롤링 및 리서치. API 키 없음, 클라우드 없음, 쿼리당 $0. 퍼블릭 베타.
★ 4,752+131최근 7일 스타 변화 - #10★ 4,088+21최근 7일 스타 변화
- #11★ 3,279+4최근 7일 스타 변화
- #12
URL에서 시작하여 웹사이트를 크롤링하고, 관련 페이지를 찾고, 데이터를 추출합니다. 모두 자연어 프롬프트에 의해 제어됩니다.
★ 3,237+38최근 7일 스타 변화 - #13★ 2,681+14최근 7일 스타 변화
- #14
오픈소스 웹 스크래핑 API. 웹사이트를 깔끔한 마크다운이나 구조화된 JSON으로 변환합니다. 안티 디텍트 브라우저, 프록시 자동 선택, 자체 호스팅 지원. 명령어 하나로 실행: make up
★ 2,453+178최근 7일 스타 변화 - #15
LLM을 위한 빠르고 로컬 우선인 웹 콘텐츠 추출 도구. 스크랩, 크롤링, 구조화된 데이터 추출을 모두 Rust로 수행합니다. CLI, REST API 및 MCP 서버를 제공합니다.
★ 2,313+15최근 7일 스타 변화 - #16★ 2,310+0최근 7일 스타 변화
- #17
텍스트 중심 웹사이트를 위한 인터넷 검색엔진. 작고 오래되었으며 독특한 웹을 색인화합니다.
★ 1,929+8최근 7일 스타 변화 - #18
단일 HTML 파일에 전체 웹페이지의 충실한 복사본을 저장하기 위한 CLI 도구 (SingleFile 기반)
★ 1,573+21최근 7일 스타 변화 - #19★ 1,481+556최근 7일 스타 변화
- #20
웹사이트를 크롤링하고 링크를 검증하는 깨진 링크 검사기. 웹사이트, 문서, 로컬 파일에서 깨진 링크, 죽은 링크, 유효하지 않은 URL을 찾습니다. SEO 감사 및 CI/CD에 적합합니다.
★ 1,255+4최근 7일 스타 변화 - #21
단일 Docker 컨테이너에서 고충실도 브라우저 기반 웹 아카이빙 크롤러 실행
★ 1,124+6최근 7일 스타 변화 - #22
40개 이상의 인기 도메인을 위한 확장 가능한 Python 웹 스크래핑 스크립트
★ 1,071+5최근 7일 스타 변화 - #23
Apache Storm 기반의 확장 가능하고 성숙하며 다기능인 웹 크롤러
★ 994+1최근 7일 스타 변화 - #24
무료 데스크톱 SEO 크롤러 - Screaming Frog 및 유사 도구의 오픈 소스 대안. 구독료 없이 웹사이트를 크롤링하고, 링크를 분석하며, SEO 데이터를 추출하고, 결과를 내보낼 수 있습니다. 완전한 커스터마이징 및 확장 가능!
★ 890+16최근 7일 스타 변화 - #25
Rust로 작성된 빠르고 가벼운 Firecrawl/Tavily 대안. AI 에이전트를 위한 MCP 서버를 포함한 웹 스크레이퍼, 크롤러 및 검색 API. Firecrawl 호환 API 제공, 1K-URL 벤치마크 기준 Tavily 대비 2.3배, Firecrawl 대비 1.5배 빠름. 6MB RAM 점유, 단일 바이너리. 자체 호스팅 또는 관리형 클라우드 사용 가능
★ 876+230최근 7일 스타 변화 - #26
사이트, 여러 도메인, 특정 링크 크롤링 또는 무한 크롤링이 가능한 다목적 Ruby 웹 스파이더링 라이브러리. Spidr은 빠르고 사용하기 쉽도록 설계되었습니다.
★ 836+0최근 7일 스타 변화 - #27
Firecrawl을 사용하여 개발된 웹사이트 및 기타 프로젝트를 포함한 전체 애플리케이션 예제 저장소
★ 811+2최근 7일 스타 변화 - #28★ 663+1최근 7일 스타 변화
- #29
Python을 이용한 감지되지 않는 웹 스크래핑 및 원활한 HTML 파싱
★ 561+2최근 7일 스타 변화 - #30★ 558+0최근 7일 스타 변화
