web-scraping

大規模にウェブを検索、スクレイピング、操作するためのContext API。🔥

🕷️ 単一のリクエストからフルスケールのクロールまで、すべてを処理する適応型Webスクレイピングフレームワーク！

Scrapyは、Python向けの高速な高レベルWebクローリング＆スクレイピングフレームワークです。

ウェブサイトの変更検出、ウェブページ監視、ウェブサイト変更アラートのための最良かつ最もシンプルなツール。コンテンツの変更追跡、価格の下落、再入荷アラート、ウェブサイトの改ざん監視に最適です—すべて無料で、またはSaaSプランをお楽しみください！

AIコーディングエージェントを使用して、ワンコマンドで任意のウェブサイトをクローン。

すべてのボット検出テストを通過するステルスChromium。ソースレベルのフィンガープリントパッチを備えたPlaywrightのドロップイン代替品。30/30のテストを通過。

PythonによるオープンソースのAI求職応募ボット：ブラウザ自動化とウェブスクレイピングにより求人情報を読み取り、各求人ごとにカスタマイズされた履歴書とカバーレターで自動応募を行う。

AIベースの Python スクレイパー

Crawlee—信頼性の高いクローラーを構築するためのNode.js用ウェブスクレイピングおよびブラウザ自動化ライブラリ。JavaScriptおよびTypeScriptで記述。AI、LLM、RAG、またはGPTs用のデータを抽出可能。ウェブサイトからHTML、PDF、JPG、PNGなどのファイルをダウンロード可能。Puppeteer、Playwright、Cheerio、JSDOM、および生のHTTPに対応。ヘッドフルモードとヘッドレスモードの両方に対応。プロキシローテーション機能付き。

🚀「Douyin_TikTok_Download_API」は、すぐに使える高性能な非同期データスクレイピングツールであり、Douyin、快手、TikTok、Bilibiliのデータをサポートし、API呼び出し、オンラインでの一括解析およびダウンロードが可能です。

🔥 ウェブスクレイピング、クローリング、検索、AIデータ抽出のためのオープンソースのノーコードプラットフォーム • ウェブサイトを数分で構造化されたAPIに変換 🔥

オープンソースのNotebookLM代替品。単一のプラットフォーム、API、またはMCPサーバーを通じて、ライブデータ（Reddit, YT, IG, TikTok, Indeed, Google Search, Mapsなど）でオープンウェブをリサーチ。Discordに参加: https://discord.gg/ejRNvftDp9

ドキュメントウェブサイト、GitHubリポジトリ、PDFを自動的な競合検出によりClaude AIスキルに変換。

📊 Web自動化、テスト、ボット検出回避のためのAPI。

jsoup: HTML編集、クリーンアップ、スクレイピング、XSS対策のために構築されたJava HTMLパーサー。

高性能なブラウザ自動化ブリッジおよびマルチインスタンスオーケストレーター。高度なステルスインジェクションとリアルタイムダッシュボードを搭載。

Crawlee—信頼性の高いクローラーを構築するためのPython用ウェブスクレイピングおよびブラウザ自動化ライブラリ。AI、LLM、RAG、またはGPTs向けにデータを抽出。ウェブサイトからHTML、PDF、JPG、PNGなどのファイルをダウンロード可能。Parsel、BeautifulSoup、Playwright、および生のHTTPに対応。ヘッドフルモードとヘッドレスモードの両方に対応。プロキシローテーション機能付き。

AIエージェント向けのステルスヘッドレスブラウザ — Cloudflare、ボット検出、アンチスクレイピングをバイパス。ドロップイン可能な Puppeteer/Playwright の代替。

Pythonによる軽量なWeb自動化。

Webスクレイピングおよびデータ処理のためのライブラリ、ツール、APIのリスト

Python向けスマートで自動化された高速軽量Webスクレイパー

この GitHub リポジトリは、シンプルな自動化からフルスケールのアプリケーションまで、すぐに利用できる強力な API のコレクションです。GitHub 上で最も価値のある API リストの一つです。💪

🔥 公式Firecrawl MCPサーバー - Cursor、Claude、およびその他のLLMクライアントに強力なウェブスクレイピングと検索機能を追加。

ウェブ自動化およびスクレイピングのためのChrome DevTools Protocolドライバー。

Pydollは、WebDriverなしでChromiumベースのブラウザを自動化するためのライブラリであり、リアルな操作を提供します。

Pythonおよびコマンドラインツール。Web上のテキストとメタデータを収集：クローリング、スクレイピング、抽出、CSV、JSON、HTML、MD、TXT、XMLとしての出力。

cffi経由のcurl-impersonateフォーク用のPythonバインディング。ブラウザのTLS/ja3/http2フィンガープリントをなりすますことができるHTTPクライアント。

宣言的なデータ自動化言語と、構造化抽出ワークフローのためのGoランタイム。

Google Mapsからデータをスクレイピングします。各場所の名前、住所、電話番号、ウェブサイトURL、評価、レビュー数、緯度と経度、レビュー、Eメールなどのデータを抽出します。

AIエージェント向けに構築されたブラウザ自動化CLI。アンチボットの壁を突破し、行き詰まった場合はプラットフォームを横断して人間へ引き継ぎ。並列マルチタスク実行、独立したマルチセッション操作、分離されたマルチアカウントブラウジングに対応。