web-scraping

A API de contexto para pesquisar, extrair dados e interagir com a web em escala.

🕷️ Um framework adaptativo de Web Scraping que lida com tudo, desde uma única requisição até um rastreamento em grande escala!

Scrapy, um framework rápido e de alto nível para web crawling e scraping em Python.

A melhor e mais simples ferramenta para detecção de alterações em sites, monitoramento de páginas web e alertas de mudanças em sites. Perfeito para rastrear alterações de conteúdo, quedas de preços, alertas de reposição de estoque e monitoramento de desfiguração de sites — tudo de graça ou aproveite nosso plano SaaS!

Clone qualquer site com um único comando usando agentes de IA para codificação

Chromium furtivo que passa em todos os testes de detecção de bots. Substituto direto do Playwright com patches de impressão digital em nível de código-fonte. 30/30 testes aprovados.

Bot de código aberto em Python para candidatura a vagas de emprego com IA: automação de navegador e web scraping para ler anúncios de vagas e, em seguida, candidatar-se automaticamente com um currículo e carta de apresentação personalizados para cada vaga.

Scraper em Python baseado em IA

Crawlee—Uma biblioteca de web scraping e automação de navegadores para Node.js para criar crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe HTML, PDF, JPG, PNG e outros arquivos de sites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Modos headful e headless. Com rotação de proxy.

Douyin_TikTok_Download_API é uma ferramenta de scraping de dados de alto desempenho e assíncrona para Douyin, Kuaishou, TikTok e Bilibili, pronta para uso, com suporte a chamadas de API e análise e download em lote online.

🔥 A plataforma open-source no-code para web scraping, crawling, busca e extração de dados com IA • Transforme sites em APIs estruturadas em minutos 🔥

Alternativa open-source ao NotebookLM. Pesquise na web aberta com dados em tempo real (Reddit, YT, IG, TikTok, Indeed, Google Search, Maps, etc.) através de uma única plataforma, API ou servidor MCP.

Converta sites de documentação, repositórios GitHub e PDFs em habilidades para o Claude AI com detecção automática de conflitos.

📊 APIs para automação web, testes e contorno de detecção de bots.

jsoup: o parser de HTML para Java, criado para edição, limpeza, scraping e segurança XSS de HTML.

Ponte de automação de navegador de alto desempenho e orquestrador multi-instância com injeção furtiva avançada e painel em tempo real.

Crawlee — Uma biblioteca de web scraping e automação de navegador para Python para criar crawlers confiáveis. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe HTML, PDF, JPG, PNG e outros arquivos de sites. Funciona com Parsel, BeautifulSoup, Playwright e HTTP bruto. Modos headful e headless. Com rotação de proxy.

Navegador headless furtivo para agentes de IA — contorne Cloudflare, detecção de bots e anti-scraping. Substituição direta para Puppeteer/Playwright.

Automação web mais leve com Python

Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.

Um web scraper inteligente, automático, rápido e leve para Python

Este repositório do GitHub é uma coleção poderosa de APIs que você pode começar a usar imediatamente para construir desde automações simples até aplicações em larga escala. Uma das listas de API mais valiosas do GitHub.

🔥 Servidor MCP oficial do Firecrawl - Adiciona recursos poderosos de web scraping e busca ao Cursor, Claude e outros clientes LLM.

Um driver do Chrome DevTools Protocol para automação web e scraping.

Pydoll é uma biblioteca para automatizar navegadores baseados em Chromium sem um WebDriver, oferecendo interações realistas.

Ferramenta de linha de comando e Python para coletar texto e metadados na Web: crawling, scraping, extração e saída em CSV, JSON, HTML, MD, TXT, XML

Binding em Python para o fork do curl-impersonate via cffi. Um cliente HTTP capaz de simular impressões digitais tls/ja3/http2 de navegadores.

Linguagem declarativa de automação de dados e runtime em Go para fluxos de trabalho de extração estruturada.

Extração de dados do Google Maps. Coleta informações como nome, endereço, número de telefone, URL do site, avaliação, número de avaliações, latitude e longitude, comentários, e-mail e muito mais para cada local

CLI de automação de navegador criada para agentes de IA. Supere barreiras anti-bot, transfira para humanos entre plataformas quando bloqueado. Execução multitarefa paralela, operação multissessão independente, navegação multi-conta isolada.