web-scraping

La API de contexto para buscar, extraer e interactuar con la web a gran escala. 🔥

🕷️ ¡Un framework de Web Scraping adaptativo que maneja todo, desde una sola solicitud hasta un rastreo a gran escala!

Scrapy, un marco de trabajo rápido y de alto nivel para rastreo y extracción web en Python.

La mejor y más simple herramienta para la detección de cambios en sitios web, monitoreo de páginas web y alertas de cambios. ¡Perfecto para rastrear cambios de contenido, bajadas de precio, alertas de reabastecimiento y monitoreo de desfiguración web, todo gratis o disfruta de nuestro plan SaaS!

Clona cualquier sitio web con un solo comando usando agentes de codificación de IA

Chromium sigiloso que supera todas las pruebas de detección de bots. Reemplazo directo de Playwright con parches de huellas digitales a nivel de código fuente. 30/30 pruebas superadas.

Bot de código abierto en Python para postularse a empleos con IA: automatización del navegador y web scraping para leer ofertas de empleo, y luego postulación automática con un currículum y carta de presentación personalizados para cada oferta.

Scraper de Python basado en IA

Crawlee: una biblioteca de web scraping y automatización de navegadores para Node.js para crear rastreadores confiables. En JavaScript y TypeScript. Extrae datos para AI, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright, Cheerio, JSDOM y HTTP directo. Modos con y sin interfaz gráfica. Con rotación de proxys.

🚀 「Douyin_TikTok_Download_API」 es una herramienta de extracción de datos asíncrona de alto rendimiento y lista para usar para Douyin, Kuaishou, TikTok y Bilibili, que admite llamadas a API, análisis por lotes en línea y descargas.

🔥 La plataforma de código abierto sin código para web scraping, rastreo, búsqueda y extracción de datos con IA • Convierte sitios web en API estructuradas en minutos 🔥

Alternativa a NotebookLM de código abierto. Investiga la web abierta con datos en vivo (Reddit, YT, IG, TikTok, Indeed, Google Search, Maps, etc.) a través de una plataforma, API o servidor MCP. Únete a nuestro Discord: https://discord.gg/ejRNvftDp9

Convierte sitios web de documentación, repositorios de GitHub y archivos PDF en habilidades de Claude AI con detección automática de conflictos

📊 APIs para automatización web, pruebas y elusión de detección de bots.

jsoup: el analizador HTML de Java, diseñado para la edición, limpieza, extracción y seguridad XSS de HTML.

Puente de automatización de navegador de alto rendimiento y orquestador multi-instancia con inyección sigilosa avanzada y panel en tiempo real.

Crawlee: una biblioteca de web scraping y automatización de navegadores para Python para crear rastreadores confiables. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Parsel, BeautifulSoup, Playwright y HTTP sin procesar. En modos con interfaz gráfica y sin cabeza (headless). Con rotación de proxies.

Navegador headless sigiloso para agentes de IA: evade Cloudflare, detección de bots y anti-scraping. Reemplazo directo para Puppeteer/Playwright.

Automatización web más ligera con Python

Lista de bibliotecas, herramientas y APIs para web scraping y procesamiento de datos.

Un web scraper inteligente, automático, rápido y ligero para Python

Este repositorio de GitHub es una potente colección de APIs que puedes empezar a usar de inmediato para crear desde automatizaciones simples hasta aplicaciones a gran escala. Una de las listas de APIs más valiosas de GitHub, sin duda. 💪

🔥 Servidor oficial Firecrawl MCP - Añade potentes funciones de extracción y búsqueda web a Cursor, Claude y cualquier otro cliente LLM.

Un controlador del protocolo Chrome DevTools para automatización web y scraping.

Pydoll es una biblioteca para automatizar navegadores basados en chromium sin un WebDriver, ofreciendo interacciones realistas.

Herramienta de Python y línea de comandos para recopilar texto y metadatos en la web: rastreo, extracción y salida en CSV, JSON, HTML, MD, TXT, XML

Enlace de Python para el fork de curl-impersonate mediante cffi. Un cliente HTTP que puede suplantar huellas dactilares tls/ja3/http2 de navegadores.

Lenguaje declarativo de automatización de datos y tiempo de ejecución en Go para flujos de trabajo de extracción estructurada.

Extrae datos de Google Maps. Obtiene información como nombre, dirección, número de teléfono, URL del sitio web, valoración, número de reseñas, latitud y longitud, reseñas, correo electrónico y más para cada lugar.

CLI de automatización de navegadores creado para agentes de IA. Supera los muros anti-bot y transfiere el control a humanos entre plataformas cuando se atasque. Ejecución multitarea en paralelo, operación independiente de múltiples sesiones y navegación aislada en múltiples cuentas.