Bloco XI · Nível especialista · Lição 61
Scraping e agentes de pesquisa: 7 repositórios para ler a internet com IA
Os 7 repositórios mais populares do GitHub para a sua IA ler sites, redes e fóruns, extrair dados e navegar por si: o que faz cada um, como se instala e um exemplo para o seu negócio, respeitando as condições de utilização, o robots.txt e o RGPD.
- 11 min
- 9 diapositivos animados
- Questionário de 4 perguntas
- Narrada em 6 idiomas
O que vais ver nesta lição
- Dê olhos e mãos na internet à sua IA
Estes repositórios leem sites, redes e fóruns por si: vigiar a concorrência, recolher dados ou preparar relatórios sem copiar e colar.
- last30days: o que se diz sobre um tema este mês
Skill para o seu agente que resume o mais votado do último mês no Reddit, X, YouTube ou HN. Mais de 64.000 estrelas por ser tão fácil.
- Agent-Reach: o seu agente lê YouTube, X e mais
CLI gratuita que liga o seu agente a sites, YouTube, GitHub, X ou Reddit sem pagar APIs. Quase 97.000 estrelas no GitHub.
- Firecrawl: qualquer site convertido em dados para IA
API que converte uma página ou um site inteiro em Markdown ou dados estruturados. É o mais popular: mais de 190.000 estrelas.
- Crawl4AI: rastreador grátis que corre no seu computador
Crawler open source que converte sites em Markdown pronto para IA, sem mensalidades nem chave obrigatória. Mais de 85.000 estrelas.
- Scrapling: scrapers que não se partem quando o site muda
Framework de scraping em Python que volta a encontrar os dados mesmo que o site mude de design. Mais de 87.000 estrelas no GitHub.
- browser-use: um agente que navega como uma pessoa
Biblioteca que deixa a IA clicar, preencher formulários e extrair dados no navegador. Quase 118.000 estrelas no GitHub.
- UI-TARS: o agente que olha para o ecrã e age
Projeto da ByteDance com Agent TARS e UI-TARS Desktop: controla navegador e computador vendo o ecrã. Mais de 39.000 estrelas.
- Resumo: escolha a ferramenta conforme a tarefa
De um relatório de tendências com um comando a um agente que controla o seu computador: comece pelo simples e suba quando precisar.
Ferramentas e conceitos
- last30days
- Agent-Reach
- Firecrawl
- Crawl4AI
- Scrapling
- browser-use
- UI-TARS
Entra com a tua conta Google e acede a esta lição e ao curso completo.
Mais lições do bloco
- Agentes autónomos: 7 repos do GitHub para delegar tarefas à IA
- Crie as suas próprias apps de IA: no-code, RAG e plataformas auto-alojadas
- Agentes de programação e skills: os repositórios que toda a gente instala
- IA de código aberto para vídeo, imagem e áudio: 7 repositórios do GitHub
- Treine o seu próprio modelo
- Clusters: junte vários computadores para modelos maiores
- Mega-listas e repositórios do GitHub para aprender IA (e skills de marketing)