Bloco XI · Nível especialista · Lição 61

Scraping e agentes de pesquisa: 7 repositórios para ler a internet com IA

Os 7 repositórios mais populares do GitHub para a sua IA ler sites, redes e fóruns, extrair dados e navegar por si: o que faz cada um, como se instala e um exemplo para o seu negócio, respeitando as condições de utilização, o robots.txt e o RGPD.

Entrar no curso

O que vais ver nesta lição

  1. Dê olhos e mãos na internet à sua IA

    Estes repositórios leem sites, redes e fóruns por si: vigiar a concorrência, recolher dados ou preparar relatórios sem copiar e colar.

  2. last30days: o que se diz sobre um tema este mês

    Skill para o seu agente que resume o mais votado do último mês no Reddit, X, YouTube ou HN. Mais de 64.000 estrelas por ser tão fácil.

  3. Agent-Reach: o seu agente lê YouTube, X e mais

    CLI gratuita que liga o seu agente a sites, YouTube, GitHub, X ou Reddit sem pagar APIs. Quase 97.000 estrelas no GitHub.

  4. Firecrawl: qualquer site convertido em dados para IA

    API que converte uma página ou um site inteiro em Markdown ou dados estruturados. É o mais popular: mais de 190.000 estrelas.

  5. Crawl4AI: rastreador grátis que corre no seu computador

    Crawler open source que converte sites em Markdown pronto para IA, sem mensalidades nem chave obrigatória. Mais de 85.000 estrelas.

  6. Scrapling: scrapers que não se partem quando o site muda

    Framework de scraping em Python que volta a encontrar os dados mesmo que o site mude de design. Mais de 87.000 estrelas no GitHub.

  7. browser-use: um agente que navega como uma pessoa

    Biblioteca que deixa a IA clicar, preencher formulários e extrair dados no navegador. Quase 118.000 estrelas no GitHub.

  8. UI-TARS: o agente que olha para o ecrã e age

    Projeto da ByteDance com Agent TARS e UI-TARS Desktop: controla navegador e computador vendo o ecrã. Mais de 39.000 estrelas.

  9. Resumo: escolha a ferramenta conforme a tarefa

    De um relatório de tendências com um comando a um agente que controla o seu computador: comece pelo simples e suba quando precisar.

Ferramentas e conceitos

Entra com a tua conta Google e acede a esta lição e ao curso completo.

Entrar no cursoVer o programa completo

Mais lições do bloco