Blocco XI · Livello esperto · Lezione 61
Scraping e agenti di ricerca: 7 repo per leggere internet con l'IA
I 7 repo più popolari di GitHub perché la tua IA legga siti, social e forum, estragga dati e navighi al posto tuo: cosa fa ognuno, come si installa e un esempio per la tua attività, rispettando condizioni d'uso, robots.txt e GDPR.
- 11 min
- 9 slide animate
- Quiz di 4 domande
- Narrata in 6 lingue
Cosa vedrai in questa lezione
- Dai occhi e mani su internet alla tua IA
Questi repo leggono siti, social e forum al posto tuo: tenere d'occhio la concorrenza, raccogliere dati o preparare report senza copia e incolla.
- last30days: cosa si dice di un tema questo mese
Skill per il tuo agente che riassume i contenuti più votati dell'ultimo mese su Reddit, X, YouTube o HN. Oltre 64.000 stelle perché è facilissima.
- Agent-Reach: il tuo agente legge YouTube, X e altro
CLI gratuita che collega il tuo agente a siti, YouTube, GitHub, X o Reddit senza pagare API. Quasi 97.000 stelle su GitHub.
- Firecrawl: qualsiasi sito trasformato in dati per l'IA
API che trasforma una pagina o un sito intero in Markdown o dati strutturati. È il più popolare: oltre 190.000 stelle.
- Crawl4AI: crawler gratuito che gira sul tuo computer
Crawler open source che trasforma i siti in Markdown pronto per l'IA, senza canoni né chiavi obbligatorie. Oltre 85.000 stelle.
- Scrapling: scraper che non si rompono se il sito cambia
Framework di scraping in Python che ritrova i dati anche se il sito cambia design. Oltre 87.000 stelle su GitHub.
- browser-use: un agente che naviga come una persona
Libreria che lascia all'IA cliccare, compilare moduli ed estrarre dati nel browser. Quasi 118.000 stelle su GitHub.
- UI-TARS: l'agente che guarda lo schermo e agisce
Progetto di ByteDance con Agent TARS e UI-TARS Desktop: controlla browser e computer guardando lo schermo. Oltre 39.000 stelle.
- Riepilogo: scegli lo strumento in base al compito
Da un report sulle tendenze con un comando a un agente che usa il tuo computer: inizia dal semplice e sali quando ti serve.
Strumenti e concetti
- last30days
- Agent-Reach
- Firecrawl
- Crawl4AI
- Scrapling
- browser-use
- UI-TARS
Accedi con il tuo account Google per vedere questa lezione e tutto il corso.
Altre lezioni del blocco
- Agenti autonomi: 7 repo di GitHub per delegare compiti all'IA
- Crea le tue app di IA: no-code, RAG e piattaforme self-hosted
- Agenti di programmazione e skill: i repo che installano tutti
- IA open source per video, immagini e audio: 7 repo di GitHub
- Addestra il tuo modello
- Cluster: unisci più macchine per modelli più grandi
- Mega-liste e repo di GitHub per imparare l'IA (e skill di marketing)