Scraping und Recherche-Agenten: 7 Repos, mit denen deine KI das Internet liest

Das erwartet dich in dieser Lektion

1. Gib deiner KI Augen und Hände im Internet

   Diese Repos lesen Websites, soziale Netzwerke und Foren für dich: Konkurrenz beobachten, Daten sammeln oder Berichte erstellen ohne Kopieren und Einfügen.

2. last30days: Was diesen Monat über ein Thema gesagt wird

   Skill für deinen Agenten, der das Meistbewertete des letzten Monats auf Reddit, X, YouTube oder HN zusammenfasst. Über 64.000 Sterne, weil er so einfach ist.

3. Agent-Reach: Dein Agent liest YouTube, X und mehr

   Kostenlose CLI, die deinen Agenten mit Websites, YouTube, GitHub, X oder Reddit verbindet, ohne APIs zu bezahlen. Fast 97.000 Sterne auf GitHub.

4. Firecrawl: jede Website als Daten für die KI

   API, die eine Seite oder eine ganze Website in Markdown oder strukturierte Daten verwandelt. Das beliebteste Tool: über 190.000 Sterne.

5. Crawl4AI: kostenloser Crawler auf deinem Computer

   Open-Source-Crawler, der Websites in KI-fertiges Markdown verwandelt, ohne Gebühren oder Pflichtschlüssel. Über 85.000 Sterne.

6. Scrapling: Scraper, die bei Website-Änderungen nicht brechen

   Scraping-Framework in Python, das die Daten wiederfindet, auch wenn sich das Design der Website ändert. Über 87.000 Sterne auf GitHub.

7. browser-use: ein Agent, der surft wie ein Mensch

   Bibliothek, mit der die KI im Browser klickt, Formulare ausfüllt und Daten extrahiert. Fast 118.000 Sterne auf GitHub.

8. UI-TARS: der Agent, der den Bildschirm sieht und handelt

   Projekt von ByteDance mit Agent TARS und UI-TARS Desktop: steuert Browser und Computer, indem es den Bildschirm sieht. Über 39.000 Sterne.

9. Zusammenfassung: Wähle das Tool nach der Aufgabe

   Vom Trendbericht mit einem Befehl bis zum Agenten, der deinen Computer bedient: Fang einfach an und steig auf, wenn du es brauchst.