Crawlee Cloud
Crawlee CloudはApify SDKと互換性のあるオープンソースのセルフホスト可能なWebスクレイピングプラットフォームです。
Crawleeや Apify SDKの開発体験はそのままに、実行環境を自分で管理できるOSSとして提供されており、クラウドに依存しないためベンダーロックインの心配もなく運用できる、というもの。独自のインフラストラクチャでCrawleeおよびApify Actorを実行、ダッシュボードでデータを管理する事が出来ます。
Apifyに関しては以下が分かりやすいと思いますのでご存知ないという方は合わせてご参照ください。
うさぎでもわかる🐰エージェントのApify完全ガイド：Webスクレイピングの新時代｜taku_sid🐰エージェント
...
note.com
Webスクレイピングの自動化は、このAI時代で求められる大量のデータの取得に必要不可欠で、Apifyの需要も高まっていますが、データである以上、セキュリティ的にもコスト的にも、やはり自身で管理したいもの。
このニーズに応えるために開発されたのがCrawlee Cloudになります。詳細は以下リポジトリをご確認下さい。ライセンスはMIT。
