Skyvern
SkyvernはブラウザベースのワークフローをAIで自動化する為のOSSです。LLMとコンピュータビジョンを使用してブラウザ上における様々な手動ワークフローを生成AIによって自動化する、というもの。
コンピュータ ビジョンとは？という方は以下のIBMの解説をご参照ください。
What is Computer Vision? | IBM
...
www.ibm.com
ワークフロー自動化アプリは多数ありますが、AIによる大きなメリットは自然言語によるプロンプトの指示で指定可能という点で、アプリ使用の学習コストや設定作業が殆ど無い点にあります。
例えば、上記SSでは『Google Financeページの検索バーに移動し、「AAPL」と入力してEnterキーを押す。 「AAPL」の検索結果が表示されたら完了。』という日本語プロンプトとGoogleファイナンスのURLの設定のみを行いましたが、無事AIによるタスクが消化されているのを確認しました。
また、タスク消化の際の作業内容をアクション毎にテキストで報告、動画等でのレコーディングも可能で、ダッシュボードで確認する事も出来ます。
これはBabyAGIやAutoGPTなどのタスク駆動型自律AIエージェントにインスパイアされたそうです。ブラウザで定期的に行う作業は概ね自動化できるんじゃないでしょうか。ライセンスはAGPLとの事です。
