Helicone
Heliconeはロギングや、モニタリング、デバッグのためのLLM向けオープンソース可観測性プラットフォームです。
データを収集し、パフォーマンスを監視し、LLMを利用したAIアプリケーションを改善する為に開発されました。提供される機能にはカスタムプロパティを使用して全てのリクエストを記録してセグメント化、キャッシュによるパフォーマンス向上、悪用を防ぐためのユーザーレート制限、アプリのダウンや問題発生時などの際のアラート、結果を開発チーム間で共有及び共同作業、更には追加予定とすてフィードバックを記録して結果を評価するためのAPI提供があるそうです。
具体的にはプロンプト変更のテスト及び結果分析、 プロンプトのバージョンを設定し、データセット間で結果を比較、ダッシュボードをチーム内で共有し、 権限とアクセスを管理、フィードバックを収集してモデルのパフォーマンスを向上、データの微調整及びCSVまたはJSONLでエクスポートする、などが可能になるそうです。
Heliconeは有償サービスとして展開されていますが、完全OSSとしても提供されています。有償プランも従量制となっているので気軽に導入テストができるのではないでしょうか。ライセンスはApache-2.0との事です。
