local.ai
local.aiはローカルでAIの実験やモデル推論ホスティングを行う為のデスクトップアプリです。OpenSeaの前CTOのAlex Atallah氏が開発中のwindow.aiと一緒に使用する事でローカル推論サーバーを立ち上げる事が出来るのだそう。
これによって、GPU不要で余計なコストを負担する事なく任意のLLMを使って新しいデータに対して予測を行うAI推論や各LLMの管理、AIの実験等をより効率的に行えるようになります。
local.aiはRustバックエンドを採用しており、メモリ効率がよくコンパクトになっているそうです。本アプリはOSSとしてソースコードが公開されており、Windows、MacOS、Linuxの各OSにも対応しています。ライセンスはGPL-3.0との事。