1nm
1nmはAndroidアプリでローカルAIの実行をサポートするオープンソースのFlutterプラグインです。
Androidデバイス上でローカルLLMとモバイルアプリとの統合を簡略化し、オフラインでもAIをAndroidで使えるようにする、というもの。
統合は数分で可能、推論にはローカルLLM定番のllama.cppを採用、モデル処理に関しては最初の実行時にDLしたのちローカルにキャッシュする事でオフラインによる実行を可能にします。
モデルにはTinyLlama、Phi-2、Qwen、Gemma、Llama 3.2、Mistral 7Bなどをサポートしているそうです。
オフラインで動作するモバイルアプリにAIの機能を加えたいけどうまくいかない、とお悩みの方はお試しになってみては如何でしょうか。
