Chatty
ChattyはWebGPUを使ってオープンソース等の任意のLLMをブラウザでローカル実行出来るようにするOSSです。2023年5月リリースのChrome 113で、WebGPU APIがデフォルトで利用できるようunlockされた事が公式のブログでアナウンスされました。
そのWebGPUを使って、任意のOSS LLMを指定してプロンプトを送信すると、LLMがダウンロードされ、そのLLMを使ってブラウザでAIチャットが出来るようになる、というもの。オフラインで利用できるので完全プライベートなAIチャットをブラウザで可能になります。AIチャットのUIはChatGPTやGeminiといったよくあるAIチャットと同等のUIで履歴も残り、JSONなどでエクスポートも可能となっています。
また、ローカル環境のテキストやPDF等のファイルを読み込ませ、内容に関して質問する事も可能です。Transformer.jsのEmbeddings（参照：how to Embeddings）とMemoryVectorStoreによって、読み込ませたファイルがローカル環境外で処理されることもありませんので完全ローカルで実行可能となっているそうです。尚、スマホでも（WebGlがサポートされていれば）実行可能だそうです。仕様上、あまりオススメは出来ませんが。
こういった仕様のため、マシンスペック等の環境次第ではレスポンスまでの時間がかかってしまうため実用的かどうかは環境次第というものにはなりますが、「WebGPUとはどういうものか」を手軽に体験できるのでご興味ある方は触ってみては如何でしょうか。ライセンスはMIT。
