Alpaca-Turbo

Alpaca-TurboはローカルでLLMのAlpacaを実行できるWeb UIです。セットアップも難しくなく、気軽にAIチャットを始められる事を目指しています。

Alpaca言語モデルは正式にはStanford Alpacaでスタンフォード大がMeta社の開発したLLaMA 7Bをベースにしたもの。7Bは70億のパラメーターを学習ベースとしたもの、という数値表現で、これにInstruction-following (指示に従う) 学習をさせる事でGPT-3.5に似た動作を、より小規模な環境で実行できるように開発された言語モデルです。ライセンスは非商用となっています。

そんなAlpacaをローカル環境で動かそう、というプロジェクトになります。準備する前に、pythonがインストールされていない場合は事前にインストールを済ませてください。Windows/Macの場合は以下の手順で導入してほしいとの事。

———————-

1. minicondaインストール
2. 環境変数にc:\ProgramData\miniconda3\condabinを追加
3. リリースページより最新のalpaca-turboをDL
4. 容量に十分空きのある事を確認して同名フォルダに解凍
5. Alpacaの言語モデルをalpaca-turbo/models/ディレクトリにコピー
   ※モデルはHugging Faceに色々あります
6. 管理者権限でcmdを開いて以下を入力

   conda init

7. ウィンドウを閉じ、Alpaca-Turboのディレクトリで新たにcmdを開き、以下のように入力

   conda create -n alpaca_turbo python=3.8 -y
   conda activate alpaca_turbo
   pip install -r requirements.txt
   python api.py

8. http://localhost:5000を開いてモデルを選択し、読み込まれたら準備完了

———————-

LinuxならDockerが利用できるそうでもう少し導入が楽になるみたいです。

CPUで動かしているそうで動作スピードはそこまで期待できるものではないかもしれませんが試みとして面白そうなので備忘録。

モデルの読み込み時にエラーが出るケースがあるみたいなので出た時は別のモデルを試してみると良いかもです。

Alpaca-Turbo