Visual ChatGPT
Visual ChatGPTはChatGPTとの対話で画像を生成したり編集できるOSSです。pythonで書かれており、Microsoftの公式アカウントで公開されています。
LLMは幅広いトピックについて多様な一般知識を提供し、大量データで訓練され、多様なタスクに適応できる基盤モデルは専門知識を提供する専門性を提供しますが、この両方を活用する試みで、様々なタスクに対応できるAIの構築を目指したプロジェクトのようです。
例えばバイクの画像に対し、色を訪ねたり、バイクの部分だけを削除するよう指示したり、といった編集や従来のようにプロンプトを入力して画像を生成する事も出来るみたいです。ソースコードの他、論文も添えられているので興味のある方は合わせてご覧ください。また、使い方に関してはnpakaさんの記事が丁寧に書かれていて分かりやすいと思うのでご参照下さい。ライセンスはMITとの事です。
