様々な解析が出来るAI搭載のオープンソースの画像切り抜きツール・「Snippai」

Ads

Snippai

様々な解析が出来るAI搭載のオープンソースの画像切り抜きツール・「Snippai」
Snippaiは様々な解析が出来るAI搭載のオープンソースの画像切り抜きツールです。切り抜きというか、画面上で部分的なスクショが出来る、という感じです。

Electron, React、TypeScriptで構成されており、Win、MacOSに対応したデスクトップアプリ且つ完全オープンソースとして提供されています。

Winで利用する場合をベースに書きます。使い方は簡単で、Snippaiを起動した状態でCtrl+Shift+Aと押すと、その場にモニターに表示されている内容の切り抜きツールが起動するので範囲を選択して✓ボタンを押すとSnippaiに貼り付けられます。

Ads

上記SSはSnippaiを起動したところです。この状態でCtrl+Shift+Aをすれば、選択した箇所がここに貼り付けられ、AIによって解析されます。

Snippaiには貼り付け後は以下のタブで画像をAIが解析してくれる、というものになります。

  • Formula(数式):画像内の数式を識別し、LaTeX 形式に変換。
  • Text(テキスト):画像内のテキストを認識して抽出(要はOCR)。
  • Table(表):画像内でテーブル化出来そうな箇所を識別し、Markdown形式で提供。
  • Image(画像):画像の内容を分析して説明。
  • Solve(解決):画像内に存在するさまざまな問題を解決する。
  • Code(コード):画像にあるコードスニペットを分析して説明。
  • Color(カラー):画像内の主要な色を特定して抽出。

上記は一通り試しましたが期待通り動作しました。結構良い感じです。AIモデルはGPT-4とGeminiが選択可能でしたが、GeminiはAPIキー不要(要Googleログイン)で手軽に使えるのでこのまま利用し続けてみます。使用頻度が高くなりそうならforkしてUIや生成テキストの日本語化、AIモデルの追加などをしてみようかと思います。

SnippaiGithub