Snippai
Snippaiは様々な解析が出来るAI搭載のオープンソースの画像切り抜きツールです。切り抜きというか、画面上で部分的なスクショが出来る、という感じです。
Electron, React、TypeScriptで構成されており、Win、MacOSに対応したデスクトップアプリ且つ完全オープンソースとして提供されています。
Winで利用する場合をベースに書きます。使い方は簡単で、Snippaiを起動した状態でCtrl+Shift+Aと押すと、その場にモニターに表示されている内容の切り抜きツールが起動するので範囲を選択して✓ボタンを押すとSnippaiに貼り付けられます。
上記SSはSnippaiを起動したところです。この状態でCtrl+Shift+Aをすれば、選択した箇所がここに貼り付けられ、AIによって解析されます。
Snippaiには貼り付け後は以下のタブで画像をAIが解析してくれる、というものになります。
- Formula（数式）：画像内の数式を識別し、LaTeX 形式に変換。
- Text（テキスト）：画像内のテキストを認識して抽出（要はOCR）。
- Table（表）：画像内でテーブル化出来そうな箇所を識別し、Markdown形式で提供。
- Image（画像）：画像の内容を分析して説明。
- Solve（解決）：画像内に存在するさまざまな問題を解決する。
- Code（コード）：画像にあるコードスニペットを分析して説明。
- Color（カラー）：画像内の主要な色を特定して抽出。
上記は一通り試しましたが期待通り動作しました。結構良い感じです。AIモデルはGPT-4とGeminiが選択可能でしたが、GeminiはAPIキー不要（要Googleログイン）で手軽に使えるのでこのまま利用し続けてみます。使用頻度が高くなりそうならforkしてUIや生成テキストの日本語化、AIモデルの追加などをしてみようかと思います。