悪意の含まれるテキストや画像を自動検出する為のオープンソースのAIモデレーションライブラリ・「OpenModerator」

Ads

OpenModerator

悪意の含まれるテキストや画像を自動検出する為のオープンソースのAIモデレーションライブラリ・「OpenModerator」
OpenModeratorは悪意の含まれるテキストや画像をAIで検出する為のオープンソースのAIモデレーションライブラリです。悪意、と言うと語弊があるかもしれませんが、ここでは一般的な意味での悪意、いわゆる「冒涜的な表現」を指します。

SNSや掲示板などのCGM(Consumer Generated Media)サービスにおけるユーザー同士の投稿をベースとしたコミュニティに必要とされるモデレーションを自動的に行う為のもので、基本的にはGoogleのPerspective APIで特定の悪意ある言語や意図の検出を行い、このフィルターを回避しようとするユーザーにはAIでフラグを立てる、というもののようです。

また、前述したようにInception V3を使用した画像モデレーションもサポートしており、CGMにおけるUGM(User Generated Contents)のモデレーションを担い、健全なサービス運営に貢献します。将来的にはより強力なモデルが登場すれば切り替えたり、動画や音声モデレーションも可能になれば追加していくそうです。とはいえ、精度は分からない(確かめられない)ので、まぁこういうのがあるという備忘録として。使い方はリポジトリをご確認下さい。ライセンスはApache2.0です。

OpenModeratorGithub

タイトルとURLをコピーしました