Ｓｋｙテックブログ（技術ブログ）

記事検索

検索ワードを入力してください。
Sky Tech Blog
【Azure OpenAI Service】コンテンツフィルター -入門編-
AI・生成AI2026.11.09

【Azure OpenAI Service】コンテンツフィルター -入門編-

Azure OpenAI Service（AOAI）の「コンテンツフィルター」について解説します。有害コンテンツのブロック閾値設定、プロンプト攻撃・著作権保護対策機能、カスタマイズやオフにする際の留意点など、安全かつ適切なAI運用のための知識をまとめました。

はじめに

AIを製品に組み込む上で、モデル性能と同じくらい重要なのが 安全性のコントロール です。

弊社製品にて、撮影された画像の解析機能実現のため、 Azure OpenAI Service（以降：AOAI） の利用を検討しました。
AOAI には既定の安全ポリシーが用意されており、プロンプト（入力）とモデルの応答（出力）の両方を対象に、有害な可能性がある内容を検出・制御します。

今回は、AOAI の安全性を支える コンテンツフィルター についてご紹介します。

1. AOAIに​おける​コンテンツフィルターとは

コンテンツフィルターは、AOAI の入出力を監視し、 望ましくない内容を検出してブロックまたは注釈付けする仕組み です。

AOAI の安全機能は、単に不適切な表現を制限するだけではありません。
有害カテゴリへの対応に加えて、 プロンプト攻撃対策 や 著作権保護の観点での出力制御 なども含めた、生成 AI 活用のためのガードレールとして機能します。

要するに、コンテンツフィルターは単なる NG ワード判定ではなく、 モデルを安全に利用するための制御レイヤー です。

2. コンテンツフィルターで​制御できる​内容

テキスト系モデルでは、既定で次の 4 カテゴリが対象です。
これらは 入力（プロンプト）と出力（応答）の両方 に適用されます。

  • ヘイトと公平性
  • 暴力
  • 性的
  • 自傷行為

これらの 4 カテゴリに対して、 ブロックする閾値 を設定してフィルタリングできます。

コンテンツフィルターは、少しでも該当した内容を一律に制限する仕組みではなく、 検出された内容の重大度レベルに応じて制御する仕組み です。

たとえば、ある入力や出力が「暴力」カテゴリに該当したとしても、その内容の重大度によって扱いが変わります。
「どの程度の重大度からブロックするか」という設定に応じて、実際にブロックするか、通過させるかが決まります。

つまり、カテゴリに少しでも該当したら即ブロックされるのではなく、 内容の重大度と設定した閾値の組み合わせで判定される イメージです。

なお、上記の 4 つの有害カテゴリ以外にも追加の制御が適用できます。
代表例として、 Prompt Shields（プロンプト攻撃対策） や Protected Material for Text / Code があります。

  • Prompt Shields（プロンプト攻撃対策）
    ユーザーが「これまでの指示を無視して」などの形で、システム指示を破ろうとする入力を検出するための仕組みです。
    RAG やエージェント型の構成では、こうした対策の重要性がより高くなります。
  • Protected Material for Text / Code
    モデル出力が、既知の著作権保護コンテンツや公開コードと類似している可能性を検出する仕組みです。
    特に、コード生成や記事生成のように、既存の保護されたコンテンツに近い内容が出力されることを避けたい場面で重要です。

また、個人情報の検知や、回答が与えられた根拠に沿っているかを確認する設定も利用できます。

3. どこまで​カスタマイズできるのか

AOAI では、 入力用と出力用を分けて フィルターを構成でき、各カテゴリで どの重大度レベルからブロックするか を設定できます。

コンテンツの重大度レベルは、低い順に safe / low / medium / high に分類されます。
ブロック対象とする重大度レベルの範囲は、 Lowest blocking / Medium blocking / Highest blocking のようなブロックレベルで指定できます。

たとえば、 Medium blocking は medium 以上の重大度レベルをブロック対象にする設定です。
Lowest blocking は high のみをブロック対象にする相対的に緩い設定で、 Highest blocking は low 以上をブロック対象にする相対的に厳しい設定です。

用途に応じて、 入力はやや緩め、出力は厳しめ のような設計も可能です。

4. コンテンツフィルターを​オフに​するには

閾値の調整は通常の構成で可能 ですが、 4 つの有害カテゴリに対するコンテンツフィルターを部分的または完全にオフにする場合は Microsoft への申請と承認が必要 です。

ただし、申請によって制御を緩和・解除する場合は、単に「通せる範囲が広がる」だけではありません。
もともと Microsoft 側のガードレールで抑えられていたリスクを、 申請した側の責任で管理・運用していく必要があります 。

そのため、解除申請を行う場合は、責任ある AI 利用のルールをどう継続的に守るかを、自社で担保する必要があります。

5. 製品に​ AOAI を​組み込むとき

コンテンツフィルターは、強ければ強いほどよいわけではありません。
厳しくしすぎると、 指定したプロンプトに対して期待した内容が得られない ことがあります。

たとえば、フィルター設定が厳しすぎると、本来問題のない画像や入力であってもフィルターに該当し、エラーになることがあります。
また、AI が生成した出力内容に対してフィルターが過敏に反応し、必要な出力が得られない場合もあります。

利用者から見ると、次のような体験につながります。

  • AI から回答が得られない
  • 応答が途中で切れる
  • 本来ほしい内容が返ってこない

一方で、緩すぎると不適切な応答が通ったり、著作権・個人情報・コンプライアンス上の問題につながる可能性があります。
そのため、AOAI を利用した機能を製品として提供するうえでは、製品のポリシーや入力されるデータの性質、許容できるリスクの範囲を踏まえて、閾値を明確に定めることが重要です。

まとめ

AOAI のコンテンツフィルターは、 入力 / 出力の両方を対象にした安全制御 であり、生成 AI を利用するうえでの基本機能です。
一方で、厳しくしすぎると期待した応答が得られず、運用しづらくなるため、 安全性と利便性のバランス を見ながら設定する必要があります。

設定値は、 利用者・想定される問い合わせ・誤検知の許容度・見逃し時の影響 といった観点を整理したうえで、継続的に調整していくことが重要です。

参考文献

＼シェアをお願いします！／
  • X
  • Facebook
  • LINE
キャリア採用募集中！

入社後にスキルアップを目指す若手の方も、ご自身の経験を幅広いフィールドで生かしたいベテランの方も、お一人おひとりの経験に応じたキャリア採用を行っています。

Ｓｋｙ株式会社のソフトウェア開発や製品、採用に関するお問い合わせについては、下記のリンクをご確認ください。
お問い合わせ
ホーム