2026年7月28日、欧州の非営利調査団体AI Forensicsは、AIモデルやデータセットを共有できるHugging Faceにおける画像編集ツールが非同意性的画像（NCII）の生成に使われる危険性を調べた報告書「Unmoderated by Design」を公表した。NCIIとは、本人の明示的な同意を得ずに作成・共有される性的な画像を指し、実在しない身体を合成した画像も含まれる。
Hugging Faceには、ユーザーがブラウザ上でAIモデルを動かせる「Spaces」という機能がある。AI Forensicsは2026年6月25日時点で画像編集カテゴリに上位表示された9件をテストし、7件が、女性の顔とポーズを維持したまま上半身の服を消すよう求める短い指示に応じたと報告した。安全機能を回避するための複雑な指示は使っていないにもかかわらず、である。
また、調査団体が別に設置した画像編集Spaceには、約1週間で1,081件の画像と指示が送られた。AI Forensicsの分類では73％が性的な内容で、そのうち83％は、写真に写る人物の服を消すか性的に描き直すよう求めていた。こうした要求の対象は95％が女性だったという。
日常の写真を一般的な画像編集ツールへアップロードし、短い文章を入力するだけで、本人が見せたことのない身体を作れてしまう。今回の調査は、身体をどう描かれるかを本人が決める権利と、公開された顔写真を第三者がどこまで改変できるのかという問題を、モデル共有プラットフォームの設計に突きつけた。以下、調査の経緯と残る論点を詳しく見ていく。
上位表示された9件のうち7件が短い指示に応答
AI Forensicsがテストに使用したのは、実在する人物の写真ではなく、AIで作成した女性の画像だった。調査チームが同じ画像と指示を9件のSpacesへ入力したところ、7件から上半身を露出させた画像が返されたとしている。WIREDの報道によると、各SpaceはNCII専用ツールを名乗っておらず、一般的な画像編集機能として公開されていたものだ。
7件が直接的な指示を拒まなかった事実は軽くない。ユーザーは安全機能を迂回する方法を探したり、専用ソフトを導入したりする必要がなく、一般的な画像編集画面がそのまま性的改変の入口になり得たわけだ。
AI Forensicsは、ユーザーが実際にどのような目的で画像編集Spaceを探しているのかを調べるため、自らSpaceを設置して検証した。このSpaceには成人向けであることを示すタグを付けず、送られた画像や指示を記録する一方、要求された画像は生成しないようにしていたという。
約1週間で集まった1,081件の分類結果は以下の通り。
| 調査項目 | 割合 | 母数・意味 |
| 性的な内容を含むリクエスト | 73％ | 1,081件全体に占める割合 |
| 人物の服を消す、または性的に描き直す要求 | 83％ | 性的なリクエストに占める割合 |
| 女性を対象とした要求 | 95％ | 服を消す、または性的に描き直す要求の対象 |
| 未成年とみられる人物を対象とした要求 | 6.7％ | 性的なリクエストに占める割合 |
AI Forensicsは調査結果について、「監視したリクエストの73％は性的な内容だった」と報告。未成年とみられる人物への要求が行われていれば、一部の出力は児童性的虐待コンテンツ（CSAM）に当たり得ると説明している。
もちろん、調査対象となったのは、AI Forensicsが設置したSpaceを自ら見つけ画像を送信したユーザーに限られるため、この73％を「Hugging Face全体の利用傾向」とみなすことは当然ながらできない。
それでも、成人向けと表示していないSpaceに、わずか約1週間で性的な改変を求める要求が多数寄せられた事実は、こうした用途への一定の需要があることを示している。
出力管理などの対策はたったの3％。Hugging Faceは調査方法に異論
AI Forensicsによると、監査対象のうち、生成画像を確認して有害な出力を止める仕組みが確認できたSpaceは3％にとどまった。
Hugging Faceはコンテンツポリシーで、モデル、データセット、Spacesを対象に、次のようなコンテンツを制限している。
“Sexual Content used for harassment, bullying, or created without explicit consent.”
「嫌がらせやいじめに使われる性的コンテンツ、または明示的な同意なく作成された性的コンテンツ」（編集部訳）
未成年者の裸体や性的コンテンツも禁止されており、違反が確認された場合は、表示順位の引き下げ、年齢制限を示すタグの付与、アクセス制限、アカウント停止などの措置を取るとしている。
ただし、こうした規約や事後対応だけでは、問題のある画像が生成される前に食い止めることはできないだろう。画像が被害者へ送られたり、別のサービスへ転載されたりした後では、通報による削除だけで拡散を止めるのは難しい。
WIREDによると、Hugging Faceは、一部の画像編集システムでは開発者による安全対策にばらつきがあることを認め、改善を進めていると説明した。一方、今回の調査方法には異論を示している。テスト対象は「いいね」の多い順ではなく、初期設定の「関連性が高い順」で表示されたSpacesであり、収集された1,081件の要求も、プラットフォーム全体の利用傾向を表すものではないという。分類方法によっては、性的ではない要求が誤って含まれている可能性も指摘した。
またHugging Faceは、Spacesでは開発者がさまざまなコードを動かせるため、すべての入力や出力を一律に検査するのは技術的に難しいとしている。AI Forensicsはプラットフォーム側で確認できると主張しており、この点でも両者の見解は分かれている。
以上を踏まえると、今回の調査から確認できるのは、2026年6月25日時点で画像編集カテゴリに上位表示された9件のうち7件が脱衣指示に応じたことと、調査団体が設置したSpaceに多数の性的な要求が届いたことだ。Hugging Face全体の利用実態を示す調査ではないものの、汎用的な画像編集Spaceが性的改変に使われる危険性を示す結果とはいえる。
汎用画像編集に潜む性的改変と被害
Hugging Face以外でも、同様の問題が報告されている。2026年5月に公開された査読前の論文では、AppleとGoogleのアプリストアから抽出した顔交換アプリ420件のうち、条件を満たす155件を研究者が検証した。その結果、70％は裸体画像を使った顔交換を防ぐ仕組みを備えていなかった。いずれも「脱衣アプリ」を名乗っていなかったという。
この研究とAI Forensicsの調査は、対象や検証方法が異なるため、数値を単純に比較することはできないが、アプリの名称や説明だけでは、性的な画像を生成できるかどうかを判断できない点は共通している。
合成された身体が実在しなくても、NCIIによる被害は生じる。本人の画像だと受け取られれば、評判や人間関係、仕事、学校生活に影響しかねない。いったん拡散すれば、画像を削除しても、再生成や再共有への不安は残り続ける。
今回の調査では、脱衣や性的な改変を求められた人物の95％が女性だった。調査規模や分類方法に限界はあるものの、被害が女性に偏る可能性を示す結果といえる。未成年とみられる人物への要求も確認されており、安全対策をSpaceの開発者だけに委ねることの危険性も浮かび上がった。
利用者が「本人の同意を得た」とチェックするだけでは、写真に写る人物が実際に同意しているかは確認できない。入力画像や指示の検査、性的な出力の検知、悪用を繰り返す利用者への制限、被害者が通報や削除を求められる窓口を組み合わせる必要がある。同意に基づく創作や医療目的の利用まで誤って制限しないため、異議を申し立てて訂正できる仕組みも求められる。
EUでは「予見できる悪用」への安全対策が法的論点に
EUは2026年7月24日、AI法を改正する規則（EU）2026/1744を官報に掲載した。規則は7月27日に発効し、識別可能な人物の同意を得ず、その人物の身体を実在するかのような性的画像に加工するAIシステムを禁止対象に加えた。
NCIIの生成を目的としていないシステムでも、同様の出力が予見でき、繰り返し生成できるにもかかわらず、十分な安全対策を講じていなければ対象になり得る。対策の例には、学習データの精査、不適切な指示を拒否するための学習、入力・出力のフィルタリング、悪用の検知、通報後の是正などが挙げられている。同意に基づく創作や、識別可能な人物を描かない作品、一定の医療利用などは対象から区別される。
Hugging Faceや個々のSpaceが規則上どの立場に当たるのか、今回調査されたSpaceが禁止要件に該当するのかは、公開情報だけでは判断できない。ただし、NCIIの生成を目的としていなくても、悪用を予見できるか、十分な対策を講じているかが問われる点は、今回の調査と重なる。
調査対象は、2026年6月25日時点で画像編集カテゴリに上位表示された9件と、AI Forensicsが設置したSpaceに約1週間で届いた要求に限られる。Hugging Face全体の利用実態を示すものではない。それでも、9件中7件が短い指示だけで性的な改変に応じ、成人向けを掲げていないSpaceにも1,081件の要求が届き、その73％が性的な内容だったという結果は、安全対策を個々の開発者だけに委ねる危険を示している。
今後は、プラットフォーム、モデル、Spaceの各段階で被害を未然に防ぎながら、同意に基づく創作や医療利用まで誤って制限しない仕組みを整え、その効果を実測データで示せるかが焦点となる。
