Microsoft、テイラー・スウィフトのディープフェイク作成に使用されたDesigner AIの抜け穴にパッチを当てた

先週、歌手テイラー・スウィフトのディープフェイク写真がネット上で拡散し、AIの悪用を巡る新たな議論が巻き起こり、X（旧Twitter）はプラットフォーム上でのテイラー・スウィフトの検索をブロックせざるを得なくなった。

今回、404 メディアは、Microsoft が、露骨な画像を生成するために Telegram チャネルで使用されていたとされる Designer AI に変更を加えたと報じています。404 メディアの調査によると、有名人のディープフェイク写真は Microsoft の Designer AI に遡り、Telegram Channel と 4chan はユーザーに Designer AI を利用することを推奨していました。

Telegram グループは、メンバーが Microsoft の Designer と呼ばれる AI 画像生成ツールを使用することを推奨しており、ユーザーはしばしばプロンプトを共有して、Microsoft が導入した保護を他の人が回避できるようにしています。これらの画像が掲載された 4chan スレッドには、Microsoft の Designer で露骨な画像を作成する方法についての説明も含まれていました。

Microsoftは人々が露骨な画像を生成するのを防ぐブロックを設けているが、ユーザーはプロンプトで名前を直接使用するのではなく、名前のスペルを間違えたり、性的行為を説明したりすることでこの問題を回避した。

404 Media のテストでは、デザイナーが「ジェニファー アニストン」の画像を生成しないことが判明しましたが、「ジェニファー ‘俳優’ アニストン」というフレーズを使用することで、女優の暗示的な画像を生成することができました。 Twitter 上で Swift AI 画像が広まる前に、Telegram グループのユーザーは、画像を生成するために「Taylor ‘singer’ Swift」というフレーズをメンバーに使用することを推奨していました。

Microsoftは404メディアへの声明で、デザイナーAIがテイラー・スウィフトの画像作成に使用されたという証拠は見つからなかったと述べた。広報担当者はさらに次のように述べた。

当社の行動規範は、アダルト コンテンツや同意のない親密なコンテンツの作成に当社のツールを使用することを禁止しており、当社のポリシーに反するコンテンツの作成を繰り返し試みると、サービスへのアクセスが失われる可能性があります。当社では、システムの悪用を軽減し、ユーザーにとってより安全な環境を構築するために、コンテンツ フィルタリング、運用監視、悪用検出など、当社の責任ある AI 原則に沿ったガードレールやその他の安全システムの開発に取り組んでいる大規模なチームを擁しています。

Microsoft はまだ公式声明を発表していませんが、CEO の Satya Nadella はNBC ニュースのインタビューでこの話題について言及しました。

「はい、私たちは行動しなければなりません」とナデラ氏はスウィフトのディープフェイクに関する質問に答えて語った。 「オンラインの世界が安全であれば、私たち全員が恩恵を受けると思います。したがって、コンテンツ作成者とコンテンツ消費者の両方にとって完全に安全ではないオンライン世界を望む人はいないと思います。したがって、私たちはこの件について迅速に行動する義務があると考えています。」

404 メディアは、調査結果が公表された後、Microsoft が抜け穴を修正したようで、キーワード ブロックを回避するために同じプロンプトやフェーズを使用しても Designer AI では機能しなくなったと指摘しました。しかし、彼らはまた、Telegramは未だに行動を起こしておらず、問題のチャンネルは活動中であり、他のAIサービスを悪用して有名人の露骨なディープフェイク画像を生成する方法を模索しているとも述べた。それだけでなく、4chan のユーザーは、Bing と Designer の禁止を回避する別の方法を見つけたと述べています。

米連邦取引委員会（FTC）がジェネレーティブAI企業への投資を巡りマイクロソフトに対する調査を開始したと発表したばかりであり、このニュースはマイクロソフトにとって悪いタイミングで伝えられた。今月初めの別の報告書では、FTC と司法省 (DOJ) が Microsoft と OpenAI の関係を調査していると主張しました。