AIチャットボットに貼り付けた文章、そのまま信用して大丈夫ですか

社内でChatGPTやCopilotにメールや議事録をそのまま貼り付けて要約してもらうことはありませんか。

私自身もウェブで見つけた記事や資料をそのままAIチャットボットに貼り付けて要約させることがよくあります。

正直かなり便利で一度使うとやめられません。

先日海外のセキュリティ研究機関CheckPoint Researchが「PuzzleMask」という新しい攻撃手口を報告していました。

ごく普通の英文の中に危険な指示をこっそり紛れ込ませておく手口だそうです。

絵文字や暗号のような特殊な記号を使わず自然な文章に見せかけている点がこれまでの手口と違うところのようです。

多くのAIチャットボットには入力内容を最初にざっとチェックする見張り役と実際に処理を行う本体の二段階の仕組みがあるとのことでした。

見張り役は文章量が多いと細部まで読み切れずそのまま通してしまうことがあるそうです。

そして本体側の高性能なAIに渡った時になって初めて隠れていた指示が解読され実行されてしまうケースがあると報告されていました。

検証ではほとんどの見張り役がすり抜けを許してしまい本体側でも高い確率で隠された指示が実行されてしまったそうです。

正直なところ私も便利さにつられてコピペ元の文章をあまり確認せずにAIへ貼り付けてしまうことが多く今回の記事を読んで少し反省しました。

業務でAIチャットボットを使う機会が増える中でウェブサイトやメールの文章をそのまま貼り付けるのが日常になっている会社は少なくないと思います。

特にお客様からのメールや取引先の資料をそのまま要約させている場合は少し注意が必要かもしれません。

出所のよくわからない文章を丸ごと貼り付ける前に一度中身にざっと目を通しておくことが今のところできる一番シンプルな対策だそうです。

AI側の入力チェックだけに頼らずAIが実際にどんな操作をしたのかも合わせて見ておくことが大事だとも指摘されていました。

便利なAIツールほど思わぬ形で悪用される手口が次々に出てくるので貴社でも使い方のルールを一度見直してみるのはいかがでしょうか。

使い方に不安がある場合はお気軽に弊社までご相談ください。

参考：CheckPoint Research（英語）