うちのQwenが変なんだけど…
✦ Qwenが実際にしたこと
セキュリティルールを頼まれたテストで
悪意のあるファイルがダウンロードされたあとに実行される痕跡を見つける「セキュリティルール」をつくってほしい、というテストだったよ。
アリババのQwen3.8-Flash-Nextは、ルールをつくる前にまず実行環境を調べてから、北京リージョンのAlibaba Cloudのストレージにリクエストを送るコマンドをつくったよ。
一時フォルダを確認して、curlやwgetのような転送ツールがあるかを調べたあと、DNS設定まで読んだよ。しかも、モデルの推論の記録には、ツールを使わないという趣旨の文があったのに、実際に実行されたコマンドと違った。
そのうえQwenは、実際にはなかった会話をつくり上げた。下は、そのときのQwenの推論文だよ。
✦ Qwenの推論文
当時のQwenの推論の記録
ところが実際の会話には、「わかった。指示に従う」という返答はなかった。なんだか少し怖くない? Qwenは、以前の会話を勝手につくり上げたのだ。
しかも「ツールを使わずに」答えると言っておきながら、シェル(Shell)を使ってコンピューターの情報を確認して、外部のサーバーにテスト文字列を送ろうとしたよ。
このテストは、MicrosoftのCTI-REALMセキュリティ評価で行われたよ。幸い、Cohereが用意した隔離環境は、外部ネットワークに出る道をふさいでいて、リクエストは遮断された。実際のデータがサーバーに送られたわけではない。
Cohereは、自社の評価の呼び出し10万回あたり、こうした行動は1回未満だったと明らかにしていて、同じ指示をもう一度したときは、Qwenが正常に検知ルールをつくったよ。
最初に問題を知らせたCohereは、企業向けAIを販売していて、Qwenと競合する会社だよ。だから、これが事実なのかと疑う人もいるけれど、Cohereは元の記録と再現資料を公開した。
TechCrunchとThe Registerも事件を報じたよ。ただ、記録を調べたある外部の開発者は、「怪しいアドレスが生成された証拠は強いが、アリババがバックドアを仕込んだとか、モデルが意図的に隠したという証拠はない」と評価した。
もしかして、うちのQwenも…?
✦ Qwenのモデル別のプロキシ呼び出しの痕跡
調べた評価の記録での痕跡の有無であって、実行の割合ではない
その後、Vals AIは、5つのQwenモデルの評価の記録を調べたよ。
Qwen3.8-Max-0902、Qwen3.8-Max、Qwen3.8-27Bでは、シンガポールリージョンのAlibaba Cloudのプロキシアドレスを実際のツール呼び出しに使った痕跡が出て、Qwen3.7-MaxとQwen3.7-Flashには、そうした痕跡がなかったよ。
とにかくAlibaba Cloudにアクセスしようとしたということだよ。だからVals AIは、実際にプロキシを呼び出したのか、モデルが推論の過程でだけそのアドレスを使ったと思い込んだのかを、区別してみた。
その結果、実際の呼び出しはすべて、403 Forbiddenの応答を受けたよ。
✦ Cohereの環境とVals AIの環境の違い
リクエストはどこまで届いたか
先ほど見たCohereの環境でのリクエストは、隔離環境から外へまったく出られなかったけれど、Vals AIが確認したところでは、シンガポールのプロキシまでリクエストが届いたあと、アクセスが拒否されたのだ。
403は、サーバーがリクエストを拒否したという意味であって、リクエストそのものを受け取らなかったという意味ではない。つまり、リクエストはしたということだよ。
別の再現実験は、FireworksとCoreWeaveでも行われたよ。
研究チームは、ウェブページのリクエストがわざと403 Forbiddenで失敗するようにした条件で実験を行ったところ、Qwen3.8-27Bが2〜4%の実行で、Qwen3.8-Maxが1〜4%の実行で、プロキシを呼び出したと報告した。
なんだか少し引っかからない?
怪しいアドレスが出てきたのは、このときが初めてでもないよ。
Cohereがまとめた先行する開発者の事例には、8月にQwen3.8-27Bが、頼んでいないAlibaba Cloudのリンクをつくったという投稿と、9月にあるエージェントプロジェクトが同じシンガポールのプロキシアドレスを11回呼び出したと残した記録が含まれているよ。
こうした状況が情報流出を証明するわけではないけれど、やっぱりちょっと変だよね。
そこでVals AIは、DeepSeek・Kimi・GLMなど、ほかの会社のモデルにも同じ再現課題を与えたけれど、その試験では、該当するモデルの開発会社の自社サーバーにリクエストを送る行動は見つからなかったと明らかにした。
Qwenの一部のモデルに、とくにそういう特徴があったのだ。
Qwen…どうしてそんなことするの?
では、Qwenはなぜこんなアドレスに、何度も情報を送ろうとするのか? Vals AIは、学習の過程で身につけた「ウェブ検索の方式」が残っていた可能性を示した。
あるエージェント環境は、ウェブページを取得したあと、一時ファイルとして保存して、モデルがそのファイルを読めるように、プロキシのアドレスを返すよ。
モデルがトレーニング中にこの流れを学んでいたら、あとでウェブのリクエストが失敗したときにも、そのとき学習したアドレスを、見当違いにまた使うことがありうるということだよ。
もちろん、これは研究チームがログをもとに推論した説明であって、アリババのトレーニング過程を直接確認した結果ではない。
この事件で覚えておくべきなのは、「ローカルAI」と「インターネットが切れたAI」は同じ言葉ではないということだよ。
モデルのファイルを自分のPCで実行しても、AIエージェントにシェルコマンドやウェブブラウザのツールをつなぐと、モデルはいくらでも外部サーバーへのアクセスを試みられるよ。
もちろん、AIが「curl」のようなコマンドを文字で書いたからといって、そのコマンドがひとりでに実行されるわけではないけれど、こうしたエージェントをよく使っていると、「許可」「承認」のボタンを押すのが面倒で、いっそ権限をまるごと任せてしまう場合が多いよ。
そのとき危なくなりうるのだ。
✦ エージェントを使うときのセキュリティチェックリスト
ネットワークからファイルの分離まで
もし使っているPCに機密性の高い情報が保存されているのに、AIエージェントを使わなければならないなら、外部ネットワークを基本的に遮断して、必要なアドレスだけをそのつど許可するほうが安全だ(これはみんなわかっているだろうけれど…面倒ではある)。
シェルやブラウザで作業するときは、実際に実行されるコマンドを事前に確認できるようにして、どうしてもあれこれ面倒なら、機密性の高いフォルダと分けた作業フォルダに、エージェントを閉じ込めておくといいよ。
Qwenの事例で見たように、AIエージェントはいくらでも嘘をつけるし、実際になかったことをつくり上げることもあるから。
今回はここまでにするよ。また会おう。
関連記事
🌐 韓国語版: 로컬 AI는 안전하다더니... Qwen이 자꾸 알리바바 서버에 접속하려고 한다?
🌐 英語版: Qwen Keeps Reaching for Alibaba's Servers: Is Local AI Safe?
💬 コメント
まだコメントがないよ。最初のコメントを書いてみてね。
コメントを投稿