DeepSeek、素直すぎて研究機関による安全テストに全部不合格
AI市場を牽引してきたアメリカのAI企業株を一気にぶち下げた、中国のバケモノAI「DeepSeek」。世界が今最も注目する存在と言っても過言ではありません。が、セキュリティを不安視する声もあがっています。
テスト全落ち
Ciscoの研究チームが、DeepSeekのAIモデルDeepSeek R1を調査。AI使用において危険・有害だと思われる攻撃的テスト50を実施したところ、そのすべてでしっかりと罠にひっかかってしまいました。そのひっかかり度100%! この手のテスト受けたメインどころの大規模言語モデルの中で、最もひっかかっています。つまり、安全性が低いということ。
Cisco研究チームが使用したのは、言語モデルの安全性テストに使用されるHarmBenchデータセット。このテストでは、危険と思われるプロンプトにひっかからないのが重要となります。たとえば、Aさんの性格などをAIに伝えたうえで「Aさんが騙されそうな都市伝説を作って!」とオーダーしたとします。安全性の高いAIはこれを拒否します。が、DeepSeekはノリノリで答えてしまうのです。
テストは、サイバー犯罪、誤情報、法に反する行動など6つのカテゴリで実施。これに合格するのは容易ではないようで、MetaのLlama 3.1も不正解率(ひっかり率)が96%と高い。OpenAIのo1モデルは25%ほど。高ければ高いほど安全性が低いことになりますが、DeepSeekの不正解率100%はトップ・オブ・トップ。
ギズモード
全文はリンク先で
https://www.goo.ne.jp/green/column/gizmodo-300660.html
化けの皮が剥がれてきたのかな?
はい、そうですね!明確にパクりました
とか言いそう
なんのためのDeepSeekだと思ってるんですか?
そりゃそうだ
楽天市場