人口知能は秘密裏に「悪意をもって」行動し、事故を引き起こすことがある



 

ニューラルネットワークは間違って訓練されることがある

新しい研究論文によると、ニューラルネットワークは間違って訓練されることがあります。

ニューヨーク大学の研究者チームは、人が訓練データを改ざんして、人工知能システムを壊す可能性があることを発見しました。

また、このような悪質な改正を検出することは困難ということです。

そして、この攻撃方法は実際の事故を引き起こすことすらできます。
 

アウトソーシングのセキュリティリスク

ニューラルネットワークは、膨大なデータを必要とし、時間がかかり、高価です。

このため多くの企業はGoogle、Microsoft、Amazonのような他の会社に仕事をアウトソーシングしています。

しかし、このアウトソーシングには潜在的なセキュリティリスクが伴うと研究者らは指摘しています。

なぜなら悪意のある者が介入する余地があるからです。
 

悪意を持って訓練されたネットワークはステルス

ある例では、研究者は自転車の停止標識を誤って識別するためのシステムを訓練することができました。

そして悪意を持って訓練されたネットワークは、元々のネットワークに構造的な変更を及ぼさないため、ステルス性を備えています。つまり悪質の改正を検出することは困難ということです。

これは心配なことであり、ニューヨーク大学の研究者チームは「今回の発見がニューラルネットワークのセキュリティ向上につながることを望む」と述べています。
 
出典:INDEPENDENT