高度な画像認識AIは手書きの文字やステッカーなどの「敵対的な画像」で簡単にだまされてしまう危険性
人工知能(AI)で画像に写っている人や物を自動で見分けることで、これまで人間にしかできなかったさまざまな作業を機械でもできるようになりました。
しかし、最先端のAIですら、手書きのメモだけで簡単にだませてしまうことが判明。
このような画像認識AIの思わぬ弱点を、IT系ニュースサイトのThe Vergeが指摘しています。
OpenAI’s state-of-the-art machine vision AI is fooled by handwritten notes - The Verge
https://www.theverge.com/2021/3/8/22319173/openai-machine-vision-adversarial-typographic-attacka-clip-multimodal-neuron
AI開発研究所であるOpenAIで開発されている画像分類モデル「CLIP」を発表しました。
CLIPは画像だけではなく、自然言語からも画像表現を学習していくという部分が大きな特徴。
「『リンゴ』という文字を見て、リンゴのイメージを思い浮かべる」という人間には当たり前の思考が、AIにも可能になります。
しかし、文字からイメージを想起してタグ付けして分類に役立てるということは、文字がそのままイメージに直結してしまいやすいという弱点があります。
そのためCLIPには、手書きの文字で簡単にAIをだますことができてしまう「活版印刷攻撃」が有効であると、OpenAIも認めています。
(以下略、続きはソースでご確認下さい)
Gigazine 2021年03月09日 11時09分
https://gigazine.net/news/20210309-ai-adversarial-typographic-attack/
引用元: ・【AI】高度な画像認識AIは手書きの文字やステッカーなどの「敵対的な画像」で簡単にだまされてしまう危険性 [すらいむ★]
その手の脆弱性はアルゴリズム由来ね
最終的にはアルゴリズムということになるが、学習過程でのサンプルにも依存しそうだね。
犯罪認知とかに使うには真っ先に立ちはだかる壁だな
天下一品を一通の看板と勘違いしたりするしな
>>1
活版印刷攻撃
なんだか、デコボコした鉄の板で殴られて痛いイメージが湧く…
おっことしたら足が痛いうえにパーツがばらけて拾うのが大変そうな
地下鉄の入り口を駐車場の入り口と間違えるのと同じじゃよ。
パソコンの中の3Dモデルじゃあんまり発展しない
確かにこれはまずい