ブログ

Aug 11, 2023

この AI は、音に基づいて入力している内容を判別できます

この記事は、IEEE Xplore と提携した独占的な IEEE Journal Watch シリーズの一部です。 入力したメッセージは、指でキーをタップする音だけで解読できるという。

この記事は、IEEE Xplore と提携した独占的な IEEE Journal Watch シリーズの一部です。

ダーラム大学、サリー大学、およびロンドン大学の研究者らによる最近の論文によると、入力したメッセージは指でキーを叩く音だけから解読できるという。

研究者らは、Apple ノートパソコンのキーボードの各キーの特徴的なクリック音を認識できるように 2 つの機械学習モデルをトレーニングしました。 モデルは、近くに置かれたスマートフォンと Zoom で行われたビデオ通話という 2 つのソースから収集された音声でトレーニングされました。 彼らは、スマートフォンのオーディオ モデルでは 95 パーセント、Zoom 通話モデルでは 93 パーセントの精度を報告しています。

これらのモデルは、いわゆる音響サイドチャネル攻撃を可能にする可能性があります。 この論文で紹介されている技術は現代の機械学習技術に依存していますが、このような攻撃の起源は少なくとも 1950 年代に遡り、英国諜報機関がエジプト政府が使用していた機械的暗号化装置を密かに記録しました。

ラップトップの音響サイドチャネル攻撃は、ラップトップを使用している人の音声録音から、どのキーがどの順序で押されたかを推定します。 これらの攻撃により、銀行の PIN、アカウントのパスワード、政府の資格情報などの機密情報がユーザーから漏洩する可能性があります。

チームのモデルは畳み込みニューラル ネットワーク (CNN) を中心に構築されています。 このようなネットワークが群衆の中の顔を認識できるのと同じように、オーディオ信号のグラフであるスペクトログラムのパターンも認識できます。 このプログラムは、各キー押下の音声を分離し、その波形をスペクトログラムに変換し、そこから各クリックの周波数パターンを抽出し、特定のキーが押された相対確率を計算します。

「私たちは音響データを CNN の画像として検討しました」と報告書の共著者である Ehsan Toreini 氏は言います。 「それが私たちの手法がうまく機能する主な理由だと思います。」

音響サイドチャネル攻撃は、どのキーがどの順序で押されたかの推定に基づいて機密情報を再構築します。

この論文で紹介されている攻撃は範囲が限定されています。 2 つのオーディオ デコード モデルは、1 台のラップトップで入力する同じユーザーから収集されたデータに基づいてトレーニングされ、評価されました。 また、彼らが使用したトレーニング プロセスでは、キー サウンドをキー ラベルと組み合わせる必要がありました。 この攻撃が、異なるオーディオ環境および異なるユーザーの他のラップトップ モデルで使用された場合にどの程度効果があるかはまだわかりません。 また、ラベル付きトレーニング データが必要なため、モデルを展開できる範囲にも制限が生じます。

それでも、攻撃者が入力者のラベル付き音声データにアクセスできるシナリオは考えられます。 そのデータを秘密裏に収集することは難しいかもしれませんが、個人がデータの提供を強制される可能性があります。 ポッドキャスト「Smashing Security」での最近のインタビューの中で、Toreini 氏と共著者の Maryam Mehrnezhad 氏は、企業が新入社員に後で監視できるようにそのデータの提供を要求するという仮説のシナリオについて説明しています。 IEEE Spectrum とのインタビューで、Mehrnezhad 氏は次のように述べています。「別の例としては、親密なパートナーによる暴力が挙げられます。 そのシナリオでは、元パートナーまたは現在のパートナーが悪役になる可能性があります。」

研究チームは、この攻撃のリスクを軽減するいくつかの方法を提示しています。 1 つは、単に速く入力することです。タッチ タイピングでは、個々のキーの押下が混在し、キーストロークの分離とデコードが複雑になる可能性があります。 システム的な変化も役立つだろう。 Zoom などのビデオ通話サービスでは、録音に音声ノイズや歪みプロファイルが混入する可能性があり、機械学習モデルが音声と入力された文字を簡単に照合できなくなります。

「サイバーセキュリティとプライバシーのコミュニティは、人々がリスクや恐怖を感じることなく最新のテクノロジーを使用できるようにする、より安全でプライバシーを保護するソリューションを考案する必要があります」とメエルネザド氏は言います。 「業界や政策立案者には、さまざまな状況や用途でユーザーを保護するためのより良いソリューションを見つける余地があると私たちは信じています。」

研究者らは、最近開催されたセキュリティとプライバシーに関する 2023 IEEE European Symposium on Security and Privacy Workshops で論文を発表しました。