米国立標準技術研究所（NIST）は12月19日、顔認証ベンダーテスト（FRVT）プログラムを通じ、顔認証アルゴリズムの調査レポートを発表。アルゴリズムが顔認証照合する精度は、被写体の人種グループによって異なると判断した。NISTは、商務省所管の国立研究所。日本企業のものも対象となった。
同調査は、開発企業99社のソフトウェア189種を対象に、国務省、国土安全保障省、連邦捜査局（FBI）提供のデータベースから、849万人、1827万枚の画像を活用し実施。ソーシャルメディア等のインターネットソースやビデオ監視からスクレイピングした画像は調査対象外とした。対象画像には、被写体の年齢、性別、人種、出生国を示すメタデータ情報が含まれ、個別のアルゴリズムが、被写体を識別する精度の高さと、人種、性別、年齢等の特徴に応じた識別精度の変化を分析した。
アルゴリズム評価にあたっては、検出したエラーが「偽陽性」か「偽陰性」かを識別。偽陽性とは、2人の異なる人物の画像を、同一人物を見なすエラーを指す。一方、偽陰性とは、同一人物を別の人物と認識するエラーを指す。これらのエラー種別は、アプリケーション上の挙動に大きな差分をもたらす可能性があるため、識別することが重要だとした。
同調査ではまず、同一人物を撮影した異なる画像について、被写体が同一人物であると特定する「1対1マッチング」を確認した。1対1マッチングは、スマートフォンのロック解除やパスポート確認等の検証作業で利用される。次に、データベース上の画像の中に、被写体の人物と一致するものがあるかを判断する「1対多マッチング」を確認。1対多マッチングは、関心ある人物の識別に利用される。これまで、人種、性別等の特徴を踏まえた1対1マッチング評価の研究事例はほとんどなく、1対多マッチングについては前例がなかった。
今回の調査結果から発見は、
- 1対1のマッチングでは、白人と比べ、アジア系やアフリカ系米国人の画像において「偽陽性」検出率が高い。アルゴリズム毎の差分は、10倍から100倍。異なる人物を同一と見なす可能性があることから、セキュリティ上の懸念があるとした。
- 米国開発のアルゴリズムでは、1対1マッチングにおけるアジア人、アフリカ系アメリカ人、先住民の偽陽性検出率が高い。特にアメリカンインディアンでの偽陽性検出率が最も高かった。
- アジア諸国開発のアルゴリズムでは、1対1マッチングにおける偽陽性検出率について、白人とアジア人で明確な差は見られなかった。
- 1対多のマッチングでは、アフリカ系アメリカ人女性の偽陽性検出率が高い。
- 今回見られた1対多マッチングにおける高い偽陽性検出率は、全アルゴリズム共通ではなく、アルゴリズムによって挙動は異なる点を強調した。
日本企業で対象となったのは、NEC、パナソニック等。中国企業もテンセント等が対象となった。
【参照ページ】NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software
ここから先は登録ユーザー限定のコンテンツとなります。ログインまたはユーザー登録を行って下さい。
米国立標準技術研究所（NIST）は12月19日、顔認証ベンダーテスト（FRVT）プログラムを通じ、顔認証アルゴリズムの調査レポートを発表。アルゴリズムが顔認証照合する精度は、被写体の人種グループによって異なると判断した。NISTは、商務省所管の国立研究所。日本企業のものも対象となった。
同調査は、
ここから先は登録ユーザー限定のコンテンツとなります。ログインまたはユーザー登録を行って下さい。
米国立標準技術研究所（NIST）は12月19日、顔認証ベンダーテスト（FRVT）プログラムを通じ、顔認証アルゴリズムの調査レポートを発表。アルゴリズムが顔認証照合する精度は、被写体の人種グループによって異なると判断した。NISTは、商務省所管の国立研究所。日本企業のものも対象となった。
同調査は、
ここから先は登録ユーザー限定のコンテンツとなります。ログインまたはユーザー登録を行って下さい。
ここから先は有料登録会員限定のコンテンツとなります。有料登録会員へのアップグレードを行って下さい。
米国立標準技術研究所（NIST）は12月19日、顔認証ベンダーテスト（FRVT）プログラムを通じ、顔認証アルゴリズムの調査レポートを発表。アルゴリズムが顔認証照合する精度は、被写体の人種グループによって異なると判断した。NISTは、商務省所管の国立研究所。日本企業のものも対象となった。
同調査は、開発企業99社のソフトウェア189種を対象に、国務省、国土安全保障省、連邦捜査局（FBI）提供のデータベースから、849万人、1827万枚の画像を活用し実施。ソーシャルメディア等のインターネットソースやビデオ監視からスクレイピングした画像は調査対象外とした。対象画像には、被写体の年齢、性別、人種、出生国を示すメタデータ情報が含まれ、個別のアルゴリズムが、被写体を識別する精度の高さと、人種、性別、年齢等の特徴に応じた識別精度の変化を分析した。
アルゴリズム評価にあたっては、検出したエラーが「偽陽性」か「偽陰性」かを識別。偽陽性とは、2人の異なる人物の画像を、同一人物を見なすエラーを指す。一方、偽陰性とは、同一人物を別の人物と認識するエラーを指す。これらのエラー種別は、アプリケーション上の挙動に大きな差分をもたらす可能性があるため、識別することが重要だとした。
同調査ではまず、同一人物を撮影した異なる画像について、被写体が同一人物であると特定する「1対1マッチング」を確認した。1対1マッチングは、スマートフォンのロック解除やパスポート確認等の検証作業で利用される。次に、データベース上の画像の中に、被写体の人物と一致するものがあるかを判断する「1対多マッチング」を確認。1対多マッチングは、関心ある人物の識別に利用される。これまで、人種、性別等の特徴を踏まえた1対1マッチング評価の研究事例はほとんどなく、1対多マッチングについては前例がなかった。
今回の調査結果から発見は、
- 1対1のマッチングでは、白人と比べ、アジア系やアフリカ系米国人の画像において「偽陽性」検出率が高い。アルゴリズム毎の差分は、10倍から100倍。異なる人物を同一と見なす可能性があることから、セキュリティ上の懸念があるとした。
- 米国開発のアルゴリズムでは、1対1マッチングにおけるアジア人、アフリカ系アメリカ人、先住民の偽陽性検出率が高い。特にアメリカンインディアンでの偽陽性検出率が最も高かった。
- アジア諸国開発のアルゴリズムでは、1対1マッチングにおける偽陽性検出率について、白人とアジア人で明確な差は見られなかった。
- 1対多のマッチングでは、アフリカ系アメリカ人女性の偽陽性検出率が高い。
- 今回見られた1対多マッチングにおける高い偽陽性検出率は、全アルゴリズム共通ではなく、アルゴリズムによって挙動は異なる点を強調した。
日本企業で対象となったのは、NEC、パナソニック等。中国企業もテンセント等が対象となった。
【参照ページ】NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software
ここから先は登録ユーザー限定のコンテンツとなります。ログインまたはユーザー登録を行って下さい。