上海2017年9月5日電 /美通社/ -- 在最近公佈的國際權威人臉識別供應商測試 FRVT（Face Recognition Vendor Test）結果中，中國公司依圖科技獲得了四項測試的第一名，超越了俄羅斯公司 Vocord和法國公司莫弗（Vocord 是國際老牌安防廠商，長久以來超越 Google 等公司盤踞人臉識別算法第一名）。
FRVT 是由美國國家標準技術局 NIST (National Institute of Standards and Technology) 組織的人臉識別供應商測試，作為美國國家採購的官方指導，其測試的權威性是全球工業界實際應用的黃金標準。
FRVT 的人臉識別測試集合來自美國國土安全局的真實業務場景，例如出入境、刑偵過程中收集的大量照片。與時下熱門、由學術機構舉辦的 LFW、MegaFace 測試相比，FRVT 更貼近真實應用，測試規模更大，不僅擁有百萬量級測試數據，同時這些測試數據均不公開，有效避免算法過擬合甚至是作弊手段。
表一：主流的人臉識別測試場景、測試集、指標比較
|
|
主辦方 |
場景分佈 |
測試集大小 |
測試、訓練數據 |
指標 |
|
LFW |
美國馬薩諸塞大學 |
互聯網明星照 |
10,000 (易過擬合) |
測試數據公開；訓練、測試數據獨立性不保證 |
千分之一誤報下的識別性能，無法區分不同算法性 能差異 |
|
MegaFace |
美國華盛頓大學 |
互聯網明星照 |
1,000,000 |
測試數據公開；訓練、測試數據獨立性無法保證 |
百萬量級測試集上的首位命中率；可以區分不同算法性能差異 |
|
FRVT |
美國國家標準技術局 (NIST) |
美國官方真實邊檢、刑偵用數據 |
1,000,000 |
測試數據不公開 (盲測) |
千萬分之一誤報下的性能 (取樣百億對樣本)，最大的測試規模 |
表二：代表廠商在三個測試集上的成績比較（安防廠商海康威視 (Hikvision) 未發佈公開測試成績）
|
|
依圖科技 |
Vocord |
騰訊優圖 |
大華 |
百度 |
曠視 |
商湯 |
|
FRVT |
95.5% 第一名 |
93.5% 第二名 |
|
|
|
|
|
|
MegaFace |
|
91.7% 第一名 |
83.3% 第二名 |
|
|
|
|
|
LFW |
|
|
99.8% 第二名 |
99.78% 第四名 |
99.77% 第七名 |
99.5% |
99.53% |
LFW 是由美國馬薩諸塞大學發佈並維護的公開人臉數據集，測試數據規模為10,000，國內多家公司例如百度、騰訊、大華、曠視、商湯都曾獲得99.5%以上的測試成績。
MegaFace 是由美國華盛頓大學發佈並維護的公開人臉數據集，測試規模比 LFW 大 100 倍，更能區分各個算法的性能差異。該數據集測試的第一名是創立於 1999 年的老牌俄羅斯公司 Vocord，測試成績為 91.7%，比第二名騰訊優圖高出 8%。
在頂級的競爭中，數據和計算的優勢並不能保證輸出最優秀的算法性能。
由美國國家標準技術局（NIST）主持的 FRVT，除了主持機構的權威性外，測試結果的權威性還來自其評測的嚴謹和全面性：
- 數據均來自真實業務場景，測試結果好則代表該技術可以在實戰場景中直接應用。
- 數據規模是通過對百億對樣本採樣，達到百萬量級。如此大規模的測試集可以穩定評估算法性能，詳細區分不同算法的優劣。
- 測試數據不公開 (盲測)，這保證了測試的公正性。因為參賽的算法團隊無法利用測試數據做模型訓練，可以有效避免過擬合或直接作弊等手段，因此相對於 LFW、MegaFace 而言，FRVT 則更能體現測試的公正性。
- 科學專業性，FRVT 對不同實戰場景、人種、年齡、性別，做了詳細分解下的識別性能比較，並在模型速度、特徵庫大小、比對閾值等做了詳細評估。
據官方最新發佈的報告，FRVT 的第一名是中國公司依圖科技，在千萬分之一誤報下 (採樣百億對樣本) 的準確率為 95.5%，比第二名俄羅斯公司 Vocord 93.5% 的準確率高出 2%。這是目前為止全球公開的、最大規模測試集、最權威測試指標下的最好成績，比2014年參與同樣測試的第一名日本公司 NEC 在準確率上有大幅提高。
NIST 針對測試作了不同場景、不同人種、不同性別、不同年齡的識別性能比較。從官方描述來看，其提供的測試數據對應了出入境管理、身份門禁認證、平安城市監控等實戰應用場景，依圖在四項主要的測試場景中均獲得第一名。在更詳細的人種（黑人、白人、亞洲人等）、性別比較中，依圖的算法表現幾乎沒有差異；而其他算法隨著識別難度增加，識別率出現了不同程度的較大降低。對比結果說明依圖的算法可以在不同類型數據分佈的實用場景中，例如黑人較多的場景下，算法也可有穩定表現。
有關具體報告 Ongoing FRVT 2017.6.19，請點擊閱讀原文查看。
智能萬倍增長
過去四年，從 LFW 到 FRVT，測試指標已經從千分之一誤報到千萬分之一誤報，識別性能已經提高一萬倍，意味著誤報降低萬倍。可以預見，很快就會出現測試指標在億分之一、十億分之一、百億分之一誤報下的識別性能比較，這將是另一個千倍的智能識別能力的增長。
我們可以想像，在十億級超大規模比對、十億分之一超低誤報下的高識別性能下，智能技術將解鎖更多的應用場景，從樓宇建築到城市量級，甚至多城聯動，再到全國範圍內的人臉比對、安防布控都將成為可能。
依圖科技 CEO 朱瓏在接受機器之心採訪時表示：「NIST 是工業界最權威的測試，有最直接的應用指導價值。從測試的結果來說，有兩個意義：我們可以平靜的接受，來自中國的算法技術超過全球的競爭對手；更大的意義在於，掌握標準制定話語權和實際全球影響力的美國國家標準技術局也顯得不够全面，千萬分之一的誤報下的識別率並不能拉開我們和第二名的差距，我們的算法已經在 10 億分之一的誤報下達到超過 90% 的識別率。希望將來，國際主流學術機構能接受，只有中國參與的標準測試，才反映全球最前沿的技術理解。」
關於依圖
依圖科技是中國領先的人工智能公司，自2012年創建以來，憑借紮實的人工智能技術積累、深刻的行業理解，已經占據中國智能安防領域半壁江山，並在醫療、金融、交通等領域取得突破性進展。
媒體聯絡：
韩洋
+86-021-6151-7311
yang.han@yitu-inc.com
