有沒有那么一首歌,會讓你想不起來叫什么?有那么一首旋律,在你的腦海中縈繞,但你卻想不起來它的名字和演唱者??吹揭欢涿利惖幕?,卻不知道它叫什么,屬于什么科目。類似的情形,每個人都遇到過。不過,現在這些都不成為問題了。打開一個手機應用,哼一下曲調,或者用相機拍一張照片,答案馬上出現在你面前。變身行走的知識小百科,就這么簡單!


英特爾與京東優化分布式特征向量檢索系統Vearch,性能提升最高達到5.9倍


圖片來源:Pexels


聽音識曲,以圖搜圖,所有這些,都有賴于人工智能的特征向量檢索能力:AI 機器學習算法,可以從圖像、音視頻和文本中抽取大量的特征,再用于視頻相似度檢測、人臉識別等業務場景中,對于 AI 訓練與應用有重要價值。


隨著 AI 的開發和應用不斷普及和深入,企業需要計算、存儲海量特征向量數據,IT 基礎設施因此面臨沉重的性能壓力。英特爾和京東一起,在基于英特爾®至強®可擴展處理器的服務器上,開發了服務于 AI 時代的分布式向量搜索系統 Vearch,讓京東的業務綜合性能獲得顯著提升,從而顯著加速重復圖片去重、相似性商品圖片搜索、人臉識別等 AI 應用的響應速度。


跨越性能挑戰:軟件算法優化+硬件并行計算


這幾年來,京東一直在落地 AI 技術,幫助業務成長。因此,深度學習等 AI 應用在企業內部的規模越來越大,Vearch 應運而生。


英特爾與京東優化分布式特征向量檢索系統Vearch,性能提升最高達到5.9倍


Vearch 向量檢索系統架構


分布式基礎向量檢索系統 Vearch,由京東零售技術與數據中心基礎架構團隊在現有業務和應用場景中提煉得出,面向 AI 時代,希望可以幫助 AI 算法專家集中精力在算法上。Vearch 廣泛應用于圖像、音視頻和自然語言處理等各個機器學習領域,完整地解決海量特征的存儲與計算, 以統一的基礎設施,適用于圖像、視頻、音頻檢索和去重,安防視頻智能監控,文本相似度計算、推薦、搜索召回及排序等。例如,基于 Vearch 的實時在線相似性圖片搜索,幫助電商平臺為用戶提供同款商品搜索服務,提升用戶體驗。


英特爾與京東優化分布式特征向量檢索系統Vearch,性能提升最高達到5.9倍


基于 Vearch 的在線相似性圖片搜索流程


諸如 Vearch 這樣的系統,特征向量的規模常常會達到 10/100 億,甚至千億量級,必須有充足的內存和存儲才能滿足,同時部署大量的容器加以支持。為了最大化利用資源,企業會將單個容器的資源控制在較小范圍內。在這種單容器資源有限的情況下,如何有效地整合零碎化 CPU、 內存和磁盤資源,并且保證整體系統的高性能是一個較大的挑戰。


針對 Vearch 的性能問題,京東技術團隊與英特爾合作,在基于英特爾®至強®可擴展處理器的服務器上,借助下列多種方式在軟件算法層面加以優化。


1.原始向量壓縮:原始向量的存儲占用絕大多數系統資源,使用合適算法后,可壓縮 50%,包括內存和磁盤占用資源節省一半,而且效果不變。


2.string 字段壓縮:使用合適的字符串壓縮算法,內存的字符串存儲空間也減少 50%,同時解壓縮開銷也不高。


3.內存整理:定期整理和內存池技術可以重復利用已分配內存。


4.圖+量化組合索引:全新的索引模型,將存儲資源使用量減少到原來的四分之一甚至更多。


在硬件提升層面,英特爾®至強®可擴展處理器也功不可沒。它不但有強大的通用計算能力,還集成了增強單指令多數據流(Single Instruction Multiple Data,簡稱 SIMD)的英特爾® AVX-512 指令集等創新技術,兼顧并行計算能力,在諸如人工智能、高性能計算等強調 SIMD 的場景中長袖善舞。


為了驗證性能優化的實際效果,京東與英特爾對于 Vearch 優化版 IVFPQ 和 IVFFlat 進行了測試。測試結果表明,使用 IVFPQ 算法的 Vearch 性能可以提升 33%-44%,使用 IVFFlat 算法,性能提升最高達到 5.9 倍。在人臉識別等實際應用中,不需大幅投資基礎設施,優化后的 Vearch 可以提升特征向量檢索的速度,降低存儲資源消耗,節約總體擁有成本(TCO)。


英特爾與京東優化分布式特征向量檢索系統Vearch,性能提升最高達到5.9倍


Vearch 優化版 IVFPQ(AVX512)與 Faiss 原生 IVFPQ 的性能對比


英特爾與京東優化分布式特征向量檢索系統Vearch,性能提升最高達到5.9倍


Vearch 優化版 IVFFlat(AVX512)與 Faiss 原生 IVFFlat 的性能對比


AI 互聯網創新,靠大家攜手推動


Vearch 開源一年多來,華為、科大訊飛、愛奇藝、趣頭條、OPPO、汽車之家和網易嚴選等數十家知名公司的團隊或個人,已經在一些業務場景中嘗試或使用。未來,京東還會在英特爾的支持下,提供更豐富的算法插件,如文本語義 embedding 算法插件,音頻 embedding 算法插件等。


總而言之,借助英特爾架構在性能、擴展性、穩定性、可用性等方面的優勢,英特爾愿意和眾多合作伙伴一起,讓 AI 和機器學習技術在互聯網、零售和金融行業不斷發揮創新推動力,改善廣大用戶的日常生活。

文章來源: 英特爾商用頻道

免責聲明

我來說幾句

不吐不快,我來說兩句
最新評論

還沒有人評論哦,搶沙發吧~