菜單導航

萊斯大學英特爾新算法證明CPU加速深度學習優于_英語作文大學

作者:?楊超月 發布時間:?2020年03月05日 11:55:38

與上一層的連接權重

最后一個數組的長度等于上一層中神經元的數量。

每層中的LSH哈希表構造都是一次性操作,可以與該層中不同神經元上的多個線程并行。

論文作者之一、萊斯大學助理教授Anshumali Shrivastava表示,SLIDE相對于反向傳播的最大優勢就在于數據并行。

舉個例子,數據并行的情況下,要訓練兩個數據實例,一個是貓的圖像,另一個是公共汽車的圖像,它們可能會激活不同的神經元,而SLIDE可以分別獨立地更新、訓練它們。

如此,就能更好地利用CPU的并行性。

不過,與GPU相比,該方法對內存要求較高

Shrivastava也提到,在與英特爾的合作中,他們針對SLIDE,對CPU進行了優化,比如支持Kernel Hugepages以減少緩存丟失。這些優化使得SLIDE的性能提高了約30%。

實驗結果

所以,與依賴GPU的深度學習相比,SLIDE到底表現如何?

研究人員在Delicious-200KAmazon-670K這兩個大型數據集上進行了驗證。

實驗配置,是2個22核/44線程處理器(Intel Xeon E5-2699A v4 2.40GHz),和英偉達TeslaV100 Volta 32GB GPU。

結果表明,在任意精度上,CPU上的SLIDE總是比V100上基于TensorFlow的GPU算法快。

萊斯大學英特爾新算法證明CPU加速深度學習優于_英語作文大學

在Delicious-200K數據集上,SLIDE比TF-GPU快1.8倍;而在算力要求更高的Amazon-670K數據集上,SLIDE的速度更是TF-GPU的2.7倍。

其大部分計算優勢,來自于對輸出層中一小部分激活神經元的采樣。

而在相同的CPU上,SLIDE要比基于TensorFlow的算法快10倍以上。

熱門標簽
www.d88.com娱乐登录-www.d88.com真人网娱乐