SONY, NVIDIA V100 Tensor Core GPU'ları ile ResNet-50 Eğitim Rekorunu Kırdı - Derin Öğrenme

Kasım 13, 2018

SONY araştırmacıları ImageNet/ResNet-50 eğitimini 2100 tane NVIDIA Tesla V100 Tensor Core GPU’ları ile sadece 224 saniyede (3 dakika 44 saniye) %75 doğruluk tamamladıklarını duyurdu. Bu başarım, yayınlanmış en hızlı ResNet-50 eğitim süresi anlamına geliyor.

Takım, aynı zamanda 1088 adet NVIDIA Tesla V100 Tensor Core GPU’ları ile %90’ın üzerinde GPU ölçekleme verimi elde etmeyi başardı.

ImageNet/ResNet-50 eğitiminde GPU ölçekleme verimi

	İşlemci	Ara Bağlantı	GPU ölçekleme verimi
Goyal ve diğ. [1]	Tesla P100 x256	50Gbit Ethernet	∼90%
Akiba ve diğ. [5]	Tesla P100 x1024	Infiniband FDR	80%
Jia ve diğ. [6]	Tesla P40 x2048	100Gbit Ethernet	87.90%
Bu çalışma	Tesla V100 x1088	Infiniband EDR x2	91.62%

ImageNet/ResNet-50 ile eğitim süresi ve en iyi doğrulama doğruluğu SONY takımı makalesinde “Derin öğrenmede artış için veri seti boyutu ve derin sinir ağı (DNN) modeliyle birlikte, modeli eğitmek için gereken zaman da artıyor.” yazdı.

	Paket büyüklüğü	İşlemci	DL Kütüphanesi	Süre	Doğruluk
He ve diğ.	256	Tesla P100 x8	Caffe	29 saat	75.30%
Goyal ve diğ.	8K	Tesla P100 x256	Caffe2	1 saat	76.30%
Smith ve diğ.	8K→16K	full TPU Pod	TensorFlow	30 dk	76.10%
Akiba ve diğ.	32K	Tesla P100 x1024	Chainer	15 dk	74.90%
Jia ve diğ.	64K	Tesla P40 x2048	TensorFlow	6.6 dk	75.80%
Bu çalışma	34K→68K	Tesla V100 x2176	NNL	224 sn	75.03%

Takım bu rekoru kırmak için, araştırmacılar iki öncelikli konu olan: geniş mini-paket eğitimi kararsızlığı ve takım içi iletişim uyumluluğu ile büyük ölçekli dağıtımlı eğitimine önem verdiklerini ifade etti.

Araştırmacılar, “Biz geniş mini-paket kararsızlığını göstermek için bir paket boyu kontrol tekniğini benimsedik.” dedi. “Aynı zamanda, GPU’lar arasında verimli bir gradient değişimi için 2D-Torus şeması geliştirdik.”

2D-Torus, verimli bir haberleşme topolojisi gibi hizmet veriyor ve bu da iletişimde takıma uyum sağlama süresini azaltıyor.

Yazılım: Takım “Derin Sinir Ağı eğitim kütüphanesi (DNN) olarak Yapay Sinir Ağı Kütüphaneleri (NNL) ve bunların CUDA eklentilerini kullandık.” dedi. “NNL 1.0.0 CUDA 9.0 verisonları tabanlı geliştirme kolları ile GPU’larda DNN eğitimi için de cuDNN 7.3.1’i kullandık.”

Takım, makalelerinde “Haberleşme kütüphanesi olarak NCCL versiyon 2.3.5 ve OpenMPI versiyon 2.1.3’ü kullandık. 2D-Torus all-reduce ise NCCL2 ile uygulandı. Yukarıdaki yazılım da bir Singularity konteyner içinde paketlendi. Dağılmış DNN eğitimini koşturmak için Singularity versiyon 2.5.2’yi kullandık.” yazdı.

Bu çalışma geliştirme kütüphanesini güçlendirdi “Çekirdek Kütüphanesi: Sinir Ağı Kütüphaneleri Sony tarafından geliştirildi ve AI Bridging Cloud Infrastructure (ABCI) süper bilgisayarı, birinci sınıf hesaplama altyapısı Japan’s National Institute of Advanced Industrial Science and Technology (AIST) tarafından kuruldu ve işletildi. Bu sistem 4300 adet NVIDIA Volta Tensor Core GPU’ları tarafından çalıştırılıyor.

Kaynak: Nvidia Developer News Center