Derin öğrenmenin 2012 yılından bu yana hızla yaygınlaşması ve görüntü tespitindeki doğruluk oranının artmasında GPU mimarisinin kullanılması büyük bir rol oynamaktadır (GPU mimarileri CPU mimarilerine göre daha fazla çekirdek barındırdığından paralel işlem bakımından üstünlük barındırmaktır).
Derin öğrenme için GPU kullanmak zorunda mıyız? şeklinde bir soru aklınıza gelebilir. Bu soruyu doğru cevaplamak için son dönemde üzerinde çalışılan alternatif çözümlere de bakmamız gerekiyor.
Bu yazıda özellikle konuyla ilgili çalışma yapmak isteyenler için çeşitli makaleler paylaşılmıştır. FPGA platformları (FPGA Nedir?) GPU platformları kadar hızlı olmasa da enerji tüketimi dikkate alındığında tercih sebebi olabiliyorlar. Microsoft Open Cloud Server yapısında enerji tüketiminin GPU’lara göre dha az olması nedeniyle FPGA kullanmakta. Derin öğrenmenin bir eğitim bir de uygulama safhası dikkate alındığında, eğitim safhasında FPGA kullanmak işleri çıkmaza sokabilir. İşte bu nedenle Facebook hergün sisteme yüklenen 600 milyon fotografla anlamlı veri elde etmek için GPU yapısı kullanmaktadır.
Verisetinizi eğittikten sonra elde ettiğiniz modelinizi kullanmak için FPGA kullanmayı düşünebilirsiniz. Yazının devamında Altera’nın geliştirdiği FPGA kartı üzerinde yaptığı demo videolarını görebilirsiniz. Demolardan anladığım gerçek zamanlı tanımada FPGA ufakta olsa geçikme yaşıyor.
Güç tüketimi bakımından FPGA uygulamada tercih sebebi olacaksa bir de uygulama yazımı konusunu değerlendirmek gerekiyor. FPGA platformlarına kod yazan uzman sayısının az olduğu, nispetende zorluklar barındırdığı gözardı edilmemelidir.
Peki, güç tüketimi konusu değerlendirildiğinde GPU tabanlı alternatif bir çözüm yok mu? NVIDIA Jetson TX1 düşük güç tüketimi yanında sağlamış olduğu altyapı desteği sayesinde geliştiriciler için alışmış oldukları ortamı bırakmadan GPU mimarisinin sağlamış olduğu tüm olanakları gömülü donanım hızlandırmalı olarak kullanma imkanı sunuyor.
GPU dışındaki diğer yapılar:
Google, makine öğrenmesi ve TensorFlow için Tensor Processing Unit (TPU) yapısına sahip. Söz konusu işlemci Google’ın birçok ürününde hizmet vermeye başladı. Bu mimari özellikle düşük enerji tüketimi bakımından GPU’lara göre daha uygun gözüküyor.
IBM TrueNorth işlemcisi DARPA SyNAPSE Programı desteği ile geliştirilen ve 70 miliwatt enerji harcayarak saniyede 46 milyar sinaptik işlem yapabilen avuç içi süper bilgisayardır. Kıyaslama açısından bakarsak insan beyni 100 trilyon işlem için 20W harcarken varsayıma dayalı bir bilgisayarın bu kadar işlemi yapabilmesi için 12GW’a ihtiyaç duyulmaktadır. Daha fazla bilgi için http://www.research.ibm.com/articles/brain-chip.shtml adresine bakabilirsiniz.
Intel Altera FPGA‘yi bünyesine kattıktan sonra Altera derin öğrenme kullanımına yönelik çalışmalarına hız verdi. Aşağıdaki videolardan ve kaynaklardan detaylara ulaşabilirsiniz.
Convolution Neural Network CNN Implementation on Altera FPGA using OpenCL
FPGAs vs. GPGPUs
Machine Learning on FPGAs: Neural Networks
Object Detection and Recognition with Neural Networks
ALTERA ile obje tespiti ve tanıma yapılabiliyorsada gerçek zamanlı işlem geçikmesi sorun teşkil edebilir.
FPGA ile derin öğrenme kullanımına yönelik makaleler:
1. Accelerating Deep Convolutional Neural Networks Using Specialized Hardware
Accelerating Deep Convolutional Neural Networks U sing Specialized Hardware.pdf
2. Deep Learning on FPGAs: Past, Present, and Future
Deep Learning on FPGAs Past Present and Future1602.04283v1.pdf
3. CNNLab: a Novel Parallel Framework for Neural Networks using GPU and FPGA
Kaynaklar:
https://www.tractica.com/automation-robotics/fpgas-challenge-gpus-as-a-platform-for-deep-learning
https://www.altera.com/products/fpga/stratix-series/stratix-10/overview.html
http://fortune.com/2016/02/29/nervana-deep-learning/
http://www.nextplatform.com/2016/06/21/knights-landing-solid-ground-intels-stake-deep-learning
http://www.nextplatform.com/2016/06/29/universal-fpga-gpu-platform-deep-learning
http://www.heig-vd.ch/docs/default-source/pdf-news-2014/thoma13fpga.pdf