Titan V εναντίον 1080 Ti - Επικεφαλής μάχης των καλύτερων επιτραπέζιων GPU σε CNN. Τι αξίζει τον Τιτάνα; 110 TFLOPS! δεν έχει νόημα, σωστά;

Το Titan V της NVIDIA είναι η πιο πρόσφατη "επιφάνεια εργασίας" GPU που βασίζεται στην αρχιτεκτονική Volta και διαθέτει 110 "βαθιά εκμάθηση" TFLOPS στο φύλλο spec. Αυτός είναι ένας απίστευτος αριθμός. Συγκρίνετε αυτό με το 1080 Ti, τον τρέχοντα βασιλιά για τη GPU "επιφάνεια εργασίας", που βάζει 11 "κανονικά" TFLOPS με 11GB μνήμης GDDR5 σε πολύ λογική τιμή 699 αυτοκόλλητων ετικετών.

Ενώ η υπόσχεση του Titan V ακούγεται πολύ συναρπαστική, το σημείο τιμής $ 2999 είναι λίγο δύσκολο να καταπιεί. Αλλά με 10x TFLOPS, θα έπρεπε να αγοράσετε Titan V αντί; Είναι σαν να πάρει 10 1080 Ti; Ή καλύτερα να αγοράζετε 4 1080 Ti για τα ίδια χρήματα;

Σε μια πλευρική σημείωση, ο σταθμός DGX βρίσκεται επί του παρόντος σε πώληση για $ 49900 (κανονικά, τιμή $ 69900). Έρχεται με 4 Tesla V100 που έχουν ψύχεται από το νερό και είναι ελαφρώς καλύτερο από το desktop Titan V (αν και ο πύργος φαίνεται BOSS και υποθέτω ότι έρχεται με υποστήριξη και SLA.) Αλλά οι περισσότεροι από εμάς (heck, Υποθέτω πολλά από τα πανεπιστήμια και τα ερευνητικά εργαστήρια της AI) δεν έχουν τέτοια χρήματα για να πετάξουν. Ακόμα κι αν το έκανες, δεν είναι σίγουρο ότι αν κάνει πολύ οικονομική λογική. BTW, εάν εκμεταλλεύεστε ένα κέντρο δεδομένων, η NVIDIA ενημέρωσε πρόσφατα τη δική της EULA για να απαγορεύσει τη χρήση γραφικών GeForce και Titan GPU "desktop" για χρήση σε κέντρα δεδομένων.

Έτσι, το ερώτημα είναι, είναι το Titan V αξίζει αν ψάχνετε να φτιάξετε τη δική σας πλατφόρμα GPU;

Επιτρέψτε μου να ξεκινήσω λέγοντας ότι ο Titan V και ο μεγάλος αδερφός του Tesla V100 του server είναι πολύ νέοι. Το V100 κυκλοφόρησε τον Μάιο του 2017 και ο Titan V μόλις βγήκε αυτό το μήνα (Δεκέμβριος 2017). Τα περισσότερα από τα πλαίσια βαθιάς μάθησης έσπευσαν να προσθέσουν υποστήριξη Volta για να διασφαλίσουν ότι όλες οι δυνητικές επιδόσεις μπορούν να αξιοποιηθούν.

Για παράδειγμα, το PyTorch μόλις πρόσφατα κυκλοφόρησε με την έκδοση 0.3.0, η οποία προσθέτει υποστήριξη για GPU CUDA 9 και Volta. Έχω παίξει γύρω με αυτό το setup και η κοινότητα PyTorch ήταν φοβερό (ειδικά Soumith Chintala - ευχαριστώ μάγκα!) Για να με βοηθήσει με έξω. Τώρα που μπορώ να τρέχω το PyTorch στο Titan V, έχω γράψει κάποιο κώδικα αναφοράς για να δείξω τις διαφορές απόδοσης. Μέχρι στιγμής, τα αποτελέσματα περιλαμβάνουν μόνο αυτά του PyTorch 0.3.0 αλλά σχεδιάζω να προσθέσω αποτελέσματα και για άλλα πλαίσια (EDIT: τώρα τα αποτελέσματα αναφοράς περιέχουν τους αριθμούς από το TensorFlow 1.4.0 και το Caffe2 0.8.1 επίσης - βλ. το σύνδεσμο για περισσότερες λεπτομέρειες), όλα σε CUDA 9.0.176 και CuDNN 7.0.0.5, για να εξισορροπήσετε το πεδίο παιχνιδιού.

Σύγκριση απόδοσης του Titan V έναντι 1080 Ti

Ας δούμε λοιπόν τα παραπάνω αποτελέσματα.
Το Titan V και το 1080 Ti συγκρίθηκαν μεταξύ τους με τις ίδιες ρυθμίσεις (επιπλέον, αυτές οι κάρτες βρίσκονται και στις υποδοχές 16X PCIE του ίδιου υπολογιστή).

Οι αριθμοί χρονισμού που παρουσιάζονται παραπάνω προορίζονται για το πέρασμα προς τα εμπρός μέσω του CNN ("eval") και προς τα εμπρός και προς τα πίσω ("αμαξοστοιχία"), μετρούμενα σε χιλιοστά του δευτερολέπτου. Αυτοί είναι οι μέσοι αριθμοί που υπολογίστηκαν σε 20 περάσματα μετά από μερικά θερμαντικά ρεύματα. Έχω τρέξει αυτό πολλές φορές, και αυτοί οι αριθμοί είναι αρκετά σταθεροί.

Ενδιαφέροντα σημεία:

  • Προφανώς, ο Τιτάνας V είναι ταχύτερος από 1080 Ti. Ωστόσο, εάν συγκρίνετε απλώς τις 32-bit ("ενιαία" ακρίβεια), το Titan V είναι μόνο ~ 20% ταχύτερο από το 1080 Ti.
  • Οι διαδρομές 16-bit ("μισής" ακρίβειας) του Titan V δεν είναι ασυνήθιστα ταχύτερες από εκείνες του αντίστοιχου 32-bit. Το 1080 Ti επωφελήθηκε από τη μισή ακρίβεια, αλλά τα κέρδη απόδοσης είναι αρκετά μέτρια σε σύγκριση με τον Titan V.

Αυτοί οι αριθμοί δεν φωνάζουν πραγματικά "OH ΟΙ ΚΑΛΥΤΕΣ ΜΟΥ ΤΙΤΑΝ V ΔΕΝ ΕΙΝΑΙ ΚΑΘΕ ΜΗΧΑΝΗΜΑ".

Είναι η NVIDIA ψέματα για τα 10x TFLOPS; Είμαι βέβαιος ότι οι φίλοι του μάρκετινγκ είναι καλόι τίμιοι άνθρωποι, αλλά εδώ υπάρχουν πολλοί παράγοντες. Κάποιος, είμαι βέβαιος ότι υπάρχει ακόμα περιθώριο βελτίωσης από την πλευρά του λογισμικού για να εξαγάγετε κάθε κομμάτι των super fast Tensor πυρήνων του Volta. Αλλά ακόμα και τότε, εάν οι περισσότερες διαδρομές κώδικα δεν συμμορφώνονται με τις συνθήκες που επιτρέπουν τη μέγιστη θεωρητική απόδοση (βλέπε ΟΛΑ ΚΑΝΟΝΕΣ στο "Προγραμματισμός πυρήνων τανυστή στο CUDA 9 από τη NVIDIA), υπάρχουν μόνο πολλά που μπορείτε να κάνετε. Ο χρόνος θα δείξει πόσα βελτιώσεις θα δούμε στο επίπεδο του πλαισίου / CUDA / CuDNN για να εκμεταλλευτούμε τις δυνατότητες GPU Volta όσο μπορούν, αλλά οι αρχικοί αριθμοί που έχω παρατηρήσει στο δημοφιλές CNN. στο CNN) δεν φαίνονται να δικαιολογούν την απόκτηση ενός Titan V, ειδικά εάν επρόκειτο να βρεθεί κάποιος τώρα καθώς το λογισμικό παίζει το καλύτερο.

Παρόλο που είναι διασκεδαστικό να παίζεις με την τελευταία τεχνολογία και να είσαι πρώιμος υιοθετητής, αν εσύ επικεντρωθείς στην έρευνα AI ή στην κατασκευή προϊόντων στην προσωπική σου πλατφόρμα GPU, θα πρότεινα να αγοράσεις 1080 Ti από αυτό το γράψιμο (μέχρι να βγει η NVIDIA με μια ακόμα καλύτερη εναλλακτική λύση στο εγγύς μέλλον · τείνουν να μας εκπλήξουν με νέες κυκλοφορίες.) Επίσης, θεωρούν ότι ένα μόνο Titan V είναι μόνο 12GB μνήμης ενώ το 1080 Ti έχει οριακά μικρότερη μνήμη στα 11GB. Αλλά αν αγοράσετε 4 από αυτά για τα ίδια χρήματα (τουλάχιστον στις GPUs ... χρειάζεστε επίσης ένα beefier τροφοδοτικό, μητρικές που μπορούν να υποστηρίξουν 4 GPUs, περισσότερη μνήμη RAM και καλύτερη ψύξη κ.ο.κ.), θα καταλήξετε με τρόπο περισσότερο GPU μνήμη (44GB vs 12GB.) Αφού είπα ότι πιστεύω ότι ένα πιο πρακτικό πράγμα που πρέπει να κάνετε, αν θέλετε να πάρετε περισσότερες από μία GPU, είναι να πάρετε 2x1080 Ti. Με αυτόν τον τρόπο, οι μονάδες GPU δεν πρέπει να στοιβάζονται ακριβώς πάνω στην άλλη (περισσότερη ροή αέρα για ψύξη - όταν αυτές οι κάρτες θερμικής γκαζιού, θα μπορούσατε να χάσετε την απόδοση σημαντικά ... μπορείτε να κάνετε ψύξη νερού, αλλά αυτό προσθέτει σημαντικά στο κόστος, Κάποια κίνδυνο.) Επίσης, με μόνο δύο κάρτες, η κλήρωση δύναμης είναι 250Wx2 από τις GPUs, ώστε να μπορείτε να ξεφύγετε με μια φθηνότερη τροφοδοσία. Εν πάση περιπτώσει, θεωρώ εξαιρετικά πολύτιμη την ύπαρξη πολλαπλών GPU και τη διάσπαση πειραμάτων μεταξύ τους ώστε να μπορέσω να τα επαναλάβω γρήγορα, γι 'αυτό θα ήθελα να συστήσω έναν καλό συμβιβασμό.
Μια άλλη επιλογή για την αντιμετώπιση της ζήτησης θερμότητας των στοιβαζόμενων, αερόψυκτων GPU, εάν πρέπει να έχετε 3-4 από αυτές, δεν θέλετε να δροσερά το νερό και δεν σας ενδιαφέρει η αισθητική ή ο θόρυβος είναι να πάρετε μερικά PCIE extenders / ανατρέφουν και κάνουν ό, τι έκανε αυτό το κερδοφόρο Kaggler:

Μια μηχανή 4x 1080 Ti από τον Vladimir Iglovikov, ένα από τα νικηφόρα μέλη της ομάδας της Carvana Image Masking Challenge

Ελπίζω να βρείτε αυτή την ανάρτηση χρήσιμη. Παρακαλώ ενημερώστε μας αν υπάρχουν συγκεκριμένα αποτελέσματα που θέλετε να δείτε στο Titan V ή 1080 Ti. Ευχαριστούμε που το διαβάσατε!