Αξιολόγηση Συστημάτων Συστήματος: Επιλέγοντας το καλύτερο για την επιχείρησή σας

Μαζί με την ατελείωτη επέκταση του ηλεκτρονικού εμπορίου και των online μέσων μαζικής επικοινωνίας τα τελευταία χρόνια, υπάρχουν όλο και περισσότερα Συστήματα Συστήματος Αναφοράς (SaaS) που είναι διαθέσιμα σήμερα. Αντίθετα με τα προηγούμενα 5 χρόνια, όταν χρησιμοποιούσε το RS ήταν ένα προνόμιο των μεγάλων εταιρειών να χτίζουν το δικό τους RS στο σπίτι, ξοδεύοντας ένα ginormous προϋπολογισμό σε μια ομάδα επιστημόνων δεδομένων, η σημερινή δημοτικότητα των λύσεων SaaS καθιστά προσιτή τη χρήση σύστασης ακόμα και για μικρά και μεσαία -μεταξύ εταιρειών. Μια ερώτηση που οι ΚΟΤ τέτοιων εταιρειών αντιμετωπίζουν όταν ψάχνουν για το σωστό SaaS RS είναι: Ποια λύση είναι η καλύτερη; Υποθέτοντας ότι ακόμα δεν έχετε RS ή δεν είστε ικανοποιημένοι με την τρέχουσα RS, ποια λύση θα πρέπει να επιλέξετε;

Σε αυτό το άρθρο, θα καλύψω δύο προσεγγίσεις:

  • Αξιολόγηση εκτός σύνδεσης στον ακαδημαϊκό κόσμο (συν το βραβείο Netflix), ψάχνοντας για χαμηλά σφάλματα πρόβλεψης (RMSE / MAE) και υψηλή κάλυψη Recall / Catalog. TLDR. απλά γνωρίζετε ότι τα μέτρα αυτά υπάρχουν και πιθανώς δεν θέλετε να τα χρησιμοποιήσετε. Παρόλα αυτά, σας δίνω μια σύντομη περίληψη σε περίπτωση που ενδιαφέρεστε.
  • Ηλεκτρονική αξιολόγηση στον επιχειρηματικό κόσμο, ψάχνοντας για υψηλές αξίες ζωής πελάτη (CLV), πραγματοποιώντας δοκιμές A / B, CTR, CR, ROI και QA. Θα πρέπει να διαβάσετε αυτήν την ενότητα εάν εξετάζετε σοβαρά συστάσεις που ενισχύουν την επιχείρησή σας.

Ο κόσμος εκτός σύνδεσης = Πως το κάνουν οι ακαδημαϊκοί;

Τα RS έχουν διερευνηθεί εδώ και δεκαετίες στην ακαδημαϊκή έρευνα. Υπάρχουν πολλά ερευνητικά έγγραφα που εισάγουν διαφορετικούς αλγόριθμους και για να κάνουν τους αλγόριθμους συγκρίσιμους, χρησιμοποιούν ακαδημαϊκά μέτρα. Ονομάζουμε αυτά τα μέτρα τα μέτρα εκτός σύνδεσης. Δεν βάζετε τίποτα στην παραγωγή, παίζετε μόνο με τους αλγορίθμους στο sandbox σας και τα προσαρμόζετε σύμφωνα με αυτά τα μέτρα. Έψαξα προσωπικά αυτά τα μέτρα πολύ, αλλά από τη σημερινή μου άποψη, είναι μάλλον προϊστορικά. Αλλά ακόμα και στη μέση ηλικία του 2006 στο διάσημο βραβείο Netflix, χρησιμοποιήθηκε ένα καθαρά ακαδημαϊκό μέτρο που ονομάζεται RMSE (ριζικό μέσο τετράγωνο σφάλμα).

Ακριβώς για να εξηγήσουμε σύντομα πώς λειτουργεί, προϋποθέτει ότι οι χρήστες σας βαθμολογούν ρητά τα προϊόντα σας με αριθμό λέξεων (1 = ισχυρή ανυπαρξία, 5 = ισχυρή) και έχετε μια δέσμη τέτοιων αξιολογήσεων (τα αρχεία λένε ότι ο χρήστης Αξιολογήθηκε το στοιχείο X με Y αστέρια) από το παρελθόν. Χρησιμοποιείται μια τεχνική που ονομάζεται επικύρωση διαίρεσης: παίρνετε μόνο ένα υποσύνολο αυτών των αξιολογήσεων, ας πούμε το 80% (που ονομάζεται σύνολο τραίνο), χτίσετε το RS πάνω τους και στη συνέχεια ζητήστε από την RS να προβλέψει τις βαθμολογίες για το 20% που έχετε κρυφή (το σετ δοκιμών). Και έτσι μπορεί να συμβεί ότι ένας δοκιμαστικός χρήστης αξιολόγησε κάποιο στοιχείο με 4 αστέρια, αλλά το μοντέλο σας προβλέπει 3,5, επομένως έχει ένα σφάλμα 0,5 σε αυτήν την αξιολόγηση και αυτό ακριβώς προέρχεται από το RMSE. Στη συνέχεια, υπολογίζετε τον μέσο όρο των σφαλμάτων από ολόκληρο το σετ δοκιμών χρησιμοποιώντας έναν τύπο και αποκτήστε ένα τελικό αποτέλεσμα 0.71623. ΛΟΤΑΡΙΑ! Έτσι είναι καλό (ή, ακριβέστερα, κακό) το RS σας. Ή μπορείτε επίσης να χρησιμοποιήσετε διαφορετική φόρμουλα και να πάρετε το MAE (μέσο απόλυτο σφάλμα), το οποίο δεν τιμωρεί τεράστια λάθη (αληθινά 4 αστέρια, προβλεπόμενα 1 αστέρι) τόσο πολύ, ώστε να έχετε μόνο 0.6134.

Ένα μικρό μειονέκτημα εδώ είναι ότι τέτοια δεδομένα σχεδόν δεν υπάρχουν στον πραγματικό κόσμο, ή τουλάχιστον υπάρχουν λίγα από αυτά.

Οι χρήστες είναι πολύ τεμπέλης και δεν θα αξιολογήσουν τίποτα. Απλώς ανοίγουν μια ιστοσελίδα και αν τους αρέσει αυτό που βλέπουν, θα μπορούσαν να το αγοράσουν / να το καταναλώσουν. αν είναι χάλια, φεύγουν τόσο γρήγορα όσο ήρθαν. Και έτσι έχετε μόνο τις αποκαλούμενες σιωπηρές αξιολογήσεις στο αρχείο καταγραφής διακομιστή ιστού ή σε μια βάση δεδομένων αγορών και δεν μπορείτε να μετρήσετε το σφάλμα με τον αριθμό των αστεριών απλώς και μόνο επειδή δεν υπάρχουν άστρα. Έχετε μόνο +1 = χρήστης είδε μια λεπτομέρεια ή αγόρασε ένα προϊόν και, συνήθως, τίποτα άλλο. Μερικές φορές αυτές οι λέξεις ονομάζονται unary ratings, τις οποίες γνωρίζετε από το κουμπί "Like" του Facebook: η βαθμολογία είναι θετική ή άγνωστη (ο χρήστης ίσως δεν γνωρίζει ότι το περιεχόμενο υπάρχει).

Μπορείτε ακόμα να χρησιμοποιήσετε την επικύρωση κατά διαχωρισμό σε αυτά τα δεδομένα, ακόμη και για τη δική σας σύγκριση εκτός σύνδεσης των συνιστώντων SaaS. Ας υποθέσουμε ότι παίρνετε, για παράδειγμα, τη βάση δεδομένων αγορών σας, υποβάλετε το ιστορικό 80% των χρηστών στη RS και, στη συνέχεια, για κάθε δοκιμαζόμενο χρήστη, υποβάλλετε μόνο μερικές αγορές και ζητήστε από την RS να προβλέψει τα υπόλοιπα. Μπορεί να έχετε αποκρύψει 4 αντικείμενα που έχετε αγοράσει και να ζητήσετε από το RS για 10 αντικείμενα. Μπορεί να έχετε 0%, 25%, 50%, 75% ή 100% ακρίβεια για αυτόν τον χρήστη, ανάλογα με το πόσες από τις κρυφές 4 εμφανίστηκαν στο συνιστώμενο 10. Και αυτή η ακρίβεια ονομάζεται Recall. Μπορείτε να το μετρήσετε σε όλο το σετ δοκιμών σας και το TADAAA! Αποτέλεσμα είναι 31,4159%, τόσο καλό είναι το RS σας.

Τώρα ειλικρινά, παρόλο που η Ανάκληση είναι πολύ πιο υγιής από το RMSE, εξακολουθεί να προκαλεί πολύ πόνο. Ας πούμε ότι ένας δοκιμασμένος χρήστης παρακολούθησε 20 επεισόδια της ίδιας τηλεοπτικής σειράς και μετράτε την ανάκληση σε αυτήν. Έτσι, κρύβετε τα επεισόδια # 18-20 και ζητάτε από την RS να τα προβλέψει από το # 1-17. Είναι πολύ εύκολο έργο, καθώς τα επεισόδια είναι έντονα συνδεδεμένα, οπότε μπορείτε να ανακαλέσετε 100%. Τώρα, ο χρήστης σας ανακάλυψε κάτι νέο; Θέλετε να σας προτείνουμε τέτοιου είδους περιεχόμενο; Και τι σας φέρνει ούτως ή άλλως την υψηλότερη επιχειρηματική αξία; Πείτε στο ηλεκτρονικό κατάστημα, θέλετε να προτείνετε εναλλακτικές λύσεις ή αξεσουάρ; Θα πρέπει να αισθανθείτε ότι παίρνετε σε πολύ λεπτό πάγο με ανάκληση.

Και ένα ακόμη μυστικό θα σας πω: Σε ορισμένες περιπτώσεις (όχι πάντα, εξαρτάται από την επιχείρησή σας!), Είναι μια δίκαιη στρατηγική να συστήνετε μόνο τα πιο δημοφιλή αντικείμενα παγκοσμίως (π.χ. μπεστ σέλερ) για να επιτύχετε λογική ανάκληση. Έτσι, εδώ έρχεται η κάλυψη του καταλόγου. Σας εύχομαι οι χρήστες να συνεχίζουν να ανακαλύπτουν νέο και νέο περιεχόμενο για να παραμείνουν πιστοί; Στη συνέχεια, ίσως θελήσετε να προτείνετε πολλά διαφορετικά στοιχεία. Στην απλούστερη περίπτωση, για να υπολογίσετε την κάλυψη του καταλόγου, πάρτε ακριβώς τους δοκιμαστικούς χρήστες σας, ζητήστε τη σύσταση για καθένα από αυτούς και τοποθετήστε όλα τα συνιστώμενα στοιχεία μαζί. Λαμβάνετε ένα μεγάλο σύνολο διαφορετικών στοιχείων. Διαχωρίστε το μέγεθος αυτού του συνόλου από τον συνολικό αριθμό των αντικειμένων σε ολόκληρο τον κατάλογό σας και παίρνετε ... 42.125%! Αυτό είναι το τμήμα των αντικειμένων που μπορεί να σας προτείνει ποτέ η RS.

Τώρα εξετάστε ένα μοντέλο μπεστ σέλερ. Μπορεί να έχει αρκετά καλή ανάκληση, αλλά σχεδόν μηδενική κάλυψη (5 σταθερές στοιχεία;). Και πάρτε έναν τυχαίο συνιστώσα. Έχει σχεδόν μηδενική ανάκληση και κάλυψη 100%. Ίσως αισθανθείτε ότι θα θέλατε κάποιο συμβιβασμό.

Η παραπάνω εικόνα προέρχεται από την (τώρα ξεπερασμένη) αρχική μου έρευνα. Μπορείτε να δείτε περίπου 1000 διαφορετικά μοντέλα RS που σχεδιάστηκαν στο επίπεδο ανάκλησης-κάλυψης. Geeky, έτσι δεν είναι; :) Μπορεί να αισθάνεστε ζαλισμένος όταν επιλέγετε το καλύτερο, αλλά ελπίζω να αισθάνεστε ότι η επιλογή κάποιων από τα δεξιά ("Pareto-optimal front") θα μπορούσε να είναι μια καλή επιλογή.

Για να κάνετε την εκτίμησή σας εκτός σύνδεσης ακόμα πιο ισχυρή, μπορείτε να χρησιμοποιήσετε τη διασταυρούμενη επικύρωση (Xval) αντί της επικύρωσης κατά τμήματα. Ακριβώς διαιρέστε τους χρήστες σας σε 10 φορές και πηγαίνετε σε βρόχο: παίρνετε πάντα 9 φορές για να φτιάξετε το μοντέλο και χρησιμοποιήστε το υπόλοιπο 1 φορές για να κάνετε την επικύρωση. Καταγράψτε τα αποτελέσματα σε αυτές τις 10 διαδρομές.

Τώρα μπορείτε να πείτε: Τι γίνεται με την επιχείρησή μου; Η μέτρηση της ανάκλησης και της κάλυψης μπορεί να είναι ωραία, αλλά πώς σχετίζονται με τους KPI μου;

Και έχετε δίκιο. Για να βάλετε το SaaS RS στον άξονα X και στον άξονα Y, πρέπει να αφήσετε τον κόσμο εκτός σύνδεσης και να πάτε στην παραγωγή!

Ο σε απευθείας σύνδεση κόσμος: Ακολουθήστε τα παραδείγματα έξυπνων CTO

Το παραπάνω τμήμα αφορούσε τη μέτρηση της ποιότητας του RS προτού τεθεί σε παραγωγή, τώρα ήρθε η ώρα να μιλήσουμε για επιχειρηματικούς KPIs.

Ενώ στην αξιολόγηση εκτός σύνδεσης συνήθως χρησιμοποιούμε την επικύρωση κατά διαχωρισμό, στην αξιολόγηση μέσω διαδικτύου, η δοκιμή A / B (ή η δοκιμή πολλαπλών μεταβλητών) είναι η πιο εξέχουσα προσέγγιση σήμερα. Μπορείτε να ενσωματώσετε μερικά διαφορετικά RS, να διαιρέσετε τους χρήστες σας σε ομάδες και να βάλετε τα RS σε αγώνα. Λίγο δαπανηρή, επειδή καταναλώνει τους αναπτυξιακούς πόρους σας, ώστε να μπορείτε να χρησιμοποιήσετε την εκτιμώμενη δυσκολία ολοκλήρωσης και μελλοντικών εξόδων προσαρμογής / προσαρμογών ως ένα από τα μέτρα σας, τα οποία μπορεί να μειώσουν a priori τη δεξαμενή υποψηφίων.

Τώρα αφήστε να πείτε ότι έχετε έτοιμη την ολοκλήρωση και είστε σε θέση να διαιρέσετε τους χρήστες σας σε ομάδες A / B. Μπορείτε είτε να χρησιμοποιήσετε το δικό σας hashing των cookies UID τους, είτε να χρησιμοποιήσετε κάποιο εργαλείο για αυτό (π.χ. VWO, Optimizely ή ακόμα και GA, αν και η τελευταία επιλογή είναι λίγο οδυνηρή). Για να κάνετε το πείραμα, θα πρέπει να προσδιορίσετε μια καλή θέση στον ιστότοπο / την εφαρμογή σας, όπου θα δοκιμάσετε τις συστάσεις, επειδή σίγουρα δεν θέλετε να ολοκληρώσετε την πλήρη ενσωμάτωση όλων των υποψήφιων RS στις αρχές του πειραματικού σταδίου, σωστά; Εάν έχετε μικρή κίνηση, λάβετε υπόψη ότι η επιλεγμένη θέση πρέπει να είναι αρκετά ορατή ώστε να συλλέγει σημαντικά αποτελέσματα. Στην αντίθετη περίπτωση, εάν έχετε τεράστια κίνηση, μπορείτε να επιλέξετε μια συντηρητική στρατηγική, για παράδειγμα, να απελευθερώσετε μόνο το 20% της κυκλοφορίας σας στη δοκιμή, διατηρώντας τον εαυτό σας και τους υπόλοιπους 80% ασφαλείς χρήστες σε περίπτωση που κάποιοι υποψήφιοι RS να σπάσουν εντελώς και να προτείνουν περίεργα πράγματα.

Ας υποθέσουμε ότι το όλο θέμα είναι έτοιμο. Τι μετράτε; Τα πιο εύκολα μέτρα είναι το ποσοστό κλικ προς αριθμό εμφανίσεων (CTR) και ο συντελεστής μετατροπής (CR) των συστάσεων.

Εμφανίστηκε σύνολο συστάσεων N 20 φορές, εκ των οποίων 3 φορές ένας χρήστης έκανε κλικ σε τουλάχιστον ένα από τα συνιστώμενα στοιχεία; Στη συνέχεια, το CTR σας είναι 15%. Πράγματι, το κλικ είναι ωραίο, αλλά πιθανότατα οδήγησε τον χρήστη σε μια σελίδα λεπτομέρειας και μπορεί να θέλετε να μάθετε τι συνέβη στη συνέχεια. Ο χρήστης βρήκε πραγματικά ενδιαφέρον το περιεχόμενο; Παρακολούθησε ολόκληρο το βίντεο, άκουσε ολόκληρο το τραγούδι, διαβάσει ολόκληρο το άρθρο, απάντησε στην προσφορά εργασίας, έβαλε το προϊόν στο καλάθι και πραγματικά το διέταξε; Αυτός είναι ο ρυθμός μετατροπής = αριθμός συστάσεων που έκαναν ευχαριστημένους εσάς και το χρήστη σας.

Παράδειγμα: Κονσόλα KPI Recombee

Το CTR και το CR μπορεί να σας προσφέρουν μια καλή εκτίμηση της απόδοσης του συνιστώμενου, αλλά θα πρέπει να είστε προσεκτικοί και να συνεχίσετε να σκέφτεστε το προϊόν σας. Ίσως τρέχετε μια πύλη ειδήσεων, βάζοντας τα τελευταία νέα στην αρχική σελίδα. Αυτό μπορεί να μην σας φέρει το υψηλότερο δυνατό CTR, αλλά διατηρεί την ποιότητα και την αίσθηση που έχετε εσείς και εσείς οι χρήστες σχετικά με την υπηρεσία σας. Τώρα μπορείτε να βάλετε ένα RS εκεί και μπορεί να αρχίσει να εμφανίζει διαφορετικό περιεχόμενο, όπως κίτρινα άρθρα δημοσιογραφίας ή αστεία άρθρα σχετικά με τα "πολύ γρήγορα σκυλιά που τρέχουν σε απίστευτες ταχύτητες". Αυτό μπορεί να αυξήσει το άμεσο CTR κατά 5 φορές, αλλά θα βλάψει την εικόνα σας και ενδέχεται να χάσετε τους χρήστες σας μακροπρόθεσμα.

Εδώ έρχεται η εμπειρική αξιολόγηση των RS. Απλά ξεκινήστε μια νέα συνεδρία με κενά cookies, προσομοιώστε τη συμπεριφορά ενός χρήστη και ελέγξτε αν οι συστάσεις είναι υγιείς. Εάν έχετε μια ομάδα QA, να τους πάρετε στη δουλειά! Η εμπειρική αξιολόγηση είναι τόσο πολύπλοκη και εύκολη ταυτόχρονα. Είναι περίπλοκο, επειδή δεν παράγει αριθμούς που θα μπορούσατε να παρουσιάσετε στο προϊόν. Αλλά είναι επίσης εύκολο, γιατί, χάρη στην ανθρώπινη διαίσθησή σας, θα αναγνωρίσετε απλώς ποιες συστάσεις είναι καλές και ποιες είναι κακές. Εάν επιλέγετε συντρόφους που δουλεύουν παράξενα, βάζετε τον εαυτό σας σε πολλά μελλοντικά προβλήματα ακόμη και αν η CTR / CR είναι υψηλή αυτή τη στιγμή.

Αλλά βεβαίως, εκτός από την ποιότητα, θα πρέπει να φροντίζετε για την Επιστροφή Επενδύσεων (ROI).

Με απλά λόγια, μπορεί να έχετε διαπιστώσει ότι η πτυχή # 1 του τεστ A / B οδηγεί σε αύξηση του X% σε ποσοστό μετατροπής σε σχέση με τη βασική γραμμή fold # 0 (τρέχουσα λύση), ότι το περιθώριο σας ήταν $ Y για μέσο με επιτυχία συνιστώμενο στοιχείο. ότι απαιτούσε από την σύσταση Z αιτήσεις για να επιτευχθεί αυτό. Κάνετε τα μαθηματικά, προβάλλετε τα έξοδα / εισοδήματα σε περίπτωση που βάζετε το δεδομένο RS στο 100% της κυκλοφορίας σας, ενσωματώνοντας επίσης σε άλλα τμήματα του ιστοτόπου / της εφαρμογής σας.

Μια προειδοποίηση σχετικά με τον υπολογισμό του ROI: Είναι πολύ ασαφής και εξαρτάται από μεγάλο αριθμό άγνωστων: Η CR θα είναι η ίδια σε άλλα σημεία της ιστοσελίδας / εφαρμογής μου; (Απλή απάντηση = όχι, δεν θα γίνει, διαφορετικοί τόποι έχουν διαφορετική CTR / CR). Πώς θα αλλάξει η ΚΠ, εάν θέσει τις συστάσεις σε περισσότερο ή λιγότερο ελκυστική θέση; (Απλή απάντηση = πολύ). Πώς θα εξελιχθεί η CR εγκαίρως; Οι χρήστες θα μάθουν να χρησιμοποιούν και να εμπιστεύονται τη σύσταση ή θα απορρίπτουν την CR;

Αυτό οδηγεί στην απόλυτη ακόμα δυσκολότερη μέτρηση: την Τιμή Πελατείας (CLV). Ψάχνετε για την κατάσταση win-win. Θέλετε στους χρήστες να σας αρέσουν οι υπηρεσίες σας, να αισθάνονται άνετα, ευτυχισμένοι και πρόθυμοι να επιστρέψουν. Χέρι-χέρι με αυτό, θέλετε το RS να βελτιώσει το UX, να βοηθήσει τους χρήστες να βρουν ενδιαφέρον περιεχόμενο / προϊόντα ό, τι τους αρέσει. Πώς να φτάσετε σε υψηλό CLV χρησιμοποιώντας RS;

Λοιπόν, καμία απλή συμβουλή εδώ. Θα πρέπει να αναζητήσετε ωραίες συστάσεις με υψηλή εμπειρική ποιότητα και λογικά θετική απόδοση επένδυσης (ROI). Για την εμπειρία μου, η ευγένεια των συστάσεων συνήθως αντιστοιχεί στην επιχειρηματική αξία, θα σας αποτρέψει από την αποστολή από καταγγελίες από την ομάδα QA / CEO. Και αν παρατηρήσετε την επιχειρηματική περίπτωση είναι θετική, έχετε βρει αυτό που ψάχνατε :)

συμπέρασμα

Προσπάθησα να καλύψω τις πιο σημαντικές πτυχές της αξιολόγησης των ΚΠ. Ίσως να έχετε δει ότι δεν είναι εύκολο έργο και υπάρχουν πολλά που πρέπει να λάβετε υπόψη, αλλά ελπίζω τουλάχιστον να σας δώσω κάποιες ενδείξεις για να βρείτε το δρόμο σας στην περιοχή. Μπορείτε να δοκιμάσετε τις λειτουργίες RS χωρίς σύνδεση ακόμη και πριν να μπείτε στην παραγωγή ή να κάνετε δοκιμές A / B παραγωγής με εκτίμηση CTR / CR και ROI. Συμπεριλάβετε πάντοτε κάποια QA, επειδή μόνο το CTR / CR / ROI μπορεί να είναι παραπλανητικό και δεν εγγυάται συμβατότητα με το όραμα του προϊόντος σας.

Πολλά έχουν παραλειφθεί μόνο για να κρατήσει το κείμενο πεπερασμένο. Εκτός από την CTR / CR / ROI / ποιότητα των συστάσεων, θα πρέπει να έχετε μια γρήγορη ματιά στις συνολικές δυνατότητες του RS που εξετάζετε. Ενδεχομένως να θέλετε να συμπεριλάβετε συστάσεις στις καμπάνιες ηλεκτρονικού ταχυδρομείου σας στο μέλλον. Θα λειτουργήσει; Έχει τις δυνατότητες να περιστρέψει τις συστάσεις ώστε ένας συγκεκριμένος χρήστης να μην λάβει το ίδιο σύνολο συστάσεων σε κάθε μήνυμα ηλεκτρονικού ταχυδρομείου; Μπορείτε να εξυπηρετήσετε όλες τις επιχειρηματικές σας απαιτήσεις, να επηρεάσετε τις συστάσεις, να ενισχύσετε κάποιο είδος περιεχομένου, να το φιλτράρετε βάσει διαφόρων κριτηρίων; Αυτά είναι θέματα που δεν καλύπτονται αλλά μπορεί να αισθανθείτε ότι θέλετε να τα εξετάσετε επίσης.

Ο συγγραφέας είναι συνιδρυτής στην Recombee, μια εξελιγμένη μηχανή σύστασης SaaS.