Θα σου δείξω την οδοντογλυφίδα μου, αν μου δείξεις κι εσύ τη δική σου.

Η φράση ακούγεται αλλόκοτη. Ίσως και λίγο ύποπτη.

Παρόλα αυτά, είναι μία από τις πρώτες ερωτήσεις που θέλω να κάνω κάθε φορά που μπαίνω σε ένα εργοστάσιο, σε ένα μηχάνημα, σε μια εγκατάσταση ή σε μια επιχείρηση που λειτουργεί εδώ και χρόνια.

Γιατί σχεδόν κάθε πραγματικό σύστημα έχει κάπου κρυμμένη μια οδοντογλυφίδα.

Μπορεί να είναι ένα κομμάτι κώδικα μέσα σε ένα ξεχασμένο αρχείο.

Ένα domain κατοχυρωμένο στο όνομα του λάθος ανθρώπου.

Μια παράξενη ρύθμιση έξω από τα φυσιολογικά όρια του μηχανήματος.

Ένα κλειδί κρεμασμένο πάνω σε μια ζυγαριά για να αντισταθμίζει το βάρος από ένα κομμάτι τσιμέντου που προστέθηκε αργότερα.

Ένας προσωπικός λογαριασμός email μέσα από τον οποίο περνούν όλες οι άδειες χρήσης.

Ένα script που πρέπει να τρέξει χειροκίνητα κάθε πρώτη Δευτέρα του μήνα.

Ή ακόμη και μια πραγματική οδοντογλυφίδα που κρατάει πατημένο ένα ρελέ.

Κάπου μέσα σε κάθε σύστημα υπάρχει συνήθως κάτι μικρό, ασήμαντο και φαινομενικά ευτελές, το οποίο όμως κρατάει όρθια μια ολόκληρη αλυσίδα λειτουργιών.

Όταν βλέπουμε ένα σύστημα απ’ έξω, πιστεύουμε ότι λειτουργεί όπως περιγράφεται στα σχέδια, στα εγχειρίδια και στα διαγράμματα.

Το ηλεκτρολογικό σχέδιο λέει ότι το καλώδιο πηγαίνει από το σημείο Α στο σημείο Β.

Το διάγραμμα του server λέει ότι η εφαρμογή επικοινωνεί με τη βάση δεδομένων.

Το οργανόγραμμα λέει ότι το λογιστήριο εκτελεί μια διαδικασία και στη συνέχεια ενημερώνει την παραγωγή.

Η πραγματικότητα όμως μπορεί να είναι εντελώς διαφορετική.

Το καλώδιο μπορεί στη μέση να περνάει από ένα παλιό ρελέ που δεν υπάρχει στο σχέδιο.

Η εφαρμογή μπορεί να δημιουργεί την ψηφιακή υπογραφή μέσα από ένα αρχείο που βρίσκεται στον προσωπικό υπολογιστή ενός πρώην προγραμματιστή.

Το λογιστήριο μπορεί να περιμένει κάθε Παρασκευή ένα μήνυμα από τη Μαρία, επειδή μόνο εκείνη γνωρίζει ποιο κουμπί πρέπει να πατήσει για να ολοκληρωθεί η διαδικασία.

Τα επίσημα σχέδια περιγράφουν το σύστημα που πιστεύουμε ότι έχουμε.

Οι οδοντογλυφίδες αποκαλύπτουν το σύστημα που πραγματικά λειτουργεί.

Οι περισσότερες οδοντογλυφίδες δεν δημιουργούνται από κακή πρόθεση.

Δημιουργούνται από τη βιασύνη.

Το πρόβλημα εμφανίζεται την ώρα της παράδοσης.

Ο πελάτης περιμένει. Η γραμμή παραγωγής έχει σταματήσει. Το φορτηγό πρέπει να φύγει. Η παραγγελία πρέπει να ολοκληρωθεί. Το μηχάνημα πρέπει να δουλέψει τώρα.

Κάποιος βρίσκει μια προσωρινή λύση.

Βάζει μια παράκαμψη. Αλλάζει μια παράμετρο. Γράφει ένα μικρό patch. Μεταφέρει προσωρινά μια υπηρεσία στον προσωπικό του λογαριασμό. Συνδέει ένα δεύτερο τροφοδοτικό. Κρεμάει ένα βάρος πάνω στη ζυγαριά.

Και το σύστημα ξεκινάει.

Όλοι ανακουφίζονται και συνεχίζουν τη δουλειά τους.

Η παράδοση ολοκληρώνεται. Έρχεται το επόμενο έργο. Οι άνθρωποι αλλάζουν. Το σύστημα εξελίσσεται γύρω από την προσωρινή λύση και, ύστερα από λίγο καιρό, κανένας δεν θυμάται γιατί δημιουργήθηκε.

Αυτό που ξεκίνησε ως ένας έξυπνος αυτοσχεδιασμός μετατρέπεται σε αόρατη υποδομή.

Η πατέντα από μόνη της δεν είναι απαραίτητα κακή.

Σε μια πραγματική βλάβη, η ικανότητα να αυτοσχεδιάσεις μπορεί να σώσει ένα έργο, μια παραγωγή ή μια ολόκληρη επιχείρηση.

Η πατέντα γίνεται επικίνδυνη όταν, μόλις περάσει η κρίση, δεν μετατρέπεται σε καταγεγραμμένη γνώση και σωστό σχεδιασμό.

Μια οδοντογλυφίδα σπάνια παραμένει μόνη της.

Κάποια στιγμή δημιουργείται ένα patch για να καλύψει μια παλιά αστοχία.

Αργότερα δημιουργείται ένα δεύτερο patch για να διορθώσει μια παρενέργεια του πρώτου.

Ύστερα προστίθεται ένα τρίτο patch, επειδή κανένας δεν γνωρίζει πλέον τι ακριβώς κάνει το πρώτο.

Στο τέλος έχουμε ένα κομμάτι κώδικα που διορθώνει ένα patch, το οποίο είχε δημιουργηθεί για να διορθώσει ένα άλλο patch, το οποίο προσπαθούσε να παρακάμψει μια αρχική λανθασμένη απόφαση.

Το ίδιο συμβαίνει και στα μηχανήματα.

Ένα εξάρτημα αντικαθίσταται με κάτι που δεν είναι απόλυτα συμβατό. Μια παράμετρος αλλάζει για να λειτουργήσει το νέο εξάρτημα. Στη συνέχεια μια δεύτερη παράμετρος βγαίνει εκτός ορίων για να αντισταθμίσει την πρώτη αλλαγή. Μετά προστίθεται ένας χειροκίνητος έλεγχος, επειδή το αυτόματο σύστημα δεν συμπεριφέρεται πλέον σωστά.

Κάθε λύση θεωρεί δεδομένο ότι όλες οι προηγούμενες λύσεις συνεχίζουν να υπάρχουν.

Και τότε η αποσφαλμάτωση σταματά να είναι μια απλή τεχνική διαδικασία.

Μετατρέπεται σε αρχαιολογική ανασκαφή.

Η οδοντογλυφίδα είναι συνήθως ξύλινη.

Είναι πρόχειρη, εύθραυστη και σχετικά εύκολο να εξηγηθεί.

Κάποιος θα σου πει:

Μπορεί να μην έχει καταγραφεί, αλλά συνήθως δεν είναι κρυμμένη από πρόθεση.

Η πινέζα είναι διαφορετική.

Η πινέζα είναι σιδερένια.

Είναι τοποθετημένη βαθύτερα και, πολλές φορές, ο άνθρωπος που την έβαλε δεν θέλει να σου πει πού βρίσκεται.

Εδώ πλέον δεν μιλάμε μόνο για αμέλεια ή βιασύνη.

Μιλάμε για τη σκόπιμη δημιουργία εξάρτησης.

Η πινέζα μπορεί να είναι ένα domain κατοχυρωμένο στο προσωπικό όνομα εκείνου που κατασκεύασε την πλατφόρμα.

Ένας κεντρικός κωδικός που γνωρίζει μόνο ένας εργαζόμενος.

Ένα ακατάγραφο backdoor.

Μια εφαρμογή που κάνει ping σε έναν προσωπικό server για να συνεχίσει να λειτουργεί.

Ένα κρυφό script που πρέπει να εκτελείται περιοδικά.

Μια διαδικασία επαναφοράς που δεν υπάρχει σε κανένα εγχειρίδιο.

Μια σκόπιμα περίπλοκη εγκατάσταση, ώστε κανένας άλλος να μην μπορεί να την υποστηρίξει.

Δεν χρειάζεται πάντοτε να υπάρχει εγκληματική πρόθεση.

Μερικές φορές η πινέζα δημιουργείται από ανασφάλεια.

Ο άνθρωπος φοβάται ότι, αν μεταφέρει τη γνώση του, θα χάσει την αξία του. Πιστεύει ότι η θέση του προστατεύεται επειδή κανένας άλλος δεν μπορεί να κάνει αυτό που κάνει εκείνος.

Πολλές επιχειρήσεις είναι υπερήφανες για τους αναντικατάστατους ανθρώπους τους.

Όλα αυτά ακούγονται σαν έπαινος προς τους ανθρώπους.

Στην πραγματικότητα, όμως, είναι περιγραφές επιχειρησιακού κινδύνου.

Ο αναντικατάστατος άνθρωπος αποτελεί single point of failure.

Αν αρρωστήσει, αν φύγει, αν συνταξιοδοτηθεί, αν θυμώσει ή αν απλώς δεν σηκώσει το τηλέφωνο, το σύστημα σταματάει.

Ο πραγματικά πολύτιμος άνθρωπος δεν είναι αυτός που δημιουργεί ένα σύστημα το οποίο χρειάζεται συνεχώς τον ίδιο.

Είναι αυτός που μετατρέπει την εμπειρία του σε διαδικασία, την εξαίρεση σε κανόνα και την προσωπική του γνώση σε κοινό περιουσιακό στοιχείο.

Μια επιχείρηση δεν κατέχει κάτι απλώς επειδή το πλήρωσε.

Δεν κατέχει πραγματικά μια πλατφόρμα όταν το domain βρίσκεται στο όνομα του προγραμματιστή.

Δεν κατέχει έναν server όταν κανένας μέσα στην επιχείρηση δεν έχει τα διαχειριστικά στοιχεία.

Δεν κατέχει τον κώδικα όταν βρίσκεται μόνο στον προσωπικό υπολογιστή ενός συνεργάτη.

Δεν κατέχει μια διαδικασία όταν υπάρχει μόνο μέσα στο μυαλό ενός εργαζομένου.

Δεν κατέχει ένα μηχάνημα όταν κανένας άλλος δεν γνωρίζει πώς ξεκινά, πώς σταματά και πώς επανέρχεται από βλάβη.

Η επιχείρηση κατέχει πραγματικά μόνο ό,τι μπορεί:

Και, κυρίως, ό,τι μπορεί να λειτουργήσει χωρίς την υποχρεωτική παρουσία ενός συγκεκριμένου ανθρώπου.

Όλα τα υπόλοιπα δεν αποτελούν οργανωσιακή γνώση.

Αποτελούν προσωπική γνώση ανθρώπων που, αυτή τη στιγμή, συνεργάζονται με την επιχείρηση.

Ο πιο απλός τρόπος για να ανακαλύψεις τις οδοντογλυφίδες και τις πινέζες ενός συστήματος είναι να δοκιμάσεις να το λειτουργήσεις χωρίς τους ανθρώπους που θεωρείς απαραίτητους.

Μπορώ να ξεκινήσω το μηχάνημα χωρίς να βρίσκεται ο Κώστας στη γραμμή παραγωγής;

Μπορώ να βάλω μπροστά το ασφαλτικό συγκρότημα χωρίς τον Θανάση, ο οποίος έρχεται στις δύο τη νύχτα για να το ζεστάνει, ώστε στις οκτώ το πρωί να είναι έτοιμο;

Μπορώ να επαναφέρω τον server χωρίς να τηλεφωνήσω στον αρχικό προγραμματιστή;

Μπορώ να ανανεώσω το domain και τα πιστοποιητικά ασφαλείας χωρίς να μπω σε προσωπικό λογαριασμό τρίτου;

Μπορεί ένας δεύτερος άνθρωπος να εκτελέσει την ίδια διαδικασία μόνο με τις υπάρχουσες οδηγίες;

Τι θα συμβεί αν χαθεί ένα κινητό τηλέφωνο, λήξει μια κάρτα, κλειδώσει ένας λογαριασμός ή απουσιάσει ο μοναδικός χειριστής;

Κάθε φορά που ανακαλύπτεις μια οδοντογλυφίδα, μην τη βγάζεις αμέσως και μην την αφήνεις απλώς στη θέση της.

Πρώτα πρέπει να καταλάβεις τι κρατάει όρθιο.

Δεν χρειάζεται να ντρεπόμαστε για τις προσωρινές λύσεις.

Χρειάζεται να σταματήσουμε να τις αφήνουμε αόρατες.

Η καταγραφή των πάντων είναι απαραίτητη, αλλά από μόνη της δεν αρκεί.

Ένα εγχειρίδιο μπορεί να είναι πλήρες και ταυτόχρονα άχρηστο.

Μπορεί να περιγράφει μια διαδικασία που κανένας δεν έχει εκτελέσει από την αρχή μέχρι το τέλος. Μπορεί να αναφέρει κωδικούς που έχουν αλλάξει, βάνες που έχουν μεταφερθεί, servers που δεν υπάρχουν ή βήματα που λειτουργούν μόνο επειδή ο συντάκτης συμπληρώνει ασυναίσθητα όσα ξέχασε να γράψει.

Γι’ αυτό χρειάζεται simulation.

Κλείσε ελεγχόμενα μια εξάρτηση. Χρησιμοποίησε το backup. Άλλαξε χειριστή. Δοκίμασε την επαναφορά. Εκτέλεσε τη διαδικασία με άνθρωπο που δεν τη γνωρίζει. Μέτρησε τον χρόνο, τα λάθη, τις ερωτήσεις και τα σημεία στα οποία χρειάστηκε να εμφανιστεί ο «ήρωας».

Εκεί θα εμφανιστούν οι οδοντογλυφίδες.

Και, αν το test σχεδιαστεί σωστά, εκεί θα αρχίσουν να φαίνονται και οι πινέζες.

Σε ένα ώριμο σύστημα, το εμφανές πρόβλημα είναι συχνά μόνο το τελευταίο σύμπτωμα.

Η πραγματική δουλειά δεν είναι να αλλάξεις ένα ρελέ, να διορθώσεις μια γραμμή κώδικα ή να επανεκκινήσεις έναν server.

Είναι να ανακατασκευάσεις τη διαδρομή της εξάρτησης.

Να ακούσεις την ανεπίσημη ιστορία του συστήματος. Να ξεχωρίσεις τι σχεδιάστηκε, τι άλλαξε, τι παρακάμφθηκε, τι ξεχάστηκε και τι κρύφτηκε. Να διαπιστώσεις ποια προσωρινή λύση έχει γίνει πλέον κρίσιμη υποδομή και ποια κρυφή επιλογή έχει μετατραπεί σε μηχανισμό ελέγχου.

Ένας έμπειρος επαγγελματίας δεν μπαίνει σε μια εγκατάσταση και αρχίζει να ξηλώνει ό,τι φαίνεται παράξενο.

Πρώτα βρίσκει τους ανθρώπους που έζησαν τις προηγούμενες βλάβες. Παρατηρεί τις εξαιρέσεις. Συγκρίνει τα σχέδια με την πραγματική καλωδίωση, τον κώδικα με τα πραγματικά dependencies και τις επίσημες αρμοδιότητες με όσα συμβαίνουν όταν εμφανίζεται μια κρίση.

Αυτός είναι και ο λόγος που οι λεπτομέρειες έχουν σημασία.

Μέσα σε μια λεπτομέρεια μπορεί να κρύβεται ολόκληρη η ιστορία της εγκατάστασης, το πραγματικό επίπεδο του τεχνικού χρέους και η αιτία που η επιχείρηση δεν μπορεί να λειτουργήσει χωρίς συγκεκριμένους ανθρώπους.

Το βασικό ερώτημα δεν είναι αν οι άνθρωποι μιας επιχείρησης έχουν εμπειρία.

Το ερώτημα είναι αν η εμπειρία τους μεταφέρεται στο σύστημα.

Η γνώση δεν πρέπει να παραμένει κλειδωμένη σε μυαλά, προσωπικούς λογαριασμούς, ξεχασμένους φακέλους και πρόχειρες συνδέσεις.

Πρέπει να μετατρέπεται σε σχέδια, διαδικασίες, δικαιώματα πρόσβασης, αντίγραφα ασφαλείας, checklists, logs, δοκιμές και σενάρια επαναφοράς.

Ο στόχος δεν είναι να δημιουργήσουμε έναν κόσμο χωρίς οδοντογλυφίδες.

Σε κάθε πραγματική δουλειά θα υπάρξουν αυτοσχεδιασμοί, εξαιρέσεις και προσωρινές λύσεις.

Ο στόχος είναι να μην υπάρχουν άγνωστες οδοντογλυφίδες.

Και κυρίως, να μην επιτρέπουμε σε κανέναν να τοποθετεί πινέζες μέσα στο σύστημα για να εξασφαλίζει ότι θα παραμένει αναντικατάστατος.

Οτιδήποτε άλλο μπορεί να σταματήσει να της ανήκει με ένα τηλεφώνημα που δεν απαντήθηκε.

Ή με μια οδοντογλυφίδα που έπεσε στο πάτωμα.

Το λεκτικό «οδοντογλυφίδα» δεν είναι τυχαίο.

Προέρχεται από μια προσωπική εμπειρία σε ένα ασφαλτικό συγκρότημα.

Ένα ασφαλτικό συγκρότημα δεν είναι ένα απλό μηχάνημα. Είναι μια τεράστια βιομηχανική εγκατάσταση που ζυγίζει άμμο, χαλίκι και διαφορετικά αδρανή υλικά, τα αναμειγνύει με τα κατάλληλα συνδετικά υλικά και παράγει άσφαλτο, η οποία στη συνέχεια φορτώνεται στα φορτηγά για τη διάστρωση του δρόμου.

Στη συγκεκριμένη εγκατάσταση είχε πραγματοποιηθεί αναβάθμιση του συστήματος αυτοματισμού και ζύγισης.

Υπήρχαν PLC, inverter για τα μοτέρ, ηλεκτρονικές ζυγιστικές μονάδες, δυναμοκυψέλες και ένας μεγάλος αριθμός σημάτων που έπρεπε να συνεργάζονται με ακρίβεια.

Το πρόβλημα ήταν ότι, ενώ σε κατάσταση ηρεμίας όλα φαίνονταν να λειτουργούν, μόλις ξεκινούσε η παραγωγή οι ενδείξεις από τις δυναμοκυψέλες γίνονταν ασταθείς.

Τα σήματα υπήρχαν.

Η επιστροφή όμως δεν ήταν σωστή και το σύστημα δεν μπορούσε να ζυγίσει με ακρίβεια τα υλικά.

Επί ημέρες ελέγχαμε καλώδια, παραμέτρους, ηλεκτρονικές μονάδες, γειώσεις, αισθητήρια και προγράμματα.

Δεν μπορούσαμε να βρούμε μια λογική εξήγηση.

Ώσπου εμφανίστηκε ένας παλιός χειριστής της εγκατάστασης.

Κοίταξε για λίγο όσα κάναμε και μας ρώτησε:

Κοιταχτήκαμε μεταξύ μας.

Ποια οδοντογλυφίδα;

Μπροστά μας είχαμε μια τεράστια ηλεκτρομηχανολογική εγκατάσταση με PLC, ζυγιστικά συστήματα, πίνακες και inverter. Κανένας δεν μπορούσε να φανταστεί ότι κάπου μέσα σε όλα αυτά υπήρχε μια πραγματική οδοντογλυφίδα.

Ο παλιός χειριστής άνοιξε ένα ερμάριο που θεωρούσαμε ανενεργό.

Μέσα βρίσκονταν κάποια εξαρτήματα από την προηγούμενη εγκατάσταση, τα οποία είχαν παραμείνει στη θέση τους μετά την αναβάθμιση.

Ανάμεσά τους υπήρχε ένα παλιό τροφοδοτικό και ένα ρελέ.

Κατά τη μετάβαση στο νέο σύστημα, οι δυναμοκυψέλες είχαν συνδεθεί με τη νέα ζυγιστική μονάδα, αλλά η τροφοδοσία τους εξακολουθούσε στην πράξη να βασίζεται στο παλιό τροφοδοτικό.

Λόγω της μεγάλης απόστασης των καλωδίων και των πτώσεων τάσης, η νέα μονάδα δεν κατάφερνε να τροφοδοτήσει επαρκώς το κύκλωμα στις πραγματικές συνθήκες της εγκατάστασης.

Το παλιό τροφοδοτικό είχε μεγαλύτερο περιθώριο και μπορούσε να κρατά τις δυναμοκυψέλες σωστά τροφοδοτημένες.

Το παλιό τροφοδοτικό όμως ενεργοποιούνταν μέσα από ένα ρελέ που κανένας δεν είχε αφαιρέσει, παρακάμψει ή αποτυπώσει στα νέα σχέδια.

Κάποιος, κάποτε, είχε σφηνώσει μια οδοντογλυφίδα πάνω στο ρελέ για να το κρατάει μηχανικά οπλισμένο.

Όσο η οδοντογλυφίδα βρισκόταν στη θέση της, το παλιό τροφοδοτικό λειτουργούσε και οι δυναμοκυψέλες έδιναν σωστό σήμα.

Όταν η οδοντογλυφίδα μετακινήθηκε ή έπεσε, η τροφοδοσία των δυναμοκυψελών έγινε ανεπαρκής.

Σε κατάσταση ηρεμίας, οι ενδείξεις εξακολουθούσαν να φαίνονται σχετικά φυσιολογικές.

Όταν όμως ξεκινούσαν τα μοτέρ και τα inverter, ο ηλεκτρικός θόρυβος και τα παράσιτα στα γειτονικά καλώδια επηρέαζαν έντονα το ήδη αδύναμο σήμα.

Το αποτέλεσμα ήταν ασταθείς μετρήσεις και αδυναμία σωστής ζύγισης.

Ο χειριστής έβαλε ξανά την οδοντογλυφίδα στη θέση της.

Το παλιό τροφοδοτικό ενεργοποιήθηκε.

Οι δυναμοκυψέλες σταθεροποιήθηκαν.

Και ολόκληρο το συγκρότημα άρχισε να λειτουργεί κανονικά.

Φυσικά, η σωστή τεχνική λύση δεν ήταν να αφήσουμε την οδοντογλυφίδα πάνω στο ρελέ.

Η σωστή λύση ήταν να καταλάβουμε γιατί χρειαζόταν, να αποκαταστήσουμε την τροφοδοσία και να μεταφέρουμε την πραγματική σύνδεση μέσα στα σχέδια και στη γνώση της εγκατάστασης.

Από εκείνη την ημέρα, κάθε φορά που πηγαίνω σε μια παλιά εγκατάσταση, σε ένα μηχάνημα ή σε μια επιχείρηση, το πρώτο πράγμα που προσπαθώ να κάνω είναι να βρω τον παλαιότερο άνθρωπο που βρίσκεται εκεί.

Και να τον ρωτήσω:

Κάπως έτσι ξεκινούν συνήθως οι πιο χρήσιμες συζητήσεις.

Και σχεδόν ποτέ δεν τελειώνουν γρήγορα.