Het was ongeveer 2 uur 's nachts toen we besloten om te pauzeren en naar de vergaderruimte te gaan waar de overgebleven pizza van eerder die dag was. Ik hou van goede pizza, maar zelfs goede pizza is niet zo geweldig midden in de nacht als een netwerkvernieuwing niet goed gaat.
Alle toegangsschakelaars in het hoofdkantoor zijn de week ervoor verwisseld en dat deel van dit project voor het vernieuwen van schakelaars is zonder problemen verlopen. Vanavond waren we echter bezig met het verwisselen van apparaten in de belangrijkste productiefaciliteit, waar we verrassing na verrassing vonden. Wat een simpele verwisseling van ongecompliceerde toegangsschakelaars had moeten zijn, veranderde in een nacht van hartzeer en heldendaden.
Ik stopte twintig minuten om een stuk pizza te pakken en wat frisdrank naar binnen te slurpen, en kreeg de kans om met mijn collega's te praten en met onze klant die ons in de eerste plaats de netwerkdocumentatie had gegeven. We waren niet ronduit boos op elkaar, maar ik voelde het begin van een subtiel schuldspelletje.
Het project verschilde qua reikwijdte niet veel van eerdere netwerkvernieuwingsprojecten die ik heb gedaan, dus het was niet de daadwerkelijke technologie die zo frustrerend was. Wat zo moeilijk te verteren was naast wat een geweldige middernachtsnack had moeten zijn, was beseffen hoe slecht dit project was gepland vanwege een gebrek aan kwaliteit netwerk documentatie en netwerk ontdekking.
We hadden geen moeite met de complexiteit van het configureren van een tiental overlays, en we hadden geen moeite met het vinden van een oplossing voor een softwarefout. In plaats daarvan worstelden we met slechte planning en processen.
Toen ik een tweede schijfje pakte, vroeg ik mijn klant of hij nog andere schakelaars kon bedenken die verstopt zaten in verlaagde plafonds of ongedocumenteerde aan de muur gemonteerde rekken. Hij kon het niet, dus stelde hij voor om voor de zekerheid een wandeling te maken. Ik vond het niet leuk om dat te horen, als je bedenkt hoe laat het was, maar ik vond het evenmin leuk om voor het eerst te horen dat ze een VoIP via een draadloos telefoonsysteem gebruikten waarvoor een aangepast QoS-beleid nodig was om effectief te werken in hun productiefaciliteit.
We begonnen aan onze zoektocht en lieten een paar ingenieurs achter om te relaxen en de laatste lauwwarme peperonitaart op te eten. Mijn klant en ik hadden een openhartig gesprek over deze kwesties, wat me echt hielp om een gevoel van urgentie bij hem op te bouwen.
Zie je, het controlecentrum genereerde genoeg verkeer om de trunkverbinding van 1 gig terug naar het datacenter te verzadigen, maar het ontwerp vereiste geen poortkanaal of op zijn minst een enkele trunklink van 10 gig. Dit zou een vanzelfsprekendheid moeten zijn in elke netwerkvernieuwingscyclus, maar noch de klant, noch onze pre-salesmensen hebben een basisverkeersanalyse uitgevoerd.
Ik legde ook uit dat, aangezien we vanavond on-the-fly een aangepast QoS-beleid aan het schrijven waren, er geen manier zou zijn om de effectiviteit ervan pas de volgende dag te valideren, wanneer het netwerk onder belasting stond. Wat we hadden moeten doen, is het netwerk zoveel mogelijk simuleren en de configuratie programmatisch naar buiten brengen. Helaas moesten we elke nieuwe switch een voor een aanraken om de relevante QoS-configuratie en het servicebeleid aan elke trunkpoort toe te voegen.
Ik herinner me dat hij instemmend knikte en aanbood om te helpen de wijzigingen van vanavond ongedaan te maken, zodat we ons de volgende dag konden hergroeperen. Het enige probleem daarmee, legde ik uit, was dat het al na 2 uur 's nachts was en dat alles wat we moesten doen om terug te draaien volledig handmatig zou zijn. Ik wist niet zeker of we genoeg tijd hadden.
We kozen ervoor om door te gaan, maar we besloten om de hele nacht door te werken tot in de late ochtend. Rond vier uur 's ochtends was mijn projectmanager ter plaatse met enorme hoeveelheden koffie, en gelukkig deed hij zijn best om uit onze buurt te blijven. Daar was ik dankbaar voor, want toen hadden we nog niet allemaal onze tweede wind te pakken.
Mijn team vond nog meer frauduleuze schakelaars die ze in het nieuwe ontwerp integreerden omdat de klant niet genoeg had gekocht om ze te vervangen. Ik zocht naar documentatie over het telefoonsysteem, zodat ik het QoS-beleid kon achterhalen, maar mijn eerste gedachte was niet om te kijken hoe telefoongesprekken gingen. Maar zelfs midden in de nacht zonder belasting van het netwerk waren onze testoproepen erg slecht.
We werkten met een informatietekort. Door het ontbreken van degelijke netwerkdetectie en inzicht in hoe applicaties op het netwerk werkten, konden we niet uitvoeren wat een eenvoudige verversing van netwerkapparaten had moeten zijn. We hebben geen rekening gehouden met een aantal belangrijke overwegingen voordat we aan dit project begonnen.
Onze eerste stap had moeten zijn om informatie over het netwerk te verzamelen door middel van documentatie en een netwerkdetectie. Alleen het aantal te vervangen schakelaars tellen is niet voldoende.
NetBrain pakt dit aan met dynamisch netwerk kaarten waarmee u binnen enkele minuten nauwkeurige documentatie kunt maken. Er is geen team van technici nodig om het netwerk handmatig te crawlen voor het ontdekken van activa en topologie.
Houd er rekening mee dat dit veel meer is dan het bouwen van een inventarisspreadsheet. Een succesvolle vernieuwing van het netwerkapparaat begint met het identificeren van platforms en softwareversies, zodat de juiste functies in het nieuwe ontwerp kunnen worden gepland. NetBrain legt deze gegevens programmatisch en on-demand vast, wat voor een gefrustreerde ingenieur als ik om 2 uur 's nachts buitengewoon nuttig zou zijn geweest.
Ten tweede hadden we een mechanisme nodig om functies en syntaxis van de nieuwe uitrusting te evalueren. Het upgraden van switches van trunks van 1 gig naar trunks van 10 gig kan bijvoorbeeld gevolgen hebben voor Spanning Tree- of routeringsbeslissingen, en dit moet worden getest en geëvalueerd voordat de timer voor het wijzigingsvenster begint.
In mijn geval had ik de mogelijkheid nodig om de QoS-configuratie direct en snel te evalueren. Toegegeven, het is buitengewoon moeilijk om de QoS-configuratie te testen zonder dat het netwerk wordt belast, maar het is net zo belangrijk om de daadwerkelijke implementatie van de syntaxis te testen, omdat deze van platform tot platform kan verschillen.
En ten derde hadden we geen manier om een groot aantal apparaten programmatisch aan te raken. Door dit programmatisch te kunnen doen, zowel bij het implementeren van de configuratie als bij het terugdraaien van de configuratie, kan een netwerkvernieuwing van een alle-hands-on-deck-scenario veranderen in een beheersbaar project dat door één technicus kan worden uitgevoerd.
NetBrain kan niet al uw switches voor u racken, maar het voorziet wel in de behoefte aan dynamische netwerkdetectie, on-demand documentatie en verhoogde programmeerbaarheid.
Dat project voor het vernieuwen van het netwerk van de productieorganisatie werd uiteindelijk een succes, maar we hebben 30 uur achter elkaar gewerkt met een team van vijf ingenieurs om het voor elkaar te krijgen. Koffie hielp, pizza hielp, maar het hebben van de juiste tools om de informatie die we nodig hadden vooraf en on-demand te krijgen, zou de dag hebben gered.