IT Horror verhalen

Onlangs hebben we onze cursisten gevraagd om IT-horrorverhalen in te sturen, we werden overrompeld met reacties! Omdat het bijna Halloween is, vonden we het een goed idee om deze IT-horrorverhalen te delen. Lees de meest onverwachte en beklijvende "IT-nachtmerries" van collega-IT-professionals:

Single Point of Failure

Ik kan het bedrijf, om duidelijke redenen, niet bij naam noemen behalve dat ik kan zeggen dat het een zeer groot bedrijf was. Ik werkte op de IT-afdeling voor middleware-apps. Op een dag vielen alle draaiende applicaties stil, niet alleen de middleware-apps, maar ook vele andere. Er werd een P1-incident melding gemaakt en alarmmeldingen verzonden. We konden bijna drie volle dagen niet op een normale manier aan het werk. Bij de IT-afdeling was het opgevallen dat er onvoldoende noodstroomvoorzieningen waren die een back-up voor het hoofddatacenter waren. Hierop was iemand ingehuurd om de stroombelasting te verdelen en te versterken. Hij werd door het datacenter-team geïnformeerd en verzekerd dat er geavanceerde failover-maatregelen waren en ging dus aan het werk.
Hij ontdekte dat één switch helemaal geen noodstroomvoorziening had. Hij trok de stekker uit het stopcontact, stopte de nieuwe noodstroomvoorziening ertussen en schakelde de schakelaar weer in. Niks aan de hand toch? Nou nee. Ik kom er namelijk achter dat de architectuurtekeningen onjuist waren. Honderdduizenden dollars later (aan verspilde inkomsten en tijd), bleek dat de essentiële switch die hij had losgekoppeld meer dan 3000 vaste en virtuele servers had uitgeschakeld. Elke server moest opnieuw worden opgestart om weer online te komen. Ja, dat was een nachtmerrie !!! 
Lessons learned:  zorg ervoor dat je bedrijfsnetwerk niet afhankelijk is van één single point of failure. In dit geval was het wel een goede zaak om een noodstroomvoorziening aan te koppelen. Ironisch genoeg werd het feit dat deze werd aangesloten om een storing te verhinderen, precies de oorzaak van deze storing.

Door: Mike H.

Opschonen van onze Intranet Omgeving

In het jaar 2000 was ik door slechte communicatie tussen mijn eigen team en het IT-team niet op de hoogte dat de bestanden ter ondersteuning van het intranet van ons bedrijf waren geherstructureerd. Toen ik een taak uitvoerde om oude logs en bestanden op servers op te ruimen, dacht ik ten onrechte dat deze 10K-bestanden niet langer in gebruik waren en ik heb ze verwijderd. Resultaat - ons gehele intranet was verwijderd en het kostte veel mankracht en een aantal dagen werk om de fout te herstellen.
Ik was er ZEKER van dat ik ontslagen zou worden, maar in plaats daarvan gaf het ons bedrijf de gelegenheid om te bekijken wat er mis ging in onze processen en om dit op te lossen. Ik ben daar nog 10 jaar blijven werken.

Door: Yolanda J.

Wanneer een "PatchServer" gewoon zijn werk wil doen

Enkele jaren geleden hadden we een ‘maintenance window’ ingesteld om de Windows-servers te patchen. Alles was volgens het beleid en Change Management had onze wijziging en timing goedgekeurd de melding was verzonden dat we dit buiten kantooruren zouden doen om de impact te minimaliseren. 
Aan het begin van het ‘maintenance window’ logde de systeembeheerder in bij de patchbeheerserver, opende de toepassing en startte de patching-job. De patchbeheerserver crashtte onmiddellijk en wilde niet opnieuw opstarten. We hebben de wijziging via de policy geannuleerd en contact opgenomen met  hardwaresupport om de problemen met de patchserver op te lossen. Vanwege de SLA die we hebben, kwam de on-site support pas de volgende dag tijdens kantooruren langs. Na het uitvoeren van diagnostische tests stelde hij vast dat het probleem in een defecte geheugenmodule in de patching-server zat. 
Hij verving de geheugenmodule en startte de server op. Een paar minuten later lichtte de monitoring-console op als een kerstboom, Apps en smsalerts stroomden als kerstcadeau’s richting de server- en applicatiemanagers toe. Servers binnen de hele onderneming vielen bij bosjes uit. Senior managers begonnen te bellen om erachter te komen wat er in godsnaam aan de hand was. Bij onze klanten waren applicaties niet meer beschikbaar.
Na een klein onderzoek realiseerden we ons wat er was gebeurd. De patchserver had een taak opgestart om de patching uit te voeren voordat deze crashte. Toen de server werd gerepareerd en opnieuw opgestart, ging deze plichtsgetrouw verder waar die de nacht ervoor gestopt was en startte met het uitvoeren van alle patches - midden op de werkdag! Lesson learned: voer dit soort jobs nooit uit midden op een werkdag, ook al zou dit geen impact mogen hebben. Je weet het gewoon nooit.

Door: Derrick B.

Een computer "Guru" die haar eigen anti-virusprogramma heeft gebouwd en nog nooit van Google heeft gehoord

Ik werkte van 2004 tot 2008 voor een IT-servicesbedrijf dat deel uitmaakt van een groot bedrijf. Ze hadden vroeger een bedrijf voor kabel- en hogesnelheidsinternet. In die tijd bood het bedrijf waar ik werkte technische ondersteuning voor hen, wat altijd interessant is.
Op een avond had ik een klant die op zoek was naar hulp bij haar e-mail en ze vertelde me toen dat ze bijna alles wist over computers en dat ze beschikte over een Master-titel in computerwetenschappen. Eerst dacht ik: waarom bel je ons dan? Maar omdat ik een goede helpdesk-techneut ben, ging ik door met het oplossen van haar problemen, het controleren van instellingen, enz., enz.  Halverwege het gesprek begon ze de pop-up advertenties te vervloeken die steeds weer op haar scherm naar voren kwamen, dus ik vroeg haar of ze een virusscan op haar computer heeft uitgevoerd. "Nee", zegt ze en ik vraag haar of ze het heeft overwogen om Norton, McAfee of AVG te gebruiken of te installeren. Hierop zegt ze dat ze haar eigen antivirus programma heeft geschreven.
Huh?
Ik vroeg haar nogmaals welk antivirusprogramma ze heeft geïnstalleerd en ze antwoordde: "Geen, omdat ik mijn eigen software heb geschreven." WTF ?? Dus stelde ik een aantal anti-spyware programma's voor waarop zij vroeg welke zij moest gebruiken. Ik stelde drie programma's voor en zij vond dat oké:  "Ik kan ze namelijk "reverse-engineeren" na het zien van de code". Dit gesprek werd steeds vreemder! Vervolgens vroeg ze me hoe ik deze programma's had gevonden, waarop ik haar vertelde dat ze naar Google.com moet gaan en het kan 'Googlen' ... Waarop ze zei dat ze nog nooit van Google had gehoord, en dat ze een advocaat zou raadplegen om hen te gaan aanklagen over de naam Google!
Ik vroeg haar of ik nog iets anders voor haar kon doen en  toen vroeg ze me welke kwalificaties ik had mijn baan, waarop ik antwoordde: "Mijn kwalificaties en ervaring zijn alleen van belang voor mijn baas en de HR-afdeling." Ik vroeg haar toen waar ze haar computerwetenschappen diploma vandaan haalde en haar antwoord was een mooie "F *** You" en ze gooide de hoorn op de haak.
 
Door: Donald M.

De angst van elke IT Professional

Elke dag hebben we een horrorverhaal, omdat niemand echt weet wat we doen. Iedereen in ons team heeft zijn eigen specilisatie in iets anders en wanneer een netwerkspecialist een vraag krijgt over de mobiele telefoon van een gebruiker, zorgt dit voor de nodige ergernis.

Door: Natasha A.

De "Reply-All" e-mail die de server heeft laten crashen

Jaren geleden werkte ik voor een softwarebedrijf dat net gemigreerd was van Lotus Notes naar Exchange 4.0 voor e-mail. Onze medewerkers hadden problemen om aan de nieuwe e-mailclient te wennen. Na ongeveer een maand crashte de nieuwe e-mailserver. De harde schijf was vol!
Wat bleek; niemand maakte een back-up van de e-mailserver waardoor de database logboeken al snel te groot werden. Toen we het probleem eenmaal hadden ontdekt, startte we met het maken van een back-up van de server, maar we realiseerden ons al snel dat we veel te weinig ruimte op de harde schijf hadden. We bestelden nieuwe en grotere harde schijven. Ook hebben we een bericht naar alle medewerkers gestuurd om hen te vragen geen grote bijlagen meer te verzenden totdat we het probleem hebben opgelost. Eén van onze salesmanagers vond dit een perfect moment om de mooie nieuwe e-mailclient te gebruiken en "reply all" mail met een video van een ontevreden gebruiker die zijn monitor aan het "bashen" was...  Tsja, hiermee ging de server voorgoed down! Twee dagen later kregen we de herstel schijf die we nodig hadden om de server weer online te brengen... Gelukkig werd ik niet verantwoordelijk gehouden voor de servercrash en hield ik mijn baan… De netwerkbeheerder daarentegen, had minder geluk.

Door: Tina I.

Ik heb geleerd dat computers een "geheime” CD Drive hebben!

Een computergebruiker klaagde dat haar cd-drive haar cd's aan het opeten was. Bij het openen van haar CD-drive was er niets te zien, ze was verbaasd wat ik deed, en had geen enkel idee dat de CD-drive daar zat. Ze liet me de kleine sleuf zien tussen het 5.25" CD-drive en de tweede 5.25" gat en duwde er een CD-rom in. Het maakte een afschuwelijk geluid zodra het de bodem van de computer behuizing raakte. Toen ik de buitenkant van de PC openmaakte lagen er ongeveer een dozijn CD's op de bodem.

Door: Eddie N.

Excel Files zijn zwaar

Mijn, zeer coole, CEO vroeg mij om een mini- én een full-size laptop te leveren aan een nieuwe VIP die de volgende dag vanuit Duitsland zou arriveren. Dit verhaal gaat over situatie van ongeveer 10-15 jaar geleden, en ja, de CD-rom was nog echt heel hip.
Het ging ongeveer zo: 
"Hoeveel wegen deze laptops? En, zit er een groot verschil tussen?" "Ik vermoed 1,5 tot 2.4 kilo misschien, de grotere versie heeft een ingebouwde CD-drive, en dit kleinere apparaat niet, is dat een probleem?" "Ik denk het eigenlijk wel ... kan er een CD-Rom worden toegevoegd aan de kleinere laptop?" "Ja, zoiets ja, je zou dan dit apparaat, het CD-station zelf en 2 extra kabels moeten los dragen .... en dit zal dan ongeveer hetzelfde gewicht zijn als die grotere, alleen dan kan je onderdelen verliezen of verkeerd gebruiken" "Oh ja, daar ben ik het wel mee eens .... dus, 2,4 kilo hè? Hoeveel gaat het wegen als je mijn gegevens eraan toevoegt, zoals mijn e-mails, Word- en Excel-bestanden ... Ik heb vreselijk veel van die Excel-bestanden. "
“Uhhhhhh ...”
Op dit moment gebruikte ik elke spier in mijn gezicht om niet te gaan glimlachen, laat staan om te lachen. Maar weet gewoon dat ik graag wilde zeggen: "Ook PowerPoint of PDF's? Want zijn die zijn nog veel zwaarder."

Door: Mark M.