Hoe één stroomruimte in Manhattan de luchtverkeersleiding van de FAA platlegde en 1.174 vluchten verstoorde

Afbeelding 1: Isometrisch overzicht van een AT&T Lineage 2000 (J85500A-2) centrale batterijinstallatie voor -48V DC, met cilindrische KS-20472 ronde cellen op J85504A standaarden, overhead-busbars, distributiecompartimenten en gelijkrichters. Bron: AT&T Product Manual 167-790-032 (Fig. 1-3, p. 1-6).

Om 16:40 uur op dinsdag 17 september 1991, tijdens de spits van de namiddagvluchten in het noordoosten van de VS, verloren de luchtverkeersleiders bij het regionale radarcentrum van New York en de verkeerstorens van Kennedy (JFK), LaGuardia (LGA) en Newark (EWR) op exact hetzelfde moment hun radarfeeds, primaire radio's en geautomatiseerde links voor het overdragen van vluchten.

Terwijl vliegtuigen naderden bij alle drie de luchthavens, moesten controllers commerciële jets begeleiden via kortbereik-backupfrequenties en handmatige relais tussen de torens. Ondertussen stopte de FAA het vliegverkeer, wat resulteerde in het annuleren of uitstellen van 1.174 vluchten.

Er was niets misgegaan op de luchthavens zelf. In plaats daarvan liepen alle primaire en reserve-landlijnen van de FAA voor de agglomeratie New York via transmissiecompartimenten die werden gevoed door de DC-stroomruimte op de 20ste verdieping van 33 Thomas Street, een 29 verdiepingen tellende, raamloze granieten AT&T-schakelcentrale in Lower Manhattan.

Ruim zes uur eerder had een loodaccu-reserve, ontworpen om de lijnen tijdens stroomuitval draaiende te houden, het overgenomen toen de gelijkrichters in de ruimte uitsloegen tijdens een routineoverdracht van de generatoren. De storing bleef verborgen achter een stabiele output van 48 volt, totdat de batterijen volledig leeg waren.

Dit artikel is onderdeel van een reeks over engineering-veiligheid, gebaseerd op werk aan veiligheidsnormen uit een IEEE-publicatie uit 2014 waar ik mede-auteur van was.

De generatoroverdracht van 10:10 uur

Afbeelding 2: 33 Thomas Street in Lower Manhattan, waar zich de DC-stroominstallatie op de 20ste verdieping en regionale transmissietrunks bevinden. Foto: Marcin Wichary (CC BY 2.0).

Tussen 06:00 en 07:00 uur (EDT) nam Consolidated Edison contact op met de Building Operations Group van AT&T in het kader van een vrijwillige overeenkomst voor het delen van piekbelasting, met het verzoek om die dag over te schakelen van het commerciële stroomnet. Om 10:10 uur bediende de supervisor van de AC-stroom de omschakelaar, waardoor 33 Thomas Street overging van het net van Con Edison naar de interne dieselgeneratoren van het gebouw.

Tijdens deze overdracht bereikte een spanningspiek op de AC-voeding de stroomruimte op de 20ste verdieping, die gelijkstroom leverde aan de hoogcapaciteits DS3 (45-megabit T3) glasvezel- en coaxiale transmissiecompartimenten. Deze spanningspiek triggerde een overbelastingsbeveiligingsrelais dat tijdens een recente modernisering van de installatie verkeerd was ingesteld, waardoor de AC-naar-DC-gelijkrichters offline gingen.

In een DC-stroominstallatie van een centrale staan de gelijkrichters en de batterijreeksen parallel aan de hoofd-busbars van 48 volt (-48V DC). Onder normale omstandigheden houden de gelijkrichters de spanning op de bus iets boven de rustspanning van de loodaccu's; zo blijven de batterijen opgeladen terwijl de actuele stroom wordt geleverd aan de schakelcompartimenten. Toen de gelijkrichters om 10:10 uur uitsloegen, daalde de busspanning enkele volts naar het batterijniveau en stabiliseerde zich daar.

Er viel geen enkel circuit uit en elke trunk bleef op volle capaciteit werken. De drie 4ESS-toll-switches van het gebouw werkten op aparte stroominstallaties en bleven onaangetast, terwijl de batterijen op de 20ste verdieping alle hoogcapaciteits DS3-transmissiecompartimenten ondersteunden. De gehuurde AT&T-datalijnen, remote radiolinks en spraaktrunks die de New York Terminal Radar Approach Control (TRACON) faciliteit in Hempstead (Long Island) en de verkeerstorens van Kennedy, LaGuardia en Newark bedienden, bleven normaal functioneren. Binnen 33 Thomas Street was de ontlading van de batterijen op de 20ste verdieping begonnen, een proces dat zes en een half uur zou duren.

Vier gebroken schakels in het alarmpad

Om een batterijreserve van zes uur effectief te gebruiken voor reparaties, moet het bericht over het uitvallen van de gelijkrichters een operator bereiken die het relais kan resetten en de gelijkrichters weer op de bus kan zetten terwijl de cellen nog bijna volledig geladen zijn. Bij 33 Thomas Street moest het foutpad van de gelijkrichters naar een menselijke respondent vier fysieke en organisatorische schakels passeren op de 20ste en 14e verdieping. Zoals AT&T Vice President of Network Operations William J. Carroll drie dagen later onthulde, waren alle vier deze schakels onderbroken.

Afbeelding 3: Schema van het frame-alarmlampje en het CM2-alarmcircuitpakket in een AT&T Lineage 2000 batterijinstallatie. Bron: AT&T Product Manual 167-790-032 (Fig. 4-8, p. 4-20).

1. Het doorgebrande indicatielampje

Een indicatielampje dat de fout had moeten signaleren, was doorgebrand. (In een overzicht van AT&T van 2 oktober werd toegevoegd dat een technicus die door de stroomruimte zou lopen, nog steeds een lokaal POWER-alarm had kunnen zien, maar er liep niemand op die verdieping tot de avondploeg). Zonder een controle van de lampbeveiliging of een routinetest van de lampen vóór de generatoroverdracht, blijft een doorgebrand lampje donker tijdens een storing, net zoals tijdens normale werking.

2. De ontbrekende jumper-strap op de 14e verdieping

Afbeelding 4: Een Bell System centrale controle- en alarmframe (1AESS MCC), met rijen indicatielampjes, alarmtoetsen en wire-wrap bays. Foto: Sirgorpster (CC BY-SA 4.0).

Op de 14e verdieping ontbrak een metalen strap (jumper) van 25 inch in de alarmbesturing, waardoor het secundaire alarmcircuit werd uitgeschakeld. Volgens een later onderzoek van het FCC Common Carrier Bureau was dit alarm, dat in oktober vervangen had moeten worden, sinds juni 1990 niet meer gecontroleerd.

Omdat de alarmdraad alleen stroom voerde tijdens een storing, produceerde een ontbrekende strap aan de ontvangende zijde dezelfde elektrische status als een gezonde stroominstallatie. Omdat het circuit vijftien maanden niet was gecontroleerd, rapporteerden de niet-verbonden aansluitpunten nul foutstroom, en het monitoringspaneel interpreteerde die stilte als normale werking.

3. De mechanisch geklemde bel

Zelfs met het dode lampje en de ontbrekende strap ontving een lokale auditieve alarmbel wel stroom toen de gelijkrichters uitvielen. Zoals Carroll uitlegde in zijn briefing van 20 september, was de bel op de 14e verdieping "geklemd zodat hij licht rinkelde, maar niet hard genoeg om hoorbaar te zijn." Een later onderzoek van een Huiscomité naar interne AT&T-documenten meldde dat personeel centrale alarmbellen had gedempt door de stelschroef van de audio-alarmbel aan te draaien.

Omdat de storing volgde op een reeks crashes van het telefoonnetwerk in 1990 en 1991 veroorzaakt door softwarebugs, wordt in latere verslagen vaak software aangewezen als de oorzaak van het uitschakelen van de waarschuwingshoorn. Bij 33 Thomas Street was geen software betrokken; personeel had de bel mechanisch gedempt tijdens eerdere werkzaamheden. Wanneer een lokale alarmbel continu rinkelt tijdens onderhoud zonder automatische stilte-timer, is het vastdraaien van een schroef of het klemmen van een gong een veelvoorkomende "workaround" op de werkvloer tegen constant lawaai.

4. De niet-gemonitorde overdracht van de wacht

Met het dode lampje, de ontbrekende strap en de gedempte bel was de enige manier om de storing op te merken dat een stroomtechnicus fysiek door de stroomruimtes liep en de gelijkrichters inspecteerde. De standaardprocedure van AT&T vereiste dat de DC-stroomsupervisor technici stuurde om elke installatie te controleren telkens wanneer het gebouw overschakelde van het net naar de interne generatoren. In die zomer was dit vier keer zonder incident gebeurd.

Op de ochtend van 17 september waren de DC-stroomsupervisor en de toegewezen stroomtechnici echter niet aanwezig; zij volgden een training over een nieuw gecomputeriseerd stroomalarmsysteem in Midtown Manhattan, ongeveer 15 minuten verderop. Hoewel er 52 andere technici in het gebouw waren die gekwalificeerd waren om de ruimtes te controleren, en de AC-stroomsupervisor die de schakelaar omzette aanwezig was, stuurde de afwezige DC-supervisor geen vervanger en droeg hij de taak van de controle-ronde na de overdracht niet over.

Het grotere probleem was de architectuur van de overdracht. In september 1991 had 33 Thomas Street geen remote telemetrie van de stroominstallaties die verbonden was met een regionaal netwerkbeheerscentrum. Elke hoogcapaciteits-trunk in het gebouw was afhankelijk van handmatige controles. Het feit dat het hele DC-stroomteam in een externe training zat, triggerde geen automatische blokkering of remote overdracht van de bewaking. De stroominstallatie op de 20ste verdieping draaide op batterijreserve zonder dat er iemand was toegewezen om de vloer te controleren, en er was geen verbinding die dit naar buiten rapporteerde.

16:30 uur: waarom de handmatige herstart mislukte

Ruim zes uur na de overdracht hielden de batterijen de spanning op de bus rond de 48 volt. Loodaccu's verliezen hun spanning niet geleidelijk; ze behouden een vlak spanningsplateau over bijna hun volledige capaciteit en vallen dan in de laatste minuten abrupt weg.

Om 16:30 uur zag een bekwame communicatietechnicus, die in dienst kwam voor de avondshift, een visuele weergave van een lage batterijspanning in een onbemand gebied op de 12e verdieping. Hij probeerde de installatie op de 20ste verdieping terug te schakelen van batterijen naar AC-stroom. Deze herstartpoging mislukte onmiddellijk.

Afbeelding 5: Schema van een AT&T Lineage 2000 batterijinstallatie, waarop te zien is hoe de gelijkrichters, batterijreeksen en distributiecompartimenten parallel staan aan de Charge Battery Bus. Bron: AT&T Product Manual 167-790-032 (Fig. 1-2, p. 1-5).

AT&T legde uit dat de batterijen zo ver ontladen waren dat ze fysiek geen oplaadstroom konden accepteren zonder te worden losgekoppeld van de systemen die ze ondersteunden. Het opnieuw aansluiten van offline gelijkrichters op een diep ontladen 48V-batterijbank terwijl de volledige belasting van de centrale nog is aangesloten, veroorzaakt een elektrische surge: de lege cellen vragen om een grote laadstroom op hetzelfde moment dat de DS3-transmissiecompartimenten hun volledige belasting trekken. Zonder automatische herstartcapaciteit (die de installatie op de 20ste verdieping miste) konden technici de installatie niet online brengen terwijl de transmissiecompartimenten verbonden bleven.

Tien minuten na de mislukte poging, om 16:40 uur, was de batterijreserve op de 20ste verdieping uitgeput.

16:40 uur: New York TRACON en het zeven uur durende herstel

Afbeelding 6: Controllers bij New York TRACON die Sperry Univac ARTS IIIA (DEDS FA-8320) radarschermen bedienen. Bron: Sperry Univac / J. ATC (1981).

Tussen 16:40 en 16:50 uur schakelden de DS3 en andere hoogcapaciteits-transmissiefaciliteiten in 33 Thomas Street uit toen de spanning onder de operationele grens zakte.

De primaire en reserve-landlijnen van de FAA voor New York TRACON en de drie luchthavens liepen via deze compartimenten. De blackout verbrak ook de communicatie tussen de luchtverkeerscentra van New York, Boston en Washington. De FAA dacht aanvankelijk alle radio- en datalinks naar New York Center kwijt te zijn. Controllers moesten naderende vliegtuigen begeleiden via kortbereik-backupfrequenties en handmatige relais, waardoor vertrekken en aankomsten bij JFK, LGA en EWR van ongeveer 17:00 tot 21:00 uur stilkwamen te liggen. Tegen de tijd dat het verkeer weer op gang kwam, waren 1.174 vluchten geannuleerd of vertraagd (wat 85.000 passagiers trof) en waren meer dan 5 miljoen binnenlandse en internationale gesprekken geblokkeerd.

Het herstel in 33 Thomas Street vereiste meer dan alleen het inschakelen van de gelijkrichters. Omdat de lege batterijen en de verbonden systemen samen meer stroom vroegen dan de gelijkrichters konden leveren bij een koude start, moesten ingenieurs alle ondersteunde apparatuur fysiek loskoppelen van de stroominstallatie voordat ze de gelijkrichters om 18:00 uur handmatig konden resetten.

Tijdlijn van de gebeurtenissen

• 06:00–07:00: Verzoek tot lastafschakeling. Con Edison vraagt AT&T om 33 Thomas Street tijdelijk van het commerciële net te halen.
• 10:10: Overschakeling naar diesel & uitval gelijkrichters. De AC-supervisor schakelt over naar dieselgeneratoren; een spanningspiek triggert een verkeerd ingesteld relais. De gelijkrichters vallen uit; de 48V batterijen nemen de volledige DS3-last over.
• 10:10–16:30: 380 minuten van stille ontlading. Door een kapotte lamp, een ontbrekende strap, een gedempte bel en het ontbreken van remote telemetrie blijft de storing onopgemerkt terwijl het DC-stroomteam in een externe training zit.
• 16:30: Alarm ontdekt; handmatige herstart mislukt. Een technicus ziet een alarm voor lage spanning, maar het terugschakelen faalt omdat de lege batterijen geen laadstroom accepteren terwijl de DS3-last is aangesloten.
• 16:40–16:50: Instorting 48V bus & verlies NY TRACON. De batterijreserve is op; de DS3-compartimenten vallen uit, waardoor de FAA radar, radio en vluchtplan-links voor JFK, LGA en EWR wegvallen.
• 17:10: Eerste omleidingen. 144 DS3-pass-through trunks (ca. 19.200 spraakcircuits) worden via alternatieve routes hersteld.
• 18:00: Volledige last loskoppelen & reset gelijkrichters. Ingenieurs koppelen alle apparatuur fysiek los zodat de gelijkrichters gereset kunnen worden zonder opnieuw uit te slaan door de stroompiek.
• 21:00: Luchthavens openen weer. Vluchten worden hervat; 43% van het binnenlandse en 8% van het internationale belverkeer is hersteld.
• 22:00: Gefaseerd herstel van trunks. De capaciteit stijgt naar 51% binnenlands en 56% internationaal.
• 24:00: Volledig herstel. Vrijwel 100% van de binnenlandse en 95% van de internationale capaciteit is hersteld na meer dan 7 uur verstoring.

De verschuiving van schuld: van werkvloer naar supervisor

In de nasleep van infrastructurele storingen publiceren organisaties vaak wat veiligheidsonderzoekers het "eerste verhaal" noemen: een narratief dat stopt bij de laatste menselijke hand aan de knoppen en concludeert dat er sprake was van menselijke fouten.

Op 18 september 1991 vertelde AT&T dat menselijke fouten de oorzaak waren, omdat "een supervisor en technici ter plaatse" "verschillende alarmen niet correct hadden gelezen." Deze verklaring was simpel en voorkwam een onderzoek naar waarom één enkele stroomruimte drie luchthavens kon platleggen of waarom het alarmcircuit sinds juni 1990 niet was getest.

Dit bleef één dag duren. De vakbond CWA wees erop dat de technici in een externe training zaten toen de alarmen faalden. Op 20 september trok AT&T Vice President William J. Carroll de beschuldiging in: "De technici waren niet schuldig en wij bieden onze excuses aan."

Toch hield AT&T vast aan het kader van de menselijke fout door de schuld te verschuiven naar de supervisor en lokale procedures. De uiteindelijke oplossingen die AT&T echter implementeerde, richtten zich direct op de hardware en de monitoringsarchitectuur:

• Auto-restart gelijkrichters en 50% lastspreiding: Installaties werden vervangen door hardware die automatisch kan herstarten. De stroomdistributie werd herzien zodat geen enkele installatie meer dan 50% van de hoogcapaciteits-DS3-faciliteiten voedt.
• Remote telemetrie naar Conyers, Georgia: Er werd een redundant alarmsysteem geïnstalleerd, verbonden met zowel lokale panelen als een remote surveillancecentrum in Georgia. AT&T investeerde 200 miljoen dollar landelijk in de betrouwbaarheid van stroomsystemen.
• Verplichte meldingen en pad-diversiteit: De FCC verplichtte carriers om storingen die meer dan 50.000 klanten raken, binnen 90 minuten te melden. De FAA startte het LINCS-programma om single-point failures in gehuurde lijnen te voorkomen.

Wanneer een analyse stopt bij "wees voorzichtiger"

Elk onderdeel van deze crash uit 1991 heeft een equivalent in moderne gedistribueerde software en AI-infrastructuur. We gebruiken geen metalen jumper-straps meer, maar we bouwen dezelfde fout-topologie wanneer we grote buffers koppelen aan alerts die alleen afgaan wanneer er expliciet een fout wordt gerapporteerd.

1. Buffers maskeren upstream-storingen

Een batterijbank van zes uur, een diepe request-queue, een royale retry-budget of een cache-laag met een lange TTL doen allemaal hetzelfde: ze houden downstream-consumenten draaiende wanneer de upstream-aanvoer wegvalt. Dit maakt een systeem veerkrachtig tegen korte glitches, maar het maskeert ook aanhoudende storingen voor iedereen die alleen naar de downstream-gezondheid kijkt. Als een dashboard alleen klantfouten meet, maskeert een buffer de storing totdat hij leeg is, waarna de engineer wordt gewekt als er nog maar tien minuten reserve over zijn.

2. Een leeg systeem herstarten kost meer capaciteit dan normale belasting

Moderne systemen lopen tegen dezelfde "cold-start" muur aan als de gelijkrichters in 33 Thomas Street; een patroon dat onderzoekers een metastabiele fout noemen. Wanneer een cache-laag volledig leeg is na een outage, moet de herstellende service de buffer opnieuw vullen terwijl hij tegelijkertijd live verkeer afhandelt. Deze gecombineerde vraag (laadstroom + belastingsstroom) triggert vaak direct de overbelastingsbeveiliging, waardoor het systeem opnieuw crasht.

3. Een dode service kan zijn eigen falen niet rapporteren

De ontbrekende strap en het doorgebrande lampje bleven onopgemerkt omdat het alarmcircuit alleen een signaal stuurde wanneer er een fout optrad. Als het alarmpad zelf kapot is, gebeurt er niets.

Softwareteams maken dezelfde fout wanneer ze alleen alerten op foutpercentages (error_rate > 1%). Als een service volledig platgaat of de verbinding met de metrics-server verliest, stijgt het foutpercentage niet boven de drempel en gaat het alarm niet af.

In kritieke systemen is het veiliger om continue succesvolle werking te meten en een fail-safe te triggeren zodra dat positieve signaal stopt. Een externe monitor die controleert of een systeem actief werk voltooit (een watchdog heartbeat), zorgt ervoor dat een kapotte verbinding direct een alert genereert. Een ontbrekende strap of een gecrashte telemetry-daemon faalt dan direct, in plaats van vijftien maanden te wachten op een generatoroverdracht.

Wanneer AT&T de schuld gaf aan personeel dat "alarmen niet correct had gelezen", behandelde het bedrijf menselijke waakzaamheid als de controle die de luchthavens moest beschermen. Geen enkele hoeveelheid voorzichtigheid stelt een technicus in staat om een gedempte bel te horen vanuit Midtown Manhattan of een dood lampje op een onbeheerde kring te zien. AT&T's uiteindelijke oplossing verving waakzaamheid door engineering. Dergelijke controles maken routineonderhoud veilig, zonder dat de regionale luchtverkeersleiding afhankelijk is van de hoop dat niemand een fout maakt.

***

Bronvermeldingen en voetnoten

1. AT&T Corporate Media Relations, “FOR THE RECORD” synopsis of the September 17, 1991 New York service disruption, posted by Mike Eastman (AT&T Bell Laboratories, 4ESS Development) to comp.dcom.telecom on October 2, 1991, archived in ACM RISKS Digest Vol. 12, Issue 43.
2. U.S. General Accounting Office, Telecommunications: Interruptions of Telephone Service, GAO/RCED-93-79FS (March 1993).
3. “Phone failure causes closing of N.Y. airports,” The Baltimore Sun, September 18, 1991.
4. Cindy Skrzycki and Don Phillips, “Human Error Led to Outage, AT&T Says; Technicians Failed to Heed Alarms,” The Washington Post, September 19, 1991.
5. Alan Gersten, “AT&T discloses cause of power failure,” United Press International (UPI), September 20, 1991.
6. W. Eric Wong, Tej Gidvani, Alfonso Lopez, Ruizhi Gao, and Matthew Horn, “Evaluating Software Safety Standards: A Systematic Review and Comparison,” in 2014 IEEE Eighth International Conference on Software Security and Reliability-Companion (SERE-C).
7. “FCC blames N.Y. outage on AT&T; Report cites human, equipment errors,” The Baltimore Sun, November 9, 1991.
8. Peter G. Neumann, “AT&T phone failure downs three New York airports for four hours,” ACM RISKS Digest Vol. 12, Issue 36 (September 18, 1991).
9. Sidney Dekker, The Field Guide to Understanding ‘Human Error’, 3rd ed. (Boca Raton, FL: CRC Press, 2014).
10. Federal Communications Commission, Report and Order: Amendment of Part 63 of the Commission’s Rules, FCC 92-58.
11. Nathan Bronson, Abutalib Aghayev, Aleksey Charapko, and Timothy Zhu, “Metastable Failures in Distributed Systems,” in Proceedings of the Workshop on Hot Topics in Operating Systems (HotOS ‘21).