Noční výpadek elektřiny 26.3.2014

Autor: Monty (mailto:monty@khnet.info), Téma: Omezení provozu
Vydáno dne 26. 03. 2014 (5607 přečtení)




Takže milí členové, něco si dovolím sepsat k nočnímu výpadku elektřiny, za který moc děkujeme, však vy víte komu.
 
Kdyby to bylo normální vypnutí, šlus - hotovo a potom zase nahození, pravděpodobně by se nic nestalo. Ale to houpnutí 6x před výpadkem a potom ještě několikrát při spouštění nám nadělalo pěknou paseku.


Houpání elektřiny započalo cca v 0:20
 
Totální výpadek většiny Kutné Hory začal přibližně v 0:40
 
Po spuštění dodávky elektřiny okolo 2:45 jsem šel nahodit stroje do jedné ze serveroven, která nemá takové zálohy, aby vydržela několik hodin. To proběhlo vcelku standardně a očekávaně, až na dva soukromé servery našich členů, které UPS nemají vůbec (ale za to nemůžeme). Jeden odešel úplně a druhému se porouchal disk a muselo mu být domluveno, aby se vůbec spustil.

V době nahazování serverovny řešil už Ludva server Masarka. To byl největší průšvih, odešla základní deska. Náhradní jsme měli... ale nechce pracovat s normálním napájecím zdrojem, vyžaduje speciální serverový, který se mimo serverovnu díky hluku používat dlouhodobě nedá (čti - je to jak vysavač). Takže jsme několik hodin laborovali nad tím, jak to vůbec zprovoznit. Nakonec se nedalo nic dělat a vysavač je u Ludvy doma zapojen. Musíme to ovšem ještě dořešit s výrobcem desky a vyměnit.
 
Navíc deska je novější typ, než byla ta původní, což způsobilo další problémy, tentokrát softwarového rázu. Server Masarka byl spuštěn přibližně v 8:00, ale ještě několik restartů bylo potřeba. Finále dočasné opravy bylo v 11:09, tedy 8,5 hodiny po zjištění závady.
 
Díky tomuto provizoriu bude v dohledné době ještě jeden noční výpadek, abychom uvedli server do normálního stavu. A Ludva se mohl normálně vyspat.
 
 
V cca 5:45 zapnul CEC elektřinu na Obile, kde po výpadku díky jističům sama nenajede a poté se vydal nahodit spadlé jističe na Puškin5.

A aby toho nebylo málo, v 9:51 odešel i server Neptun, také jeden z hlavních. Tam byla závada vcelku neočekávaná - porouchal se disk, stejný co loni. Vzhledem k tomu, že server v noci ani nepadl, tak to s elektřinou nic do činění mít nebude. Špatný disk byl odpojen a v brzké době bude ještě jeden noční výpadek, abychom tam dali nový.

Když jsem přišel okolo 11. hodiny domů, tak jsem zjistil, že máme pryč ještě jeden disk, a to ve virtualizačním serveru. Za to už výpadek elektřiny může. Ten budeme muset také vyměnit, ale nikdo z Vás na tom není závislý z pohledu internetu, jen nějaký čas nebudou fungovat naše webové stránky a nějaké další méně důležité věci. Ale na chod sítě jako takové to vliv mít nebude, tedy pokud vše najede, jak má.
 
A to aby toho nebylo málo, tak od rána nejede díky plánovanému výpadku elektřiny několik dalších našich bodů.  Benzina, Stadion, Přítoky 1-4, Malešov, Tuchotice. Něco jsme věděli předem, něco ne ... a kdybychom to věděli, možná jsme se nemuseli nervovat až tolik.