Inte riktigt den introduktion som jag hade önskat:

Hej!

Jag har precis tillträtt som Kommunikations- och marknadschef på Surftown. Tanken är att jag ska arbeta med produktutveckling och vi planlägger just nu en rad nya spännande produkter i Surftown… och så kom regnet till Köpenhamn.

Lördag kl 22:00 ringde larmet på vårt primära datacenter som ligger placerat vid hamnen i Köpenhamn. Köpenhamn fick på en timme regnmängder som svarade för två månader – och det är inget system byggt för att klara av. Ståldörrar tillverkade för att så emot vatten är sönderslagna, all ström i byggnaden har gått och förväntas vara tillbaka igen på tisdag. Källaren blev rekordsnabbt fylld med vatten och i grannkällaren står en Maserati under 2 meter med vatten (surt! Men inte i förhållande till den rensning som många av oss nu står inför).

Oavsett allt detta fungerade vårt säkerhetssystem – så kl 02:00 i natt började nödströmsgeneratorn och producerade ström till… ingenting. Kortslutning i ledningar och elskåp stängde effektivt ner vårt datacenter. Sedan kl 06:00 söndag morgon har hemvärnet pumpat upp, upp till 30.000 liter vatten från källaren (per minut!) innan vi kl 14:00 kundefå tillgång till server-rummet och börja att flytta våra servrar, till säkerhet. Den sista delen av tömningen var firmabilarna, som tömdes på vatten vid kl 22 :-/

”Lyckligtvis” är vi igång med att bygga ut vårt senaste datacenter i Amager, så vi har mycket stor kapacitet av serverrack, ström osv. så att vi på ett effektivt sätt kunde flytta utrustning från ett datacenter till ett annat. Från kl 14 till 22 har vi flyttat 300+ servrar och återetableringen körs på fullt tryck i skrivandets stund. Här med följer en status på hur lång vi har kommit de första 24 timmarna och hur långt vi förväntar oss att komma inom nästa 24 timmar:

• DNS-servrar: 100% Online
• Webbservrar: 100% Online

Dessa servrar har inte drabbats av avbrott. En 10 Gbit förbindelse har under natten till söndagen varit nere på 1 Gbit, så svarstider kan ha varit påverkade. Dessvärre är en webbserver inte mycket värd om inte de underliggande fil- och databasservrarna är på plats. Och på dessa har vi upplevt störningar. Status pr söndag kväll kl 23:30:

• Storageservrar: 77% online. Resterande återställs från back-up till ny hårdvara. Återställningen är tidskrävande då det är miljoner av småfiler och förväntas vara avslutad måndag morgon.
  Antalet påverkade: upp till 23.000 av våra kunder
  Normal drift: förväntat måndag kl 09:00
• E-postservrar: 3 servrar är ska återställas från back-up till ny hårdvara. Ny hårdvara levereras på måndag morgon och alla e-postkonton kommer att fungera igen från omkring lunchtid under måndag, direkt efter installationen. E-postarkiv återställs efterföljande och kommer på så vis att löpande bli tillgängliga under efterföljande timmar.
  Antalet påverkade: Dessvärre okänt, då mailservrarna är Cloud baserade. Kort sagt, några fungerar och några fungerar inte för än på måndag.
  Normal drift: förväntas kl 12 måndag.
• Databasservrar: 80% idag söndag. Resterande återställs från back-up under löpet av måndagen.
  Antal berörda: upp till 20.000 av våra kunder
  Normal drift: förväntas sent under måndagen
• Supportsystem (ticketsystem): Surftown supportsystemet har gått ner. Det gör det svårt att ta emot eller skicka supportmails – men systemet ska vara klart igen måndag morgon kl 08:00. Systemet återställs från back-up under skrivandets stund.
  Antal berörda: Alla – beklagar.
  Normal drift: förväntas måndag kl 8.00

Vi kommer att fortsätta hålla alla informerade via vår blogg och twitter de kommande timmarna och dagarna. Jag hoppas att vi senast tisdag är helt tillbaka i normal drift, när nödvändiga införskaffningar och nödåtgärder blir genomförda under måndag.

Vi hoppas på er förståelse och ber verkligen om ursäkt för de problem som detta har medfört många av våra kunder. Vi är verkligen ledsna.

Som sagt heter jag Kresten – och det här är (nästan) min första dag på jobbet. Jag ser fram emot att  återkomma med en annan typ av information framöver… och överväger om vi borde byta namn och flytta till en mycket torr plats!

Bästa hälsningar