På eftermiddagen den 1:a maj började vi få problem med vårt Mysql Galera Kluster. Det började med att mysql krashade på en av noderna och inte gick att starta om. En annan nod började ta över och fick även den problem med att mysql stängde av sig gång efter gång.
Vi tar normalt dagliga backuper och under kvällen/natten den 1:a maj gick inte att ta en färsk backup eftersom mysql hela tiden stängde av sig. Vi har därför återställ många databaser från en backup gjord 2013-04-30 23:45.
Tyvärr går det inte att förutse till 100% fel och buggar som kan inträffa, men det är efter att felet har inträffat som det märkts om man har gjort vad man ska. Eftersom vi har full beredskap för oförutsedda händelser, kunde vi återskapa alla kunders databaser med de rutiner vi sedan länge har infört.
Vi beklagar det inträffade och vi kommer noggrant att undersöka vad som hände, och hur det ska undvikas i framtiden.
