Felaket kurtarma planı, tatbikat edilmediği sürece bir belgedir. Yılda iki kez yaptığımız planlı DR tatbikatlarında saat saat ne yaşandığını anlatıyoruz — hem sürecin nasıl işlediğini göstermek, hem de tatbikatın neden kâğıt üstünde kalmaması gerektiğini anlatmak için.
Tatbikat neden gerekli?
DR kurgusu üç şeyi vaat eder: veri belirli bir noktaya kadar korunacak (RPO), sistem belirli bir süre içinde ayağa kalkacak (RTO) ve kriz bittiğinde kontrollü şekilde geri dönülecek (failback). Bu üçü de ancak denenerek doğrulanabilir.
Denenmemiş bir DR planında tipik olarak şunlar bulunur: güncelliğini yitirmiş IP planı, artık o kurumda çalışmayan birinin telefon numarası, replikasyon kapsamına hiç alınmamış bir dosya sunucusu, ve lisans sunucusuna bağımlı olduğu fark edilmemiş bir uygulama. Bunların hepsi tatbikatta bulunması ucuz, krizde bulunması pahalı sorunlardır.
Tatbikat öncesi
Tatbikat, tarihi haftalar önceden müşteriyle birlikte belirlenerek planlanır. Hazırlık şunları içerir:
- Kapsam listesi güncellenir. Son tatbikattan bu yana eklenen sunucular, veritabanları ve servisler kapsama alınmış mı, kontrol edilir.
- Başarı ölçütleri yazılır. "Sistemler açıldı" yeterli değildir. Hangi uygulamanın açılacağı, hangi işlemin yapılacağı, kaç kullanıcının bağlanacağı önceden belirlenir.
- İletişim zinciri doğrulanır. Kimin, kimi, hangi numaradan arayacağı tatbikat günü değil öncesinde teyit edilir.
- Geri dönüş planı hazırlanır. Tatbikat sonunda üretime nasıl dönüleceği baştan yazılıdır.
Tatbikat günü, saat saat
Aşağıdaki akış, sözleşmeyle taahhüt ettiğimiz 4 saatlik RTO hedefi üzerinden ilerler.
00:00 — Kesinti senaryosu başlatılır
Birincil lokasyonda kesinti simüle edilir. İzleme sistemleri bunu kendiliğinden algılamalıdır; "tatbikat başlıyor" diye elle tetiklenen bir alarm, algılama katmanını test etmez. Buradaki ilk ölçüm şudur: kesinti ile alarmın üretilmesi arasında kaç dakika geçti?
00:05 — Ekip devrede, müşteri aranır
Nöbetçi ekip alarmı alır, doğrular ve DR planını devreye alma kararı verir. Aynı dakikalarda müşteri aranır. Bu adım tatbikatın en çok aksayan yeridir; teknik taraf çalışırken haber verme adımının atlanması sık rastlanan bir durumdur. Ölçtüğümüz şey, müşterinin durumu bizden ne kadar sürede öğrendiğidir.
00:05–00:40 — Kritik sistemler ayağa kaldırılır
Replikasyondan gelen kopyalar üzerinde kritik olarak işaretlenmiş sistemler açılır. Sıra önemlidir: kimlik doğrulama ve veritabanı katmanı, uygulama katmanından önce gelir. Sürekli replikasyon sayesinde veri kaybı dakikalar mertebesindedir; tatbikatta bu RPO da ölçülür — "en son hangi işlem elimizde?" sorusunun cevabı kayda geçer.
00:40–03:30 — Kullanıcılar taşınır
Kritik sistemler açıldıktan sonra kalan servisler ve kullanıcı erişimi devreye alınır. DNS yönlendirmeleri, VPN erişimi, yazıcılar, entegrasyonlar — asıl sürprizler genelde burada çıkar. Bir uygulamanın dışarıdaki bir servise sabit IP ile bağlandığı, ya da bir entegrasyonun eski lokasyonun adresini kodun içinde taşıdığı hep bu aşamada anlaşılır.
03:30 — Tatbikat hedefine ulaşır
Belirlenen başarı ölçütleri tek tek doğrulanır: uygulama açıldı mı, örnek işlem tamamlandı mı, kullanıcılar çalışabiliyor mu? Bu noktada geçen süre RTO hedefinin içindeyse tatbikat başarılıdır. Değilse — ki bazen değildir — nerede kaybedildiği dakika dakika kayıtlıdır.
Failback: en çok atlanan aşama
Tatbikatların çoğu "sistem DR'da ayağa kalktı" noktasında biter. Oysa gerçek krizde bu, işin yarısıdır. Kriz süresince DR ortamında üretilen yeni veri, birincil lokasyon döndüğünde oraya tutarlı biçimde taşınmalıdır. Failback'i denemeyen bir kurum, krizden çıkarken ikinci bir kriz yaşar.
Bu yüzden tatbikatımız failback ile biter: kontrollü geri dönüş yapılır, veri tutarlılığı doğrulanır ve süre ölçülür.
Sonrasında rapor
Her tatbikat, sonuç raporuyla kapanır. Raporda ölçülen RPO ve RTO değerleri, hedefe göre sapmalar, tatbikat sırasında bulunan eksikler ve bunların ne zaman kapatılacağı yer alır. Tatbikat hedefi tutturamadıysa bu da aynı raporda yazar — kötü haberi de bizden duyarsınız.
Başarısız bir tatbikat kötü haber değildir. Aynı sorunu gerçek kesintide bulmak kötü haberdir.
Mevcut felaket kurtarma planınızı gözden geçirmek ya da sıfırdan kurgulamak isterseniz: DR çözümlerimiz · teklif formu