Amazon Data Firehose ve Dynatrace Entegrasyonu
Bulut karmaşıklığı büyüdükçe, daha fazla hacim, hız ve çeşitli günlük verileri getirir. Ve Bu değişikliği yönetmek zordur.
Bulut günlükleriniz, yüksek etkili sorunların temel nedenini sağlayabilir veya güvenlik olaylarının ayrıntılarını ortaya çıkarabilir. Artık bir Amazon Data Firehose yüksek frekanslı veri akışını doğrudan yüksek performanslı Dynatrace Grail™ analitik motoruyla entegre edebilir ve işiniz için minimum etkiyle sorunları azaltmak için Dynatrace AI destekli gözlemlenebilirlik platformunu kullanabilirsiniz.
Gerçek zamanlı akış, gerçek zamanlı analitik gerektirir
İşletmeler iş yüklerini Amazon Web Services gibi bulut hizmeti sağlayıcılarına taşıdıkça, iş yüklerini gözlemlemenin karmaşıklığı artar. Günlük verileri — metrikler ve izler gibi diğer standartlaştırılmış sinyalleri tamamlayan, gözlemlenebilirlik verilerinin en ayrıntılı biçimi — özellikle kritiktir. Bulut karmaşıklığı büyüdükçe, daha fazla hacim, hız ve çeşitli günlük verileri getirir.
Bu değişikliği yönetmek zordur. Hizmetiniz, altyapınız veya bulut işlevinizle ilgili günlükleri tam olarak doğru zamanda ve tam olarak doğru biçimde görme yeteneği olmadan, bulut veya DevOps mühendisleriniz, sorun giderdikleri sorunların temel nedenlerini bulma yeteneğini kaybeder. Gözlemlenebilirlik platformunuzda uygun günlükleriniz yoksa, AIOps yaklaşımı bile onu kesmez.
Amazon CloudWatch, AWS ayak iziniz boyunca günlük toplamanın en yaygın yöntemidir. Birçok kuruluş tarafından kullanılan yerel bir araç olan CloudWatch, çok çeşitli AWS kaynaklarını, uygulamalarını ve hizmetlerini destekler.
Amazon Data Firehose, günlükleri doğru hedefe aktarmaya yardımcı olur
Ancak SRE’leriniz ve DevOps mühendisleriniz CloudWatch’ın veriler için terminal hedefi değil, bir ara istasyon olduğunu biliyor. Görevleri, herhangi bir SLO ihlalinin temel nedenini bulmak, sorunları verimli bir şekilde çözmek için uygulama ortamında görünürlük sağlamak ve hataları azaltarak üretim maliyetlerini en aza indirmektir. SRE’ler ve DevOps mühendisleri, tüm yazılım geliştirme yaşam döngüsünü izlemek için entegre bir gözlemlenebilirlik platformunda bulut günlüklerine ihtiyaç duyar.
Bu zorluğu ele almaya çalışırken, bulut mimarlarınız muhtemelen Amazon Data Firehose’u seçecektir. Bu tam olarak yönetilen yerel hizmet, CloudWatch tarafından toplanan yüksek frekanslı günlükleri akış için vazgeçilmezdir.
Bazı dağıtım senaryolarında, CloudWatch’ı tamamen atlayabilirsiniz. Ağ arayüzlerinizin IP trafiğine ilişkin içgörüler sağlayan Amazon Virtual Private Cloud (VPC) akış günlükleri örneğini alın. VPC akış günlükleri, bağlantı sorunlarını gidermek, güvenlik olayı soruşturmaları uygulamak, izinsiz girişleri tespit etmek veya erişim kontrol sorunlarını yönetmek için kaynak olarak kullanılabilir. VPC akış günlükleri, bulut dağıtım ayak iziniz büyüdükçe hacim olarak büyük olabilir ve bu günlükleri Amazon Data Firehose ile doğrudan yayınlamak en uygun maliyetli yöntem olabilir.
Amazon Data Firehose’u yapılandırdıktan sonra ekipleriniz, gözlemlenebilir yapbozun yalnızca ilk bölümünü tamamladıklarını keşfeder. Ayrıca, bu verileri eyleme geçirilebilir hale getirmek için yüksek performanslı, gerçek zamanlı bir analitik platformuna ihtiyaçları var.
AWS’den Dynatrace’e doğrudan bağlantı
Dynatrace, yerel Firehose entegrasyonu ile AWS bulut gözlemlenebilirliği için eksik parçayı sunar. Bu, S3 günlük iletici, Lambda katmanı günlük yönlendirme veya doğrudan günlük alma API’si gibi mevcut AWS günlük kaydı entegrasyonlarımızı tamamlar. Bunlar zaten AWS günlük kaynaklarıyla ortak bir entegrasyon sağlıyor. Yeni Firehose entegrasyonu, daha önce ek bakım gerektiren aracı bileşenleri kaldırır ve AWS’den Grail veri lakehouse’a doğrudan bir bağlantı sağlar.
Bu, Firehose’dan yüksek frekanslı akışlı günlüklerin Dynatrace ortamınızda yakalanabileceği, otomatik olarak işlenebileceği, seçtiğiniz saklama süresi boyunca Grail’de saklanabileceği ve Dynatrace® platformunun, uygulamalarının ve Davis® AI sorun algılamanın tam gözlemlenebilirlik otomasyon paketine dahil edilebileceği anlamına gelir.
Ölçeklenebilir veri alımı için bu kullanıma hazır destekle, günlük verileri sorun giderme ve gözlemlenebilirlik, güvenlik sorunlarını araştırma veya denetim için ekipleriniz için hemen kullanılabilir. Günlükler, izler, metrikler, iş etkinlikleri ve diğer veri türlerinin yanı sıra birinci sınıf vatandaşlar olduğundan, cloud-native yolculuğunuzda sizinle birlikte ölçeklenmeye hazır bir gözlemlenebilirlik platformuna sahipsiniz.
Kolay kurulum sadece birkaç adım alır
Firehose günlük verilerinin doğrudan alınmasını ayarlamak hızlı ve kolaydır.
İlk olarak, günlükleri almak için bir API anahtarı oluşturmanız gerekir. Dynatrace web kullanıcı arayüzünde, Access belirteçlerine gidin ve Yeni belirteç oluştur’u seçin. Belirtecin kapsamı olarak alma günlüklerini seçin. Ardından, token’ı oluşturun.
Ardından, günlük gruplarınızda tanımlanan veri akışlarının iletilmesini yapılandırmak için AWS konsoluna gidin. Veri Firehose akışı, bir IAM rolü aracılığıyla CloudWatch ile güvenilir bir ilişki gerektirir. Uygun erişime izin vermek ve Firehose ayarlarını yapılandırmak için Dynatre belgelerinde bulunan talimatları izleyin.
Şimdi, Firehose akışınızı kurabilirsiniz. Tercih edilen yol, süreci kolaylaştıran ve otomatikleştiren bir CloudFormation şablonu kullanmaktır. Ayrıntılar için CloudFormation şablon belgelerine bakın.
Alternatif olarak, akışı AWS web konsolunda yapılandırabilirsiniz. AWS konsolunda Hedef olarak Dynatrace’ı seçin ve diğer alanları doğru parametrelerle doldurun. Parametrelerin tam listesi için AWS Console belgelerine bakın.
Dynatrace Davis AI ortamınızda bir sorun tespit ettiğinde, sorunla ilgili AWS Firehose aracılığıyla yayınlanan ilgili günlükleri de görebilirsiniz. Bir sorunu analiz ederken, ilgili günlük verilerini görüntüleyen ilgili hizmete bakın. Bu, sorunun ayrıntılarını sağlayan hataya doğrudan atlamanızı sağlar.
Proaktif durum kontrolleri veya analizleri yaparken, günlük verilerini Not Defterlerinde inceleyebilirsiniz. Örneğin, verileri keşfetmek için bir şablon seçin veya kendi DQL sorgunuzu yazın ve AWS Firehose aracılığıyla yayınlanan günlüklerden gelen hata oranlarını çizin.
