case study
AI Tech Company
Lokalizacja
Europa
Branża
AI Tech
Technologie
Elasticsearch GKE Terraform Helm BigQuery Prometheus
Kontekst
Klient zwrócił się do nas z potrzebą optymalizacji kosztów infrastruktury chmurowej. Projekt oparty na Google Cloud Platform (GCP) wymagał znalezienia równowagi między efektywnością kosztową a utrzymaniem wysokiego poziomu stabilności, wydajności i bezpieczeństwa.
Wyzwanie
Klient zmagał się z poważnymi problemami związanymi z wysokimi kosztami utrzymania istniejącej infrastruktury chmurowej. Do zarządzania Elasticsearch wykorzystywał Elastic Cloud – rozwiązanie, które okazało się bardzo kosztowne. Firma potrzebowała spójnej strategii zarządzania danymi i efektywniejszego wykorzystania zasobów chmurowych, gdyż dotychczasowe podejście generowało wysokie koszty operacyjne. Kluczowymi problemami były nieefektywne zarządzanie silnikami obliczeniowymi oraz rezerwowanymi instancjami – obszary, których usprawnienie mogło przynieść znaczące oszczędności i poprawę efektywności.
Proces
Audyt
Aby sprostać tym wyzwaniom, rozpoczęliśmy od gruntownej oceny istniejącej infrastruktury klienta. Audyt obejmował szczegółową analizę środowiska na Google Cloud Platform oraz danych rozliczeniowych, pozwalającą zidentyfikować obszary generujące najwyższe koszty – przede wszystkim te związane z Elastic Cloud i silnikiem obliczeniowym. Nasi eksperci korzystali z szeregu różnych narzędzi, aby przeprowadzić audyt z należytą starannością.
Migracja do Google Kubernetes Engine
Po zakończeniu audytu zaplanowaliśmy i przeprowadziliśmy migrację usługi Elasticsearch z Elastic Cloud do Google Kubernetes Engine (GKE). Migracja wymagała starannego doboru optymalnych konfiguracji serwerów na podstawie danych o rzeczywistym użytkowaniu. Podzieliliśmy klaster Elasticsearch na trzy węzły, zapewniając stabilność i redundancję danych w różnych środowiskach. Wdrożyliśmy również praktyki Infrastructure as Code (IaC), umożliwiające klientowi łatwe uruchamianie dodatkowych klastrów w przyszłości.
Optymalizacja kosztów przechowywania logów
Aby jeszcze bardziej obniżyć koszty, zajęliśmy się problemem wysokich wydatków na przechowywanie logów. W tym celu przenieśliśmy znaczną część danych logów z Google Cloud Logging do Google BigQuery – rozwiązania znacznie bardziej ekonomicznego, przy zachowaniu pełnej dostępności do danych.
Efektywne kosztowo zarządzanie instancjami
Wdrożyliśmy również bardziej oszczędną strategię zarządzania instancjami. W przypadku maszyn wirtualnych zarekomendowaliśmy przejście na instancje rezerwowane (Reserved Instances), które pozwalają uzyskać oszczędności w zamian za długoterminowe zobowiązanie do korzystania z określonych zasobów. Uzupełnieniem tego rozwiązania było wdrożenie instancji typu Spot do zadań wsadowych (batch processing) – tańszych, choć wiążących się z pewnym kompromisem w zakresie dostępności i stabilności.
Zarządzanie cyklem życia danych
Dostrzegliśmy również, że klient nie posiadał strategii zarządzania cyklem życia danych, co generowało zbędne koszty przechowywania. Wdrożyliśmy polityki automatycznego przenoszenia archiwalnych i rzadko używanych danych do bardziej ekonomicznych warstw przechowywania w Google Cloud Storage, optymalizując długoterminowe koszty składowania danych.
Co osiągnęliśmy
Dzięki tym celowanym działaniom osiągnęliśmy 60% redukcję kosztów utrzymania Elasticsearch poprzez migrację do Google Kubernetes Engine. Rozwiązanie to umożliwia też łatwe skalowanie w przyszłości – zarówno pod względem obciążenia, jak i wolumenu danych.
Przeniesienie przechowywania logów z Google Cloud Logging do Google BigQuery znacząco obniżyło koszty składowania, czyniąc rozwiązanie znacznie bardziej ekonomicznym przy jednoczesnym zachowaniu prostego dostępu do danych. Dzięki zastosowaniu instancji rezerwowanych klient osiągnął oszczędności sięgające 54% kosztów maszyn wirtualnych – w zamian za długoterminowe zobowiązanie do korzystania z zasobów.
Wdrożenie instancji Spot do zadań wsadowych przyniosło oszczędności rzędu 89%, choć kosztem pewnych kompromisów w zakresie dostępności. Wreszcie, wdrożenie polityk zarządzania cyklem życia danych obniżyło długoterminowe koszty przechowywania, kierując dane niekrytyczne do tańszych warstw składowania.
Nasze kompleksowe podejście do optymalizacji infrastruktury chmurowej klienta przyniosło znaczące oszczędności, przy jednoczesnym zachowaniu wymaganego poziomu wydajności i bezpieczeństwa projektu. Ten przypadek doskonale ilustruje nasze kompetencje w dostarczaniu skrojonych na miarę, efektywnych kosztowo rozwiązań, które realnie tworzą wartość dla klientów.
Co istotne, opisane działania stanowią jedynie pierwszy etap naszej współpracy. W najbliższym czasie przeprowadzimy kolejne optymalizacje, które jeszcze bardziej usprawnią infrastrukturę klienta – zapewniając ciągły rozwój i trwałą wartość.