Panel analityczny dla AdOpsów

Jednej z liderów rynku reklam wideo, które można rozwiązać z Clearcode, aby zaprojektować i stworzyć własny panel analityczny dla AdOpsów.

Sprawdź jakie zastosowanie ma ten panel, wymagania techniczne projektu, główne wyzwania techniczne i tech stack, którego użyliśmy do zbudowania dashboardu raportowego.

KLIENT

Firma technologiczna

BRANŻA

Reklama programmatic

USŁUGA

AdTech

KRAJ

USA

O projekcie

Wiodąca firma z branży reklamowej (AdTech) podjęła z nami współpracę, aby stworzyć panel analityczny do zbierania, agregowania, normalizowania, przetwarzania i wizualizacji danych z platformy mediatora reklamowego.

Platforma reklamowa zbiera dane z dwóch oddzielnych narzędzi do zbierania danych. Następnie dane te są wyświetlane w panelu analitycznym.

Najważniejsze informacje

Produkt

Zaprojektowaliśmy i zbudowaliśmy panel analityczny dla firmy AdTechowej specjalizującej się w reklamach wideo. Panel zbiera dane z wielu źródeł i wyświetla metryki w interfejsie użytkownika.

Zastosowanie w biznesie

Nasz klient chciał stworzyć panel analityczny dla AdOpsów jako wartość dodaną do swojej platformy reklamowej. Panel ten umożliwia wydawcom sprawdzanie raportów z kampanii oraz zarządzanie i kontrolowanie ich zasobami reklamowymi.

Główne wyzwania

Utworzenie hubu danych, stworzeniu komponentu do obsługi i przetwarzania danych oraz prezentacja danych w interfejsie użytkownika w czasie krótszym niż 10 minut.

Technologie

W tym projekcie wykorzystaliśmy AWS, JavaScript, Python, Terraforms oraz Apache Spark.

“Nasz klient chciał stworzyć panel analityczny dla AdOpsów jako wartość dodaną do swojej platformy reklamowej.”

Beata Fil

PROJECT MANAGER, CLEARCODE

Główne wyzwania

Głównym wyzwaniem była agregacja i przetwarzanie danych oraz wyświetlenie ich w panelu raportów.

Kolejnym istotnym wyzwaniem było stworzenie infrastruktury, która jest łatwa do wdrożenia i aktualizacji.

Część aplikacji wymagała konteneryzacji. Aby rozwiązać ten problem, skorzystaliśmy z Dockera.

Najważniejsze wymagania

    • AWS

      Rozwiązanie musi być hostowane na AWS.

    • Procesowanie danych

      Rozwiązanie musi przetwarzać dużą ilość logów w różnych formatach przechowywanych w Amazon S3 buckets i przetwarzać dane na ich bazie.

    • Niska latencja

      Dashboard musi mieć niską latencję (~10 minut) pomiędzy logami z systemu klienta i raportami.

    • Raportowanie na żywo

      Rozwiązanie musi pobierać i przetwarzać aktualne dane dostarczane przez usługę zewnętrzną.

    • Odpowiada na konkretne potrzeby

      Zastąpić istniejące rozwiązanie customową platformą AdTech, która spełni konkretne potrzeby biznesowe.

    Największe wyzwania i ich rozwiązania

    Poniżej opisujemy największe wyzwania i to, w jaki sposób sobie z nimi poradziliśmy.

    Przeliczanie i wyświetlanie danych

    Wyzwanie: Przetwarzanie i agregacja danych oraz wyświetlanie ich w panelu raportowania.

    Metryki miały być tworzone na bazie surowych danych z logów transakcji header bidding, które zostały zrzucone przez system klienta do Amazon S3 buckets.

    Ponadto pliki miały różną wielkość i zawierały różne typy logów, co oznaczało, że należało je przetworzyć, abyśmy mogli wyświetlić dane w panelu raportowania.

    Rozwiązanie: Do przetwarzania danych użyliśmy Apache Spark, a do przechowywania zagregowanych metryk PostgreSQL.

    Uruchomiliśmy Apache Spark na Amazon EMR i PostgreSQL na Amazon RDS, co pozwoliło nam spełnić wymagania dotyczące niskiej latencji w zasilaniu raportów oraz zapewnić szybkie i łatwe opcje filtrowania i wyświetlania.

    Infrastruktura

    Wyzwanie: stworzenie infrastruktury, która jest łatwa do wdrożenia i aktualizacji.

    Rozwiązanie: Wykorzystaliśmy Terraform, narzędzie dzięki któremu jesteśmy w stanie łatwo tworzyć nową strukturę i nią zarządzać.

    Konteneryzacja

    Wyzwanie: Część aplikacji wymagała konteneryzacji.

    Rozwiązanie: Uruchomiliśmy klaster Kubernetes (Amazon EKS), co ułatwia zarządzanie nim oraz dalszy rozwój aplikacji w przyszłości.

    Technologie, które wykorzystaliśmy

    AWS

    JavaScript

    Python

    Apache Spark

    Terraform

    Rezultat

    Nasz klient otrzymał produkt gotowy do wdrożenia i użycia, zgodny z wymaganiami projektu.

    Wydawcy mogą dokładniej analizować swoje kampanie, lepiej zarządzać zasobami reklamowymi, skuteczniej dobierać DSP i filtrować raporty według DSP, urządzeń i przedziałów czasowych.