Data lake w telekomunikacji
1
Wyzwanie
Celem projektu było opracowanie sytemu zarządzania i monitorowania połączeń telefonicznych (dane, sms, voice) w roamingu, dla międzynarodowego operatora telekomunikacyjnego. Biznesowym celem projektu był nadzór nad ciągłością świadczenia usług telekomunikacyjnych oraz wykrywanie nadużyć i anomalii w ruchu hurtowym.
2
Rozwiązanie
Złożoność projektu:
- Rozmiar klastra: ~2 PB
- ponad 100 serwerów
- utrzymanie kilkudziesięciu usług Zastosowane technologie:
- HDFS, Hive, Spark, Ranger
- Elasticsearch (ELK)
- Apache Kafka
3
Wynik
- Wdrożenie klastra Elasticsearch oraz klastra Apache Hadoop
- Zaprojektowanie przepływów danych (metadane, sterowanie przepływami, itp.)
- Wdrożenie integracji z AD i certyfikacji Kerberos
- Zapewnienie ciągłości działania systemu
- Zaprojektowanie i wdrożenie środowiska zapasowego (DR)
Umożliwienie nadzoru nad ciągłością świadczenia usług telekomunikacyjnych
Wykrywanie nadużyć w ruchu hurtowym
Wykrywanie anomalii w ruchu hurtowym