- Remap inspired `reduce` transform to solve multiline merging · Issue #4258 · vectordotdev/vector
- This issue proposes an idea for a new reduce transform that borrows from the new remap transform. The intent is to solve event merging, as well as other reduce-like problems, through robust reduce ...
Dzisiaj zamierzam przedstawić narzędzie o nazwie Vector.
To produkt pochodzący z firmy DataDog.
![[Obserwowalność] Wyzwanie związane z narzędziem do zbierania logów Vector](https://cdn.durumis.com/image/6vqp5ki8-1hof8k15o?width=660)
Pełni rolę podobną do znanych nam narzędzi takich jak promtail czy otel.
Wspiera zbieranie, agregację i transformację logów.
Cechy narzędzia są następujące:
1. Napisane w języku Rust, a nie Golang
2. Łatwiejsze pisanie kodu transformacji logów w porównaniu do otel
3. Możliwość deklaratywnego zarządzania
4. Dobrze napisana oficjalna dokumentacja
Oficjalna strona internetowa wymienia poniższe punkty jako zalety, jednak...
![[Obserwowalność] Wyzwanie związane z narzędziem do zbierania logów Vector](https://cdn.durumis.com/image/1c4r78n6-1hof8lm14?width=660)
większość z nich jest również wymieniana przez inne narzędzia, dlatego pominąłem je powyżej.
Podczas korzystania z Vectora napotkałem następujące wady:
1. Nieaktualna oficjalna dokumentacja
2. Trudności w wyszukiwaniu powiązanych materiałów
Myślę, że to tyle.
Podczas użytkowania nie napotkałem większych problemów, ale brak odpowiednich materiałów i nieaktualność dokumentacji były dość frustrujące.
Używam wyłącznie Helma, więc przepraszam, że opisuję wszystko z perspektywy Helma 흑....
Następnie tworzymy prosty plik values.yaml i...
Powyższe polecenie pozwoliło mi łatwo zintegrować logi z klastra Kubernetes z Loki.
Podczas tworzenia konfiguracji napotkałem kilka problemów.
Po pierwsze, podczas definiowania customConfig, opcje domyślne są wyłączane, więc trzeba ręcznie zdefiniować źródła (source), transformacje (transform) i odbiorniki (sinks).
Po drugie, ze względu na specyfikę logów Kubernetes, które są zapisywane linijka po linijce, logi wielo-linijkowe (np. ślady błędów) muszą być łączone.
W źródle plików (source.file) dostępna jest opcja obsługi logów wielo-linijkowych, ale w przypadku Kubernetes nie ma takiej opcji.
Wewnętrzna dyskusja zespołu Vector doprowadziła do wniosku, że należy użyć transform.reduce, który to obsługuje.
- Add `multiline` support for the `kubernetes_logs` source · Issue #4211 · vectordotdev/vector
- When people want to configure just one multiline aggregation configuration, they should be able to configure it at the kubernetes_logs source level.
Po trzecie, oprócz root.data_dir, należy również skonfigurować data_dir wewnątrz custom_config...
![[Obserwowalność] Wyzwanie związane z narzędziem do zbierania logów Vector](https://cdn.durumis.com/image/3tc4o9je-1hof9982j?width=660)
Wewnątrz jest umieszczona taka wartość. Jeśli nie zostanie ona skonfigurowana, często pojawiają się błędy braku uprawnień związane z logami... ㅎ
Po czwarte, używałem Helma do wdrożenia, co doprowadziło do nakładania się składni, a w niektórych przypadkach konieczne było użycie znaków specjalnych (escape).
W dokumentacji jest napisane "{{ metadata }}", więc skopiowałem to i wkleiłem, co spowodowało błąd...
Dlatego w Helmie należy koniecznie użyć "{{ {{ metadata }} }}" i zastosować znak specjalny (escape)!
Dodatkowo, jeśli zastanawiasz się nad architekturą, polecam zapoznać się z poniższym artykułem.
https://vector.dev/docs/setup/deployment/topologies/
Komentarze0