📊 로그 시각화는 왜 중요할까?

로깅을 통해 개발자는 개발 과정 혹은 개발 후에 발생할 수 있는 예상치 못한 애플리케이션의 문제를 진단할 수 있고, 다양한 정보를 수집할 수 있다. 단순히 로그를 확인한다는 것은 추상적인 행위로 보인다. 기록을 남기는 것이 아닌 구체적으로 어떤 정보를 어떻게 확인하고 관리하는지가 로깅의 핵심이라고 생각한다.

로그는 시간의 경과에 따라 수집된 데이터의 한 종류로 볼 수 있다. 그러면 데이터 시각화의 장점은 곧 로그 시각화의 장점으로 볼 수 있다. 로그 시각화는 어떤 장점이 있을까?

👀 방대한 데이터를 빠르게 확인할 수 있다.

한 달간 발생한 에러에 대한 로그를 각각 수치화와 그래프화로 나타낸 것이다. 과연 어떤 것이 더 빠르게 이해하고 많은 정보분석이 가능한가? 일반적으로 그래프로 표현한 아래쪽이 더 빠르고 넓은 범위에 대해 이해하기 쉽다. 원하는 기간을 특정해서 로그를 분석할 때도 시각화를 한다면 훨씬 빠르고 정확하게 이해가 가능하다. 빅데이터의 활용에서 시각화가 강조되는 이유도 여기에 있다.

💡 전문 지식이 없어도 쉽게 분석된 데이터를 이해할 수 있다.

인간은 감각기관을 통해 획득하는 정보의 80% 이상이 시각을 통해서 얻는 지극히 시각적인 동물이다. 그만큼 시각화의 효과는 크며 개발자 입장에서도 시각화를 해둔 편이 이해가 더 쉽다. 하지만 자칫 잘못된 표현 때문에 시각에 의해 발생하는 오류를 범하는 상황이 발생할 수 있으니 유의해야 한다.

위의 예시를 살펴보자. 개발자로서는 어떤 예외로 인해 에러가 발생했는지 이해할 수 있다. 그러나 개발자가 아닌 사람이 해당 데이터를 분석한다면 이해하는데 사전지식이 필요하다. 그러나 아래 예시처럼 시각화해두면 사전지식이 없어도 이해할 수 있다는 장점이 있다.

누구나 쉽게 데이터 인사이트를 찾을 수 있다는 것은 데이터 활용범위가 넓어지고 새로운 가치 창출의 범위가 확대된다고 생각할 수 있다.

📝 정확한 데이터 분석 결과를 도출할 수 있다.

일반적으로 데이터를 시각화한다면 분석의 용도보다는 남에게 보여주기 위한 용도로 사용된다고 생각하기 쉽다. 하지만 데이터 시각화는 단순히 분석 결과를 전달하기 위한 목적 외에도 정확한 분석을 위한 데이터 탐색 방법으로 활용된다. 예를 들면 평균, 표준편차, 상관관계가 동일한 요약 통계를 가진 데이터셋을 가지고 산점도로 시각화를 한다면 시각적 패턴이 명확히 다른 것을 알 수 있다. 아래 이미지는 1973년 F.J.Anscombe가 개발한 Anscomes’ Quarter 다.

👍 효과적인 데이터 인사이트 공유로 의사결정을 진행할 수 있다.

보고서를 제출하거나 발표를 할 때 설명과 함께 전달되는 문서의 시각화 차트는 메시지 전달을 효과적으로 뒷받침하는 근거 자료가 된다. 듣는이가 쉽게 이해할 수 있도록 도와주고, 공감을 얻을 수 있다.

다양한 로그 데이터를 한곳에서 살펴보려면 대시보드를 활용할 수 있다. 대시보드는 다수의 조직 구성원이 대시보드를 공유하며 각기 다른 관점에서 데이터를 탐색하고 인사이트를 도출할 수 있다. 시각화 차트로 구성된다는 것은 데이터 분석 기술을 가진 개발자 이외의 사람도 쉽게 데이터 활용을 할 수 있게 한다. 각자 이해한 내용을 바탕으로 데이터를 근거로 한 중요한 의사결정으로 이어질 수 있다.

✍️ 다양한 분야에 데이터를 활용할 수 있다.

특히 로그 시각화는 기술적인 로그뿐만 아니라 사용자 정보 로그에서도 그 진가를 발휘한다. 이를테면 단순 문자열로만 저장되면 쉽게 인지하지 못하는 부분들(프로덕트 사용자들의 실시간 관심사)을 보고 빠르게 의사결정을 진행함으로써, 사용자에게 더 많은 관심사 노출을 유도할 수 있다.

이런 다양한 장점이 존재하기 때문에 로그 시각화를 도입하는 것은 큰 도움이 된다고 생각한다. 그렇다면 로그 시각화는 어떻게 하는 것일까?

로그 시각화 도구

많은 양의 로그를 처리하기 위해서는 중앙형 집중 로깅 방식을 통해 로그를 저장한다. 이 과정에서 주로 Kibana 혹은 Grafana 가 사용된다. 두 시각화 도구 다 Elasticsearch 를 통해 시각화를 사용할 수 있으니 간단하게 Elasticsearch 가 어떤 것인지부터 알아본다.

Elasticsearch (로그 저장 및 검색)

텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 무료 검색 및 분석 엔진이다. 분산형과 개방형을 특징으로 한다. Elastic Stack 의 핵심 구성 요소다. Elasticsearch 로 흘러들어온 원시 데이터를 서로 관련 있는 문서끼리 색인하여 복잡한 쿼리에 대해 요약 검색 할 수 있도록 제공한다. 관계형 데이터베이스가 document 중심이라면 Elasticsearch 는 텍스트 중심이라고 볼 수 있다. 관계형 데이터베이스를 베이스로 검색에 필요한 부분을 Elasticsearch 로 진행하는 것이 보통이다.

Kibana

세계에서 가장 인기 있는 오픈 소스 로그 분석 플랫폼인 Elastic 에서 제공하는 ELK(Elasticsearch Logstash Kibana) 의 K(Kibana)다. 데이터 쿼리 및 분석이 핵심이다. 다양한 방법을 사용해 근본 원인 분석 및 진단을 위해 데이터 내의 특정 이벤트 또는 문자열에 대해 Elasticsearch 에서 인덱싱된 데이터 검색을 제공한다. 이러한 쿼리를 기반으로 차트, 테이블, 지표 등의 다양한 시각화 방식을 통해 데이터를 시각화 할 수 있다. 문제 해결, 포렌식, 개발, 보안 등의 지원은 Kibana 만 제공한다.

Grafana

다양한 데이터 저장소에서 사용할 수 있는 무료 오픈 소스 시각화 도구다. 일반적으로 Graphite, InfluxDB, Prometheuse, Elasticsearch 와 함께 사용된다. Kibana 가 제공하지 않았던 메트릭에 대한 지원을 제공하려고 했기 때문에 CPU Memory, Disk Input/Output, 사용률 등의 메트릭스 지표를 시각화하는데 특화되어 있다.

위의 두 시각화 도구는 사용 목적에 따라 차이점이 생긴다. 따라서 본인이 시각화하고자 하는 로그에 대해 정의를 내리고, 그것에 가장 적합한 시각화 도구를 적용하는 것이 좋다.

결론

개발자는 로깅과 언제나 함께한다. 그렇다면 로깅을 분석하고 활용해 나가는 것은 개발자의 숙제라고 생각한다. 아는 것이 힘이라는 말이 있듯이 정확한 정보를 빠르게 알아가는 것은 더욱이 21세기에 매우 중요하다. 수집한 로그를 분석하고 나아가서 시각화까지 하는 연습을 하는 것은 분명 개발자와 주변 사람들에게 큰 도움이 되리라 생각한다.