🔥 ELK Stack 에서 Loki 로 전환한 이유

로그 수집 및 조회 기능을 제공하는 시스템을 구축할 때 가장 많이 쓰는 솔루션 중 하나가 바로 ELK Stack 이지 않을까 싶습니다. ELK Stack 은 데이터를 수집, 처리, 조회하는 데 특화되어 있는데요, Elasticsearch 는 강력한 검색 및 쿼리 기능을 제공하여 다양한 조건으로 로그를 검색하고 원하는 데이터를 쉽게 추출할 수 있으며 이를 Kibana 를 통해 시각화 할 수 있습니다. Logstash 는 다양한 데이터 형식을 수집하고 변환할 수 있습니다. 이는 다양한 종류의 로그 및 이벤트 데이터를 효과적으로 처리할 수 있는데요 이러한 장점들 때문에 저희도 ELK Stack 을 사용한 로그 시스템을 쓰고 있었습니다. 하지만 ELK Stack 이 로그 데이터 처리에 중점을 두고 만들어진 솔루션이 아니다보니 사용하면서 몇가지 아쉬운점들이 있었고 이를 개선하고자 Grafana Loki 로 솔루션을 변경하게 되었는데 우아한형제들 기술 블로그에 저희와 비슷한 경험을 한 사례를 발견하게 되어 반가운 마음에 공유드리게 되었습니다. 저희가 Grafana Loki 를 썼을 때 가장 크게 느꼈던 장점은 Storage 비용 감소와 Read, Write Component 를 분리할 수 있어 상황에 맞게 Scale Out 을 할 수 있다는 점이었습니다. 물론 검색 기능이 ElasticSearch 와 비교했을 때 다소 떨어지고 생소한 쿼리문에 대한 러닝 커브가 필요한 단점은 있으나 대부분의 로그 검색 패턴이 복잡한 쿼리를 요구하는건 없다보니 이부분이 크게 문제가 되진 않았습니다. 공유드린 원문 링크에 이에 대한 자세한 내용이 정리되어 있으니 관심있으신 분들께서는 한번 보시면 좋겠습니다. 📚 원문 https://techblog.woowahan.com/14505/