서비스 시점이 다가오면서 열심히 개발한 서비스에 대한 관리는 어떻게 할것인가에 대한 고민이 생겼습니다. 일단 어떤 항목을 우선순위로 관리를 할 것인지에 대한 고민부터 시작하였습니다. Feedly에서 아래 글을 보게 되어 참고하였습니다.


https://indexoutofrange.com/Choosing-centralized-logging-and-monitoring-system/

=> 대부분 상용 서비스(Saas)를 비교하였고 글쓴이의 요구사항에 맞춰서 선택기준을 제시하고 있습니다.


Google Analytics vs. ELK +Graphite/Grafana vs. NewRelic vs. Retrace vs. Application Insights vs. Raygun vs. Datadog


저의 요구사항 우선순위는 아래와 같습니다.

1. 커스터마이징

2. 중앙에서 로그 관리

3. 알람

4. 서버의 성능 카운터

5. 실시간 모니터링

=> 아무래도 모니터링과 관련된 부분이다 보니 성능보다는 기능이나 수정이 용이한지가 더 중요하게 생각됩니다.


그러던 중에 아래의 OneTrueError라는 오픈 소스를 알게 되었고 대부분 제가 생각하는 요구사항을 만족하였습니다.


https://www.codeproject.com/Articles/1126297/OneTrueError-Automated-exception-handling


기술검토를 하기 전에 혹시 더 좋은 건 없나 찾아보던 중에 Opserver라는 Stack Exchange에서 사용하는 모니터링 시스템을 보게 되었습니다.


https://github.com/opserver/Opserver


 Opserver is a monitoring system by the team at Stack Exchange, home of Stack Overflow. It is a tool for monitoring:

  • Servers/Switches & anything supported by Bosun, Orion, or direct WMI monitoring
  • SQL Clusters & Single Instances
  • Redis
  • Elasticsearch
  • Exception Logs (from StackExchange.Exceptional)
  • HAproxy
  • PagerDuty
  • CloudFlare DNS
  • ... and more as we go

=> DB 서버에 대한 모니터링도 제공해주고 차후에 적용할 Redis, HAProxy, Elasticsearch에 대한 모니터링 기능도 지원이 가능하며 .NET으로 만든 오픈소스라 커스터마이징도 유용할 것으로 보였습니다.


Opserver에서 사용한 오픈소스 리스트는 아래와 같습니다.

StackExchange.Redis by Marc Gravell

Dapper by Stack Exchange

JSON.Net by James Newton-King

MiniProfiler by Stack Exchange

StackExchange.Exceptional by Nick Craver

TeamCitySharp by Paul Stack

d3.js by Michael Bostock

ColorBrewer by Cynthia Brewer and Mark Harrower

HTML Query Plan by Justin Pealing

isotope by Metafizzy

jQuery by The jQuery Foundation

jQuery cookie plugin by Klaus Hartl

jQuery autocomplete by Jörn Zaefferer

prettify by Google

TableSorter by Christian Bach

Toastr by John Papa and Hans Fjällemark

=> 저희 프로젝트에서 사용하고 있는 오픈소스인 Dapper, StackExchange.Redis, JSON.NET 등등이 보이고 HTML Query Plan이 보이는 것으로 봐서는 SQL Server에서 제공해주는 쿼리 플랜까지 제공해주는 것으로 보입니다.

=> Exceptional을 통해서 DB에 로그 데이터를 쌓고 해당 로그를 화면에서 보여주는 방식입니다.


Opserver SQL탭에 대한 화면은 아래와 같습니다.


추가적으로 아래와 같은 기능이 필요할 것으로 보입니다.

1. WMI를 활용하여 프로세스 단위로 모니터링

2. 알람 => 실시간 모니터링이 가능하지만 계속 화면을 보고 있을수는 없으므로 중요한 내용에 대한 알람이 필요해보이는데 알람 기능은 없는 것으로 보입니다.

Opserver에서 참조 중인 StackExchange.Exceptional에 메일 발송 기능이 있습니다. 다만 CPU가 Warning, Critical 상태일 경우의 발송이 되는 것은 아니고 Exceptional을 통해서 로그를 남기는 부분에 대한 메일 발송 기능입니다. (2017-08-19)


검토 단계여서 기능 위주로 확인해보았으며 소스 분석을 통해서 구조나 추가 기능을 구현해보려고 합니다. 혹시 비슷한 고민을 하고 계시는 분들이 있으시다면 Opserver 한번 검토해보세요. ㅎㅎ

Posted by resisa