{"componentChunkName":"component---src-templates-post-template-jsx","path":"/works/posts/2020-12-31--002","result":{"data":{"site":{"siteMetadata":{"title":"Blog by Eunyoung","subtitle":"작업 기록 블로그","copyright":"© All rights reserved.","author":{"name":"EunYoung","twitter":"#"},"disqusShortname":"","url":"https://ssongey.github.io"}},"markdownRemark":{"id":"a190f00d-67dc-57df-bda9-17b9351640f7","html":"

팀에서 서비스하고 있는 제품 중, 아이맘 택시 서비스에서 아래와 같은 현상이 발생 되었다.
\n당시, 해당 프로세스의 메모리 사용량이 8G를 넘고 있었고(평균 1G), CPU 사용량도 90% 이상이 넘고 있었다.

\n\n
\n\n
\n

#1. 모니터링 스크립트 만들기

\n

#1.1. 사용 리소스 모니터링

\n\n
#!/bin/bash\n\nLOG=log_res_mn\nwhile [ true ]\ndo\n\n        echo `echo \\[;date;echo \\]` >> $LOG\n        echo `echo netstat 8000 cnt \\[;netstat -na | grep 8000 | wc -l;echo \\];` >> $LOG\n        echo `echo netstat 3306 cnt \\[;netstat -na | grep 3306 | wc -l;echo \\];` >> $LOG\n        ps -eo pid,rss,size,vsize,pmem,pcpu,time,cmd --sort -rss | grep NAMU | head -n 1 >> $LOG\n        #ps -eo pid,rss,size,vsize,pmem,pcpu,time,cmd --sort -rss | head -n 5 >> $LOG\n        echo ------------------------------------------------------------------------ >> $LOG\n        sleep 1;\ndone;
\n

#1.2. 해당 프로세스 PID의 메모리 사용 내용

\n\n
#!/bin/bash\n\nLOG=log_mn_jvm\nwhile [ true ]\ndo\n        PID=`sudo jps -v | grep "\\-Xmx2048m" | awk '{print $1}'`\n        echo `echo \\[;date;echo \\]` >> $LOG\n        sudo jmap -histo:live $PID | head -n 10 >> $LOG\n        echo ------------------------------------------------------- >> $LOG\n        sleep 5;\ndone;
\n
\n

#2. 모니터링 결과

\n

** 해당 결과는 새벽에 오류 재연을 한 것이므로 오류 상황보다 CPU 점유율이 낮게 나왔다. **

\n

#2.1. 오류 발생 전

\n\n
\n