{"componentChunkName":"component---src-templates-post-template-jsx","path":"/works/posts/2022-12-09--002","result":{"data":{"site":{"siteMetadata":{"title":"Blog by Eunyoung","subtitle":"작업 기록 블로그","copyright":"© All rights reserved.","author":{"name":"EunYoung","twitter":"#"},"disqusShortname":"","url":"https://ssongey.github.io"}},"markdownRemark":{"id":"f5491a6d-4577-507d-ae3d-63ab05e84252","html":"

이전글)

\n\n

현재글)

\n\n
\n
\n

✔️ 문제 재확인

\n

어플리케이션의 문제는 아닌듯 보여 VM 장비로 포커스를 맞춰 문제를 다시 파악했다.
\n여러 VM의 어플리케이션 로그들을 키바나에서 보고 있어서 몰랐는데, 자세히 보니 특정 패턴이 보였다.
\n각 장비마다 매일 특정 시간대에 connection 에러를 발생시키고 있었다..!!!
\n즉, 1번 워커노드의 서버는 매일 대약 2시쯤, 2번 워커노드의 서버는 매일 대략 3시 반쯤 등 timeout 오류를 발생시키고 있었다.

\n
\n
\n

열심히 인사이트를 찾아보다가 syslog를 확인하게 되었는데,

\n
# syslog 위치 (나는 무슨 문제였는지 몰랐기 때문에 syslog 내용을 확인 하였다.)\n$ ll /var/log/syslog*
\n

아래와 같이 systemd-networkd 에서 eth0: DHCP lease lost 가 발생이 되고 있다는 걸 알게 되었다.

\n

\n \n \n \n \n \n \n \n \n \n

\n

참고) systemd-networkd 로그만 확인하는 방법

\n
$ journalctl -u systemd-networkd
\n
\n
\n

즉!! VM에서 커넥션 종료를 시켰고, 어플리케이션 서버에서는 이를 전혀 감지하지 못하고 dead connection 을 가지고 요청을 수행하려다가  결국 타임아웃 에러가 발생 한 것이다.

\n

\n \n \n \n \n \n \n \n \n \n

\n
\n
\n

Hikari Pool 에서 타임아웃 에러가 발생한 이유는 아래와 같다.

\n
    \n
  1. DB 수행이 필요한 요청이 들어온다.
    2. \n
  2. Connection Pool에서 커넥션을 가져온다.
    3. \n
  3. Hikari CP에서 가져온 커넥션에 대한 validation을 진행한다. 이때, validation timeout은 default로 5초이다.
    4. \n
  4. DHCP lease lost 때문에 dead connection으로 validation에 실패하게 되고(5초 소요)
    5. \n
  5. 해당 커넥션을 종료시키고 다시 2번부터 수행한다. (커넥션을 종료하면 Pool의 개수를 맞추기 위해 hikari 의 housekeeper 스레드에서 새로운 커넥션을 생성하여 pool에 넣는다.)
    6. \n
  6. 2-5번을 반복하며 vaildation을 하는데 시간을 계속 소비하여 available 한 커넥션을 찾지 못하고, 결국 db connetion timout 에러가 발생하게 된다. (기본 db connection timeout 시간은 30초이다. : spring.datasource.hikari.connectionTimeout )
    7. \n
\n

\n \n \n \n