{"componentChunkName":"component---src-templates-post-template-jsx","path":"/works/posts/2023-01-29--001","result":{"data":{"site":{"siteMetadata":{"title":"Blog by Eunyoung","subtitle":"작업 기록 블로그","copyright":"© All rights reserved.","author":{"name":"EunYoung","twitter":"#"},"disqusShortname":"","url":"https://ssongey.github.io"}},"markdownRemark":{"id":"466e1688-070e-5674-a5fe-75ab01cdf559","html":"

이번에 내가 담당하고 있던 한 서비스를 PM장비에서 K8S로 이전하는 작업을 진행하게 됐는데,
\n해당 서버가 출력하고 있던 로그 사이즈가 16k 가 넘어버려서 로그가 제대로 ES에 적재되지 못하는 이슈가 발생했다.
\n이에 fluentd concat plugin 을 적용한 내용을 기록한다.

\n
\n
\n

Docker는 16k 버퍼에서 로그메시지를 받고 있기 때문에 기본적으로 16kb를 초과하는 로그 메시지를 분할한다.
\n때문에 로그가 16kb가 초과했을 경우 아래와 같이 다음줄에 이어서 로그가 출력된다.

\n
k8s 환경의 container 로그\n\n2023-05-29T17:31:12.139673797+09:00 stdout F {\"log_index_type\":\"stat\",\"request\": {...,\"service_id\":\"service-A\"\n2023-05-29T17:31:12.139673797+09:00 stdout F \"service_name:\":\"서비스에이\"},\"response\":{..}}, request_uuid: \"TEST-01\"}
\n
\n

우리 부서에서는 로그 수집기로 Fluentd 를 사용하고 있었고, 관련 plugin 을 찾아보니 fluent-plugin-concat 이 있다는걸 알게되었다.

\n

참고: https://github.com/fluent-plugins-nursery/fluent-plugin-concat

\n
\n

1. fluent-plugin-concat 을 추가한 docker file 작성

\n\n
## v1.16.1-debian-kafka2-1.2_plugin_concat.Dockerfile\nFROM fluentd-kubernetes-daemonset:v1.16.1-debian-kafka2-1.2\n\n# Install concat plugin\nRUN gem install fluent-plugin-concat\n\n# Environment variables\nENV FLUENTD_OPT=\"\"\nENV FLUENTD_CONF=\"fluent.conf\"\n\n# Overwrite ENTRYPOINT to run fluentd as root for /var/log / /var/lib\nENTRYPOINT [\"tini\", \"--\", \"/fluentd/entrypoint.sh\"]
\n
\n

2. 어플리케이션 로깅 수정

\n\n
k8s 환경의 container 로그\n\n2023-05-29T17:31:12.139673797+09:00 stdout F {\"log_type\":\"stat\",\"request\": {...,\"service_id\":\"service-A\"\n2023-05-29T17:31:12.139673797+09:00 stdout F ...,\"log_end\":\"\"}\n2023-05-29T17:31:12.139673797+09:00 stdout F {\"log_type\":\"stat\",...,\"log_end\":\"\"}
\n
\n

3. config 설정

\n\n
## fluentd.conf\n\n# 데이터가 위 예시와 같은 포맷으로 들어올때의 input과 parse 설정\n<source>\n  @type                           http\n  port                            9880\n  bind                            0.0.0.0\n  <parse>\n    @type                         regexp\n    expression                    /^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<flags>[^ ]+) (?<log>.*)$/\n  </parse>\n</source>\n\n#multiline start&end regexp\n<filter **>\n  @type                           concat\n  key                             log\n  separator                       \"\"\n  multiline_start_regexp          /^{\\\"log_type/\n  multiline_end_regexp            /log_end\\\":\\\"\\\"}$/\n</filter>\n\n<match **>\n  @type stdout\n</match>
\n
\n

4. 도커파일 빌드 후 실행

\n\n
$ docker build -t fluentd-kubernetes-daemonset:v1.16.1-debian-kafka2-1.2-with_concat_plugin -f v1.16.1-debian-kafka2-1.2_plugin_concat.Dockerfile .\n\n$ docker run --name fluentd \\\n\t-p 9880:9880 \\\n\t-v $(pwd)/fluentd.conf:/fluentd/etc/fluentd.conf \\\n\t-e FLUENTD_CONF=fluentd.conf \\\n\tfluentd-kubernetes-daemonset:v1.16.1-debian-kafka2-1.2-with_concat_plugin
\n
\n

5. 테스트

\n\n
# test1.text\n2023-05-29T17:31:12.139673797+09:00 stdout F {\"log_type\":\"stat\",\"phase\":\"beta\"
\n
# test2.text\n2023-05-29T17:31:12.139673797+09:00 stdout F \"level\":\"INFO\",\"log_end\":\"\"}
\n
\n\n
curl -X POST \"http://127.0.0.1:9880/sample.test\" -d @test1.text
\n\n
curl -X POST \"http://127.0.0.1:9880/sample.test\" -d @test2.text
\n

\n \n \n \n \n \n \n \n \n \n

","fields":{"tagSlugs":["/tags/docker/","/tags/fluentd/"],"slug":"/works/posts/2023-01-29--001"},"frontmatter":{"title":"docker 로그 사이즈 16k limit 에 따른 조치","tags":["docker","fluentd"],"date":"2023-01-29","description":"fluent-concat-plugin"}}},"pageContext":{"slug":"/works/posts/2023-01-29--001"}},"staticQueryHashes":[]}