VictoriaLogs 클러스터 + OpenTelemetry 폐쇄망 트러블슈팅: 포트·vmauth·k8s 필드·로그 레벨 총정리

공식 문서대로 했는데 안 되는 지점이 유독 많은 조합이 VictoriaLogs 클러스터 + OpenTelemetry입니다. 대부분은 공식 예시가 single-node 기준이라 cluster에서 포트·경로·라우팅이 어긋나거나, OTel의 processor를 정의만 하고 pipeline에 등록하지 않아 조용히 무시되는 데서 옵니다. 이 글은 폐쇄망 멀티클러스터(dev/stg/prod + 중앙 mgmt)에 로그 스택을 세우며 실제로 막혔던 문제들을 증상 → 원인 → 해결 형태로 모았습니다. 이 시리즈의 백엔드편·설치편을 먼저 세운 뒤, 실제 운영에서 부딪히는 함정을 정리하는 마지막 편입니다.

전제 환경: K8s 멀티클러스터(노드 20+), VictoriaLogs는 cluster 모드로 mgmt에 구축, 수집은 OTel Collector(Agent DaemonSet + Gateway Deployment), 전송은 otlphttp(HTTP), env 라벨로 클러스터 구분, 폐쇄망(이미지·차트 버전 고정).

🔌 1. 포트 혼란: single은 9428, cluster는 9481·9471·8427 #

증상: 공식 OpenTelemetry 적재 가이드대로 http://<host>:9428/insert/opentelemetry/v1/logs로 보냈는데 전송이 안 되거나 연결이 거부됩니다.

원인: 그 9428은 single-node 예시입니다. single-node는 모든 기능이 포트 하나(9428)에 통합돼 있지만, cluster 모드는 컴포넌트별로 포트가 분리됩니다. single 문서를 보고 cluster에 9428로 적재를 시도하면 닿지 않습니다.

해결: 자기 구성이 cluster면 적재는 vmauth(8427) 경유가 표준이고, vmauth 없이 vlinsert(9481) 직결도 가능합니다. vlinsert는 OpenTelemetry·Elasticsearch·Loki·Syslog 등 모든 적재 프로토콜을 이 포트에서 받습니다.

endpoint vs logs_endpoint — 경로 자동완성 차이 #

포트를 맞춰도 경로에서 또 막힙니다. otlphttp exporter는 어떤 키를 쓰느냐에 따라 /v1/logs를 자동으로 붙이기도, 안 붙이기도 합니다.

💡 otlphttp는 HTTP, otlp는 gRPC입니다. exporter 이름 뒤의 /victorialogs 같은 건 별칭일 뿐 타입과 무관합니다(타입은 앞부분 otlphttp/otlp로 갈립니다).

🚦 2. vmauth 400: url_prefix 경로 중복 #

증상: vlinsert(9481)로 직접 보내면 되는데, vmauth(8427) 경유로 보내면 400이 납니다.

원인: vmauth는 프록시이고, url_map의 url_prefix는 들어온 경로를 prefix 뒤에 그대로 이어 붙입니다. 그래서 url_prefix 끝에 /insert를 넣으면 경로가 중복됩니다.

1url_prefix: http://<vlinsert>:9481/insert
2들어온 경로:                      /insert/opentelemetry/v1/logs
3실제 요청:  http://<vlinsert>:9481/insert/insert/opentelemetry/v1/logs  → 400

조회도 마찬가지로 .../select/select/logsql/query가 되어 실패합니다.

해결: url_prefix에는 포트까지만 적고, 끝에 /insert·/select를 붙이지 않습니다. 경로 구분은 src_paths로 합니다.

1unauthorized_user:
2  url_map:
3    - src_paths:
4        - "/insert/.*"
5      url_prefix: http://<vlinsert-svc>:9481   # 끝에 /insert 붙이지 않음
6    - src_paths:
7        - "/select/.*"
8      url_prefix: http://<vlselect-svc>:9471   # 끝에 /select 붙이지 않음

💡 /insert.*처럼 슬래시 없이 써도 정규식상 동작하지만, /insert/.*가 더 엄밀하고 안전합니다.

🚫 3. -select.disable 에러: 조회가 vlinsert로 잘못 라우팅 #

증상: vmui나 Grafana에서 조회가 안 되고 다음 에러가 뜹니다.

1requests to /select/* are disabled with -select.disable command-line flag

원인: url_map에 포괄 규칙 하나(src_paths: ["/.*"])만 두고 전부 vlinsert로 보내면, 조회(/select/*) 요청까지 vlinsert로 갑니다. cluster에서는 차트가 vlinsert에 -select.disable을, vlselect에 -insert.disable을 기본으로 자동 주입합니다(정상 동작). 그래서 조회가 vlinsert에 도달하면 이 플래그에 걸려 거부됩니다.

해결: 앞의 2번처럼 url_map을 /insert/.* → vlinsert, /select/.* → vlselect로 분리합니다. vlinsert에 -select.disable이 있는 것 자체는 정상입니다 — 이 에러는 “vlinsert에 문제가 있다"가 아니라 **“조회 요청이 엉뚱한 컴포넌트로 라우팅됐다”**는 신호로 읽어야 합니다.

1# vlinsert에 select.disable이 있는지 확인 (있는 게 정상)
2kubectl -n <ns> get pod <vlinsert-pod> -o yaml | grep -A20 args

📁 4. hostPath·hostPort와 Kyverno Audit 모드 #

증상 A — hostPath 금지 경고인데 배포는 됨 #

OTel Agent(DaemonSet)가 노드 로그(/var/log/pods)를 읽으려면 **hostPath 마운트(readOnly)**가 필요합니다. 그런데 설치 시 이런 경고가 뜹니다.

1HostPath volumes are forbidden ... spec.volumes[*].hostPath must be unset

원인: hostPath를 금지하는 Kyverno 정책(예: disallow-host-path)입니다. 다만 정책이 Audit 모드면 경고·리포트만 남기고 배포는 막지 않습니다.

진단:

1# 정책 모드 확인 (Audit면 경고만, Enforce면 차단)
2kubectl get clusterpolicy <name> -o yaml | grep validationFailureAction
3# 예외가 등록돼 있는지 (없으면 No resources)
4kubectl get policyexception -A

해결: Audit 모드 + 예외 없음이면 기능은 정상이므로 경고는 무시해도 됩니다. 다만 PolicyReport에 위반 기록이 쌓이고, 나중에 Enforce로 바뀌면 차단됩니다. 정공법은 readOnly hostPath를 PolicyException으로 반영하는 것입니다(네임스페이스·경로·readOnly 한정). 구두 승인만으로는 정책에 반영돼 있지 않을 수 있으니 실제 리소스로 등록을 요청하세요.

증상 B — hostPort가 계속 렌더링됨 #

로그 수집에 hostPort는 불필요한데, values에서 -1/0/삭제를 시도해도 차트가 계속 hostPort를 넣습니다.

원인: 차트 버전에 따라 ports 렌더링 템플릿이 hostPort를 무조건 렌더링합니다.

해결(권장 순):

1. hostPort를 만드는 preset을 끄기.
2. values의 ports 섹션에서 hostPort 키 자체를 제거(값을 0으로 두는 게 아니라 키를 없앰).
3. 출처를 확인하고, values로 안 되면 post-render(kustomize)로 제거(업그레이드에도 유지).

1# hostPort가 어디서 나오는지 출처 확인
2helm template <release> <chart> -f values.yaml | grep -B3 -A3 hostPort

⚠️ 차트 templates/_config.tpl에서 hostPort를 강제로 0/제거하는 건 차트 업그레이드 시 사라지는 임시방편입니다. 정착 방법으로는 위 (1)~(3)을 쓰세요.

🏷️ 5. k8s 필드가 하나도 안 들어온다: container operator 필요 #

증상: presets.kubernetesAttributes: true인데도 VictoriaLogs 대시보드에 k8s.namespace.name·k8s.pod.name 같은 필드가 하나도 없습니다.

원인: k8sattributes processor 혼자서는 k8s 필드를 못 만듭니다. 메타데이터는 두 단계로 붙습니다.

1. filelog의 container operator + include_file_path: true — 로그 파일 경로(/var/log/pods/<namespace>_<pod>_<uid>/<container>/*.log)에서 namespace·pod·container 기본 필드를 추출합니다. 이게 없으면 애초에 pod 정보 자체가 안 생깁니다.
2. k8sattributes processor — 위에서 만들어진 pod 정보를 기준으로 Kubernetes API에 질의해 labels·annotations를 보강합니다.

즉 container operator가 먼저 “무엇에 대해 물어볼지"를 만들어야 k8sattributes가 동작합니다. 순서가 핵심입니다.

해결: filelog에 두 가지를 반드시 넣습니다.

 1config:
 2  receivers:
 3    filelog:
 4      include: [/var/log/pods/*/*/*.log]
 5      include_file_path: true          # ① 경로를 로그에 부착 (없으면 파싱 불가)
 6      operators:
 7        - type: container              # ② 경로에서 namespace/pod/container 추출
 8  processors:
 9    k8sattributes:
10      auth_type: serviceAccount        # SA 토큰으로 API 인증 (차트가 RBAC 자동 생성)
11      passthrough: false               # true면 API 호출을 안 해 labels가 안 붙음
12      extract:
13        metadata:
14          - k8s.namespace.name
15          - k8s.pod.name
16          - k8s.node.name
17          - k8s.container.name
18      filter:
19        node_from_env_var: K8S_NODE_NAME   # 자기 노드 pod만 watch (API 부하 감소)

k8sattributes 옵션 요점:

• passthrough: false가 기본이자 정답입니다. true면 API 질의를 건너뛰어 labels가 비어 옵니다.
• filter.node_from_env_var: K8S_NODE_NAME를 빼면 노드마다 전체 클러스터 pod를 watch해 API 서버 부하가 노드 수만큼 폭증합니다. K8S_NODE_NAME은 차트가 downward API(spec.nodeName)로 자동 주입하므로 별도 정의가 필요 없습니다.
• RBAC는 kubernetesAttributes preset이 최소 권한으로 자동 생성합니다. 수동으로 만들 필요가 없고, 프리셋 범위를 넘는 스코프를 원할 때만 추가로 부여합니다.

📊 6. VictoriaLogs는 폴더가 아니라 스트림 필드로 분류한다 #

증상: 저장 디렉터리를 열어봤더니 날짜별로만 나뉘어 있고, 네임스페이스·파드별 폴더 구성이 없습니다.

원인이자 개념: VictoriaLogs는 디렉터리 계층으로 분류하지 않습니다. 물리 저장은 날짜 파티션(day partition, YYYYMMDD) 단위이고, 네임스페이스·파드·클러스터 구분은 폴더가 아니라 **스트림 필드(stream fields)**로 합니다. 날짜를 물리 단위로 두는 이유는 retention(오래된 로그 삭제)을 날짜 통째로 지워 빠르게 처리하기 위해서입니다.

스트림 필드 vs 일반 필드 #

• 스트림 필드로 지정된 값들은 독립 필드가 아니라 _stream이라는 하나의 묶음 안에 들어갑니다. 예: _stream = {env="mgmt", k8s.namespace.name="kube-system", k8s.pod.name="..."}
• 스트림 필드가 아닌 나머지는 일반(독립) 필드로 저장되어, stats by ("필드명")으로 바로 그룹핑할 수 있습니다.
• 그래서 스트림 필드를 stats by ("k8s.namespace.name")로 직접 그룹핑하려 하면 빈 결과가 납니다(묶여 있어서). _stream으로 집계한 뒤 extract로 값을 꺼내야 합니다(7번 참고).

⚠️ 기본값 주의: VictoriaLogs는 OTLP 리소스 라벨을 전부 스트림 필드로 취급합니다. 그대로 두면 trace_id처럼 고유값이 큰 필드까지 스트림에 들어가 카디널리티가 폭증합니다. 그래서 적재 시 VL-Stream-Fields로 스트림 필드를 제한하는 게 권장됩니다.

1exporters:
2  otlphttp/victorialogs:
3    endpoint: http://<vlinsert-svc>:9481/insert/opentelemetry   # /v1/logs 자동 부착
4    headers:
5      VL-Stream-Fields: "env,k8s.namespace.name,k8s.pod.name"    # 스트림 필드 제한

💾 7. 네임스페이스·클러스터별 로그 용량 산정 (block_stats) #

증상: _size 필드로 용량을 보려니 NaN이 나옵니다.

원인: _size 필드는 존재하지 않습니다. 실제 압축된 디스크 사용량은 block_stats pipe로 봅니다 — values_bytes(로그 값) + bloom_bytes(블룸 필터 인덱스)의 합이 물리 저장량입니다. 디스크 용량은 저장소만 아는 값이라 OTel이 아니라 VictoriaLogs 쿼리로 산정하는 게 맞습니다(OTel은 압축 전 통과 데이터만 봅니다).

기본 — 스트림별 용량:

1_time:7d | block_stats
2| stats by (_stream) sum(values_bytes) as v, sum(bloom_bytes) as b
3| math (v+b)/1024/1024/1024 as total_gb
4| sort by (total_gb desc)

⚠️ 반드시 시간 필터(_time:7d 등)로 범위를 좁히세요(안 그러면 전체 스캔). 점(.)이 든 필드명은 따옴표 필수입니다: "k8s.namespace.name".

클러스터(env) 간 네임스페이스 겹침 — 가장 자주 놓치는 함정 #

kube-system, logging 같은 네임스페이스는 dev/stg/prod/mgmt 모든 클러스터에 존재합니다. 네임스페이스 이름만으로 그룹핑하면 여러 클러스터의 같은 이름 네임스페이스가 한 덩어리로 합쳐져 클러스터 구분이 안 됩니다. 스트림 필드는 _stream에 묶여 있으므로, extract로 값을 꺼내 재집계해야 합니다.

env + 네임스페이스 조합(클러스터별로 구분 — 권장):

1_time:7d | block_stats
2| stats by (_stream) sum(values_bytes) as v, sum(bloom_bytes) as b
3| math (v+b) as total_bytes
4| extract 'env="<envval>"' from _stream
5| extract 'k8s.namespace.name="<ns>"' from _stream
6| stats by (envval, ns) sum(total_bytes) as bytes
7| math bytes/1024/1024/1024 as total_gb
8| fields envval, ns, total_gb
9| sort by (total_gb desc) | limit 30

extract '패턴="<추출변수>"' from _stream 패턴이 핵심입니다. env·namespace를 둘 다 꺼내 stats by (envval, ns)로 묶으면 결과가 prod/kube-system, dev/kube-system처럼 클러스터별로 분리됩니다.

특정 클러스터 고정 후 네임스페이스별(리포트·파이차트에 깔끔):

1_time:7d {env="prod"} | block_stats
2| stats by (_stream) sum(values_bytes) as v, sum(bloom_bytes) as b
3| math (v+b) as total_bytes
4| extract 'k8s.namespace.name="<ns>"' from _stream
5| stats by (ns) sum(total_bytes) as ns_bytes
6| math ns_bytes/1024/1024/1024 as total_gb
7| fields ns, total_gb
8| sort by (total_gb desc) | limit 15

앞에 {env="prod"} 스트림 필터로 클러스터 하나를 고정하면, 파이차트 라벨이 kube-system처럼 짧아 보기 좋습니다(클러스터별로 패널을 분리).

특정 네임스페이스 제외(스캔 전 제거라 효율적):

1_time:7d {"k8s.namespace.name"!="kyverno-system"} | block_stats
2| stats by (_stream) sum(values_bytes) as v, sum(bloom_bytes) as b
3| math (v+b) as total_bytes
4| extract 'k8s.namespace.name="<ns>"' from _stream
5| stats by (ns) sum(total_bytes) as ns_bytes
6| math ns_bytes/1024/1024/1024 as total_gb
7| fields ns, total_gb | sort by (total_gb desc) | limit 15

여러 개 제외는 {"k8s.namespace.name"!="kyverno-system", "k8s.namespace.name"!="kube-system"}처럼 쉼표(AND)로 나열합니다.

날짜별 추이(시간 범위 조정이 아니라 시간 버킷 그룹핑):

1_time:30d | block_stats
2| stats by (_stream, _time:1d) sum(values_bytes) as v, sum(bloom_bytes) as b
3| math (v+b) as total_bytes
4| extract 'k8s.namespace.name="<ns>"' from _stream
5| stats by (ns, _time:1d) sum(total_bytes) as bytes
6| math bytes/1024/1024/1024 as total_gb
7| sort by (_time)

💡 파드별로 보면 재생성 때마다 이름이 바뀌어 같은 앱이 여러 줄로 쪼개집니다. 앱 단위로 보려면 k8s.deployment.name이나 app 라벨로 그룹핑하세요.

Grafana _time override 경고 #

쿼리에 _time:7d를 넣으면 Grafana가 “time range is overridden by the query _time filter” 경고를 냅니다. 에러가 아니라, 쿼리의 _time이 대시보드 시간 선택보다 우선한다는 안내입니다. 대시보드 시간 선택을 쓰려면 쿼리에서 _time을 빼고, 고정 기간 리포트라면 _time:7d를 넣고 경고를 무시하면 됩니다.

🔤 8. 평문·klog 로그 레벨 구분: OTel에서 파싱한다 #

증상: “로그를 error/warn/info로 구분해달라"는 요청을 받았는데, 앱이 평문만 보내 레벨 정보가 없습니다.

원인: VictoriaLogs는 로그 레벨을 자동으로 알지 못합니다. OTel 수집 단계에서 파싱해 level 필드로 만들어야 Grafana에서 구분됩니다. 문제는 앱마다 로그 포맷이 다르고, 포맷별로 파싱 방식이 다르다는 점입니다.

해결의 핵심은 우선순위입니다 — 구조화 파싱(앱이 명시한 level)을 먼저 쓰고, 안 되는 것만 추정합니다: 구조화 level → klog 첫 글자 → 평문 키워드 → unknown.

① filelog에서 JSON·logfmt 먼저 파싱(추측이 아니라 정확 추출):

 1receivers:
 2  filelog:
 3    include: [/var/log/pods/*/*/*.log]
 4    include_file_path: true
 5    operators:
 6      - type: container
 7      - type: json_parser
 8        if: 'body matches "^\\{"'          # { 로 시작하면 JSON
 9        parse_from: body
10      - type: key_value_parser
11        if: 'body matches "level="'         # level= 이 있으면 logfmt
12        parse_from: body
13        delimiter: "="
14        pair_delimiter: " "

② transform으로 정규화·추정:

 1processors:
 2  transform/loglevel:
 3    log_statements:
 4      - context: log
 5        statements:
 6          # 0) 다른 필드명(severity/lvl 등)을 level로 통일
 7          - set(attributes["level"], attributes["severity"]) where attributes["level"] == nil and attributes["severity"] != nil
 8          - set(attributes["level"], attributes["lvl"]) where attributes["level"] == nil and attributes["lvl"] != nil
 9          # 1) 이미 있으면 소문자로 정규화 (INFO/Info/info 통일)
10          - set(attributes["level"], ConvertCase(attributes["level"], "lower")) where attributes["level"] != nil
11          # 2) 없으면 klog 첫 글자로 추정
12          - set(attributes["level"], "fatal") where attributes["level"] == nil and IsMatch(body, "^F[0-9]")
13          - set(attributes["level"], "error") where attributes["level"] == nil and IsMatch(body, "^E[0-9]")
14          - set(attributes["level"], "warn")  where attributes["level"] == nil and IsMatch(body, "^W[0-9]")
15          - set(attributes["level"], "info")  where attributes["level"] == nil and IsMatch(body, "^I[0-9]")
16          # 3) 그래도 없으면 평문 키워드 추정 (영문 + 한글)
17          - set(attributes["level"], "error") where attributes["level"] == nil and IsMatch(body, "(?i)(error|exception|fail|panic|실패|오류|에러|예외)")
18          - set(attributes["level"], "warn")  where attributes["level"] == nil and IsMatch(body, "(?i)(warn|deprecated|경고|주의)")
19          # 4) 다 안 되면 판별 불가
20          - set(attributes["level"], "unknown") where attributes["level"] == nil

놓치기 쉬운 포인트:

• 대소문자 정규화 필수: JSON은 INFO, logfmt는 info, 어떤 앱은 Info. ConvertCase(..., "lower")로 통일하지 않으면 Grafana에서 세 값으로 쪼개집니다.
• 필드명 차이: level이 severity·lvl·loglevel로 올 수 있어, 여러 후보를 level로 옮기는 규칙을 먼저 둡니다.
• OTTL nil 비교: “값이 있을 때"는 != nil, “없을 때"는 == nil을 명시적으로 씁니다. 값이 있으면 정규화하고, == nil일 때만 추정 규칙이 적용되도록 각 추정 규칙에 == nil을 붙입니다.
• 한계: 단서 없는 평문은 판별 불가(unknown)이고 키워드 오탐도 가능합니다(“error 처리 정상"이 error로 분류). 근본 해결은 앱의 JSON 구조화 로깅이며, unknown 비율이 곧 “앱 로깅 개선 필요량"의 근거가 됩니다.

🚨 가장 흔한 실수: transform/loglevel을 processors: 아래 정의만 하고 pipeline에 등록하지 않으면 아무 일도 일어나지 않습니다. 다음 9번을 반드시 지키세요.

🧹 9. processor는 pipeline에 등록해야 동작한다 + 네임스페이스 제외 #

processor 정의 ≠ 동작 #

OTel에서 processors: 아래 정의는 “이런 processor가 있다"는 선언일 뿐입니다. service.pipelines.<signal>.processors 리스트에 이름을 넣어야 실제로 그 파이프라인을 통과합니다. 그리고 나열 순서 = 실행 순서입니다.

1service:
2  pipelines:
3    logs:
4      receivers: [filelog]
5      processors: [k8sattributes, transform/loglevel, batch]   # ← 여기 등록해야 동작
6      exporters: [otlphttp/victorialogs]

• 관례: memory_limiter는 맨 앞, batch는 맨 뒤. 그 사이에 k8sattributes → transform → filter 순.
• 순서 이유: k8sattributes(메타데이터 부착) → transform/loglevel(레벨 파싱) → batch(전송 직전 묶기).

수집 안 할 네임스페이스 제외 — 두 가지 방법 #

방법 A — filelog exclude (로그 경로가 <namespace>_* 형태라 네임스페이스별 제외 가능):

1receivers:
2  filelog:
3    include: [/var/log/pods/*/*/*.log]
4    exclude:
5      - /var/log/pods/kube-system_*/*/*.log
6      - /var/log/pods/kyverno-system_*/*/*.log
7    include_file_path: true
8    operators:
9      - type: container

방법 B — filter processor (pipeline 등록 필수, k8sattributes 뒤에):

1processors:
2  filter/exclude_ns:
3    logs:
4      exclude:
5        match_type: strict
6        resource_attributes:
7          - key: k8s.namespace.name
8            value: kube-system

이때 pipeline은 [k8sattributes, filter/exclude_ns, transform/loglevel, batch] 순서가 됩니다.

🧩 10. VL-* 적재 헤더 종류 #

VL-Stream-Fields 외에도 적재를 제어하는 HTTP 헤더가 여럿 있습니다. 모든 HTTP 기반 적재 프로토콜이 지원하며, 각 헤더는 HTTP query arg 형태로도 쓸 수 있습니다(query arg가 헤더보다 우선).

⚠️ VL-Stream-Fields에 빈 항목(foo,,bar처럼 연속 쉼표)이 있으면, 예기치 않게 _msg가 스트림 필드에 추가되어 스트림 수가 폭증할 수 있습니다. 값에 빈 항목이 없도록 주의하세요.

🔎 11. 디버깅: 필드·스트림 확인 한 줄 #

무엇이 스트림 필드(_stream에 묶임)이고 무엇이 독립 필드인지 헷갈릴 때는, 로그 한 건을 통째로 봅니다.

1_time:5m | limit 1

_stream 안에 들어간 값들이 스트림 필드, 바깥에 있는 것이 일반 필드입니다. 앞선 stats by (...)가 빈 결과를 낸다면 대상이 스트림 필드였을 가능성이 큽니다(7번의 extract 패턴으로 해결).

폐쇄망에서 Grafana VictoriaLogs 플러그인을 수동 설치하다 “permission denied plugin backend"를 만난다면, 백엔드 플러그인 바이너리에 실행 권한(+x)이 없어서입니다. 커스텀 이미지로 플러그인을 포함하거나 init container로 +x를 부여하세요. 자세한 절차는 폐쇄망 VictoriaLogs Grafana 플러그인 설치편에 정리돼 있습니다.

❓ 자주 묻는 질문 #

Q. cluster인데 9428로 보내도 되나요? 안 됩니다. 9428은 single-node 전용입니다. cluster는 적재 vlinsert 9481 또는 vmauth 8427, 조회 vlselect 9471 또는 vmauth 8427을 씁니다.

Q. -select.disable 에러는 vlinsert를 고쳐야 하나요? 아닙니다. vlinsert에 이 플래그가 있는 건 정상입니다. 조회 요청이 vlinsert로 잘못 라우팅된 것이니 vmauth url_map을 /select/.* → vlselect로 분리하면 됩니다.

Q. k8sattributes만 켰는데 왜 네임스페이스가 안 붙나요? filelog의 container operator + include_file_path: true가 먼저 경로에서 기본 필드를 만들어야 합니다. k8sattributes는 그 위에 API로 labels를 보강할 뿐입니다.

Q. 로그 레벨 규칙을 만들었는데 반영이 안 돼요. transform/loglevel을 service.pipelines.logs.processors 리스트에 등록했는지 확인하세요. processors: 아래 정의만으로는 동작하지 않습니다.

Q. 네임스페이스별 용량이 여러 클러스터에서 합쳐져요. kube-system 같은 네임스페이스는 모든 클러스터에 있습니다. env를 함께 extract해 stats by (envval, ns)로 조합하거나, {env="prod"}로 클러스터를 고정하세요.

📚 참고 #

• VictoriaLogs — Cluster
• VictoriaLogs — Data Ingestion (HTTP 헤더 목록)
• VictoriaLogs — Data Ingestion: OpenTelemetry
• VictoriaLogs — Key Concepts (스트림 필드)
• VictoriaLogs — LogsQL
• VictoriaLogs — FAQ (block_stats 디스크 용량)
• vmauth — VictoriaMetrics
• OpenTelemetry Collector — filelog receiver container 파서
• 시리즈 관련 글: 백엔드편(VictoriaLogs 클러스터 구축) · 설치편(OTel Collector Helm) · 멀티클러스터 중앙집중