L.O.K

k8s Secret을 Git으로 관리하는 방법

k8s Secret 은 Base64형식으로 민감한 정보가 그대로 노출되어 있어 git에 올려 관리할 수 없지만 한 가지 방법이 있다. Secret을 SealedSecret이라는 CRD로 암호화하여 Git에 올리고 SealedSecret가 배포되면 sealed-secrets 서비스가 SealedSecret 생성을 감지하고 복호화하여 Secret을 생성하여, Secret을 Git으로 관리할 수 있다. sealed-secrets 서비스 K8S 환경에 배포하기 helm repo add bitnami https://charts.bitnami.com/bitnami helm upgrade --install sealed-secrets bitnami/sealed-secrets --namespace sealed-..

아래처럼 ServiceAccount에서 토큰을 추출하면 토큰만료기간이 정해져있어 보안에는 좋지만 관리가 쉽지 않다. # 한시적인 Token 생성 kubectl create token -n --duration=24h 토큰을 영구적으로 사용하려면 kubernetes.io/service-account-token 타입의 Secret을 생성하여 ControlPlane이 etcd에 저장된 Token을 만료시간을 reconciliation 하도록 해야한다. To create a non-expiring, persisted API token for a ServiceAccount, create a Secret of type kubernetes.io/service-account-token with an annotat..

K8s에 떠있는 파드 하나에 내부로 접속해서 resolv.conf 파일을 열어보면 다음과 같다. bash-4.4$ cat /etc/resolv.confsearch mongodb.svc.cluster.local svc.cluster.local cluster.local default.svc.cluster.localnameserver 192.254.25.10options ndots:5 kube-proxy는 svc -> pod 트래픽을 이동시킨다. 그러므로 만약 다른 파드로 트래픽을 보내고 싶다면 svc로 트래픽을 보내면 된다. svc의 도메인과 ip 매핑 정보는 CoreDNS에 저장되어 있는데, DNS 쿼리 성능을 높히기 위해, CoreDNS의 캐시를 가지고 있는 파드를 daemonset으로 배포하는데, ..

이슈 CNPG Cluster 파드에 kube-system, cnpg-system 네임스페이스로 부터 들어오는 트래픽이 8000번 포트로 접근할 수 있도록 허용하는 Network Policy를 적용하였는데, 다음과 같은 에러가 발생하였다. kubectl cnpg status cluster-example-1failed to get status by proxying to the pod, you might lack permissions to get pods/proxy: the server is currently unable to handle the request (get pods https:cluster-example-1-1:8000) 해결결론부터 말하면, ingress로 네임스페이스 뿐가 아니라 calico..

Ingress에서 GatewayAPI로 전환해야 하는 이유는 더이상 kubernetes는 Ingress 관련 추가 기능을 제공하지 않기 때문이다.Ingress is frozen. New features are being added to the Gateway API. https://kubernetes.io/docs/concepts/services-networking/ingress/ 추가 기능을 제공하지 않은 이유는 다음과 같다. Ingress는 Kubernetes-Native하지 못하고 특정 벤더 종속성을 띈다. Ingress 구조 자체가 단순하여 복잡한 기능을 제공하려면 Ingress에 어노테이션을 달아야 하는데, 특정 벤더에 종속된 어노테이션이다보니 k8s 리소스인 Ingress가 특정 벤더 설정으로..

이슈사항 tigera-operator tigera-operator-8bb6c747f-xf6m7 0/1 Evicted 0 3m52stigera-operator tigera-operator-8bb6c747f-xfm2b 0/1 Evicted 0 2m38stigera-operator tigera-operator-8bb6c747f-xfpwm 0/1 Evicted 0 2m7stigera-opera..

https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner GitHub - kubernetes-sigs/nfs-subdir-external-provisioner: Dynamic sub-dir volume provisioner on a remote NFS server.Dynamic sub-dir volume provisioner on a remote NFS server. - kubernetes-sigs/nfs-subdir-external-provisionergithub.com NFS Provisioner를 활용하면, K8S에서 동적으로 NFS 스토리지에 볼륨을 생성할 수 있다. K8S에 Helm으로 NFS Provisioner 배포하기helm..

여러 대의 Kubernetes 클러스터를 운영할 때는 각 클러스터의 컨트롤 플레인에 개별적으로 접속해 kubectl을 실행하기보다, 단일 관리 지점에서 kubectl로 통합 제어하는 방식이 관리 효율성과 보안 측면에서 더 유리하다. kubectl 패키지는 ~/.kube/config 파일에 담긴 인증정보로 Cluster에 접근하는데, 이를 Context 단위로 관리한다. kubectl Context는 두 가지 정보로 이루어진다. 1) 클러스터2) 유저 config에 클러스터 등록하기 kubectl과 K8S 클러스터는 TLS 통신을 한다. kubectl 서버는 클러스터에서 보낸 데이터가 정말 클러스터에서 보낸건지 검증을 해야한다. 그래서 클러스터에서 공식으로 발급한 CA PublicKey를 가지고 있..

이슈사항 Kubernetes Ingress Controller로 Traefik을 사용하고 있다.Traefik 로드밸런서에 MetalLB로 외부 ip를 부여하고 EntryPoint을 등록해서 Port를 열려고 하는데 문제가 하나 발생했다. 단일한 포트 몇 개 여는데는 문제가 없으나 특정 범위의 포트를 일괄 개방하려니, Traefik에서 해당 기능을 지원하지 않았다. 그래서 파이썬 코드를 작성하여 특정 범위의 포트를 모두 단일 포트로 Traefik Helm의 values.yaml에 직접 넣어주었더니... values.yaml 이 거대해짐에 따라 여러가지 문제가 발생하였다. 결론부터 말하면이슈가 여러 개 발생하여, 결국 만 개에서 7천개 정도로 개방할 포트 수를 줄여서 임시방편으로 문제를 해결하였다. 내..

Kubernetes의 ETCD를 백업하고 복원해보자. ETCD 백업 및 복원 전 현재 상태를 확인하면 NAME READY STATUS RESTARTS AGEgateway-deployment-78bd54f4bb-mscdc 0/1 ImagePullBackOff 0 20dtest-deployment-555d5bfb6d-8trkb 1/1 Running 0 20dtest-deployment-555d5bfb6d-kpxbs 1/1 Running 0 20d deployment로 배포된 파드 하나..