Topik ini membahas langkah-langkah yang dapat Anda lakukan untuk memecahkan dan memperbaiki masalah pada datastore Cassandra. Cassandra adalah
datastore persisten yang berjalan di komponen cassandra
pada
arsitektur runtime hybrid.
Lihat juga
Ringkasan konfigurasi layanan runtime.
Pod Cassandra terjebak dalam status Tertunda
Gejala
Saat dimulai, pod Cassandra tetap dalam status Tertunda.
Pesan error
Saat menggunakan kubectl
untuk melihat status pod, Anda akan melihat bahwa satu atau beberapa
pod Cassandra terjebak dalam status Pending
. Status
Pending
menunjukkan bahwa Kubernetes tidak dapat menjadwalkan pod
pada sebuah node: pod tidak dapat dibuat. Contoh:
kubectl get pods -n namespace
NAME READY STATUS RESTARTS AGE
adah-resources-install-4762w 0/4 Completed 0 10m
apigee-cassandra-default-0 0/1 Pending 0 10m
...
Kemungkinan penyebab
Pod yang terjebak dalam status Tertunda dapat memiliki beberapa penyebab. Contoh:
Penyebab | Deskripsi |
---|---|
Resource tidak cukup | CPU atau memori yang tersedia tidak cukup untuk membuat pod. |
Volume tidak dibuat | Pod menunggu volume persisten dibuat. |
Diagnosis
Gunakan kubectl
untuk mendeskripsikan pod guna menentukan sumber error. Contoh:
kubectl -n namespace describe pods pod_name
Contoh:
kubectl describe pods apigee-cassandra-default-0 -n apigee
Output mungkin menampilkan salah satu kemungkinan masalah berikut:
- Jika masalahnya tidak memiliki resource yang cukup, Anda akan melihat pesan Peringatan yang menunjukkan CPU atau memori tidak mencukupi.
- Jika pesan error menunjukkan bahwa pod memiliki PersistentVolumeClaims (PVC) langsung yang tidak terikat, artinya pod tersebut tidak dapat membuat Volume persistennya.
Resolusi
Resource tidak cukup
Memodifikasi kumpulan node Cassandra agar memiliki resource CPU dan memori yang memadai. Lihat Mengubah ukuran kumpulan node untuk mengetahui detailnya.
Volume persisten tidak dibuat
Jika Anda menentukan masalah volume persisten, jelaskan PersistentVolumeClaim (PVC) untuk menentukan mengapa masalah tersebut tidak dibuat:
- Cantumkan PVC dalam cluster:
kubectl -n namespace get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE cassandra-data-apigee-cassandra-default-0 Bound pvc-b247faae-0a2b-11ea-867b-42010a80006e 10Gi RWO standard 15m ...
- Jelaskan PVC untuk pod yang gagal. Sebagai contoh, perintah berikut
menjelaskan PVC yang terikat pada pod
apigee-cassandra-default-0
:kubectl apigee describe pvc cassandra-data-apigee-cassandra-default-0 Events: Type Reason Age From Message ---- ------ ---- ---- ------- Warning ProvisioningFailed 3m (x143 over 5h) persistentvolume-controller storageclass.storage.k8s.io "apigee-sc" not found
Perhatikan bahwa dalam contoh ini, StorageClass bernama
apigee-sc
tidak ada. Untuk mengatasi masalah ini, buat StorageClass yang hilang di cluster, seperti yang dijelaskan dalam Mengubah StorageClass default.
Lihat juga Men-debug Pod.
Pod Cassandra macet dalam status CrashLoopBackoff
Gejala
Saat memulai, pod Cassandra tetap dalam status CrashLoopBackoff.
Pesan error
Saat menggunakan kubectl
untuk melihat status pod, Anda akan melihat bahwa satu atau beberapa
pod Cassandra berada dalam status CrashLoopBackoff
.
Status ini menunjukkan bahwa Kubernetes tidak dapat membuat pod. Contoh:
kubectl get pods -n namespace
NAME READY STATUS RESTARTS AGE
adah-resources-install-4762w 0/4 Completed 0 10m
apigee-cassandra-default-0 0/1 CrashLoopBackoff 0 10m
...
Kemungkinan penyebab
Pod yang terhenti di status CrashLoopBackoff
dapat disebabkan oleh beberapa penyebab. Contoh:
Penyebab | Deskripsi |
---|---|
Pusat data berbeda dengan pusat data sebelumnya | Error ini menunjukkan bahwa pod Cassandra memiliki volume persisten yang memiliki data dari cluster sebelumnya, dan pod baru tidak dapat bergabung dengan cluster lama. Hal ini biasanya terjadi ketika volume persisten yang sudah tidak berlaku tetap ada dari cluster Cassandra sebelumnya di node Kubernetes yang sama. Masalah ini dapat terjadi jika Anda menghapus dan membuat ulang Cassandra di cluster. |
Direktori truststore tidak ditemukan | Error ini menunjukkan bahwa pod Cassandra tidak dapat membuat koneksi TLS. Hal ini biasanya terjadi jika kunci dan sertifikat yang diberikan tidak valid, hilang, atau mengalami masalah lainnya. |
Diagnosis
Periksa log error Cassandra untuk menentukan penyebab masalah.
- Buat daftar pod untuk mendapatkan ID pod Cassandra yang gagal:
kubectl get pods -n namespace
- Periksa log pod yang gagal:
kubectl logs pod_id -n namespace
Resolusi
Cari petunjuk berikut di log pod:
Pusat data berbeda dengan pusat data sebelumnya
Jika Anda melihat pesan log ini:
Cannot start node if snitch's data center (us-east1) differs from previous data center
- Periksa apakah ada PVC yang usang atau lama di cluster dan hapus PVC tersebut.
- Jika ini adalah penginstalan baru, hapus semua PVC dan coba penyiapan lagi. Contoh:
kubectl -n namespace get pvc
kubectl -n namespace delete pvc cassandra-data-apigee-cassandra-default-0
Direktori truststore tidak ditemukan
Jika Anda melihat pesan log ini:
Caused by: java.io.FileNotFoundException: /apigee/cassandra/ssl/truststore.p12 (No such file or directory)
Pastikan kunci dan sertifikat yang diberikan dalam file penggantian sudah benar dan valid. Misalnya:
cassandra: sslRootCAPath: path_to_root_ca-file sslCertPath: path-to-tls-cert-file sslKeyPath: path-to-tls-key-file
Kegagalan node
Gejala
Saat memulai, pod Cassandra tetap dalam status Tertunda. Masalah ini dapat menunjukkan kegagalan node yang mendasarinya.
Diagnosis
- Tentukan pod Cassandra mana yang tidak berjalan:
$ kubectl get pods -n your_namespace NAME READY STATUS RESTARTS AGE cassandra-default-0 0/1 Pending 0 13s cassandra-default-1 1/1 Running 0 8d cassandra-default-2 1/1 Running 0 8d
- Periksa worker node. Jika salah satunya berada dalam status NotReady, berarti
node tersebut gagal:
kubectl get nodes -n your_namespace NAME STATUS ROLES AGE VERSION INTERNAL-IP gke-hybrid-cluster-apigee-data-178811f1-lv5j Ready <none> 34d v1.21.5-gke.1302 10.138.15.198 gke-hybrid-cluster-apigee-data-d63b8b8d-n41g NotReady <none> 34d v1.21.5-gke.1302 10.138.15.200 gke-hybrid-cluster-apigee-data-ec752c0b-b1cr Ready <none> 34d v1.21.5-gke.1302 10.138.15.199 gke-hybrid-cluster-apigee-runtime-ba502ff4-57mq Ready <none> 34d v1.21.5-gke.1302 10.138.15.204 gke-hybrid-cluster-apigee-runtime-ba502ff4-hwkb Ready <none> 34d v1.21.5-gke.1302 10.138.15.203 gke-hybrid-cluster-apigee-runtime-bfa558e0-08vw Ready <none> 34d v1.21.5-gke.1302 10.138.15.201 gke-hybrid-cluster-apigee-runtime-bfa558e0-xvsc Ready <none> 34d v1.21.5-gke.1302 10.138.15.202 gke-hybrid-cluster-apigee-runtime-d12de7df-693w Ready <none> 34d v1.21.5-gke.1302 10.138.15.241 gke-hybrid-cluster-apigee-runtime-d12de7df-fn0w Ready <none> 34d v1.21.5-gke.1302 10.138.15.206
Resolusi
- Keluarkan pod Cassandra yang mati dari cluster.
$ kubectl exec -it apigee-cassandra-default-0 -- nodetool status
$ kubectl exec -it apigee-cassandra-default-0 -- nodetool removenode deadnode_hostID
- Hapus VolumeClaim dari node yang mati untuk mencegah
pod Cassandra mencoba muncul di node yang mati karena
afinitas:
kubectl get pvc -n your_namespace
kubectl delete pvc volumeClaim_name -n your_namespace
- Update template volume dan buat PersistentVolume untuk node yang baru ditambahkan. Berikut adalah contoh template volume:
apiVersion: v1 kind: PersistentVolume metadata: name: cassandra-data-3 spec: capacity: storage: 100Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Retain storageClassName: local-storage local: path: /apigee/data nodeAffinity: "required": "nodeSelectorTerms": - "matchExpressions": - "key": "kubernetes.io/hostname" "operator": "In" "values": ["gke-hybrid-cluster-apigee-data-d63b8b8d-n41g"]
- Ganti nilai dengan nama host/IP baru dan terapkan template:
kubectl apply -f volume-template.yaml
Membuat penampung klien untuk proses debug
Bagian ini menjelaskan cara membuat penampung klien tempat Anda dapat mengakses
utilitas proses debug Cassandra
seperti cqlsh
. Utilitas ini memungkinkan Anda membuat kueri tabel Cassandra dan
dapat berguna untuk tujuan proses debug.
Membuat penampung klien
Untuk membuat penampung klien, ikuti langkah-langkah berikut:
- Penampung menggunakan sertifikat TLS dari pod
apigee-cassandra-user-setup
. Langkah pertama adalah mengambil nama sertifikat ini:kubectl get secrets -n apigee --field-selector type=kubernetes.io/tls | grep apigee-cassandra-user-setup | awk '{print $1}'
Perintah ini akan menampilkan nama sertifikat. Misalnya:
apigee-cassandra-user-setup-rg-hybrid-b7d3b9c-tls
. - Buka file baru dan tempel spesifikasi pod berikut ke dalamnya:
apiVersion: v1 kind: Pod metadata: labels: name: cassandra-client-name # For example: my-cassandra-client namespace: apigee spec: containers: - name: cassandra-client-name image: "gcr.io/apigee-release/hybrid/apigee-hybrid-cassandra-client:1.7.6" imagePullPolicy: Always command: - sleep - "3600" env: - name: CASSANDRA_SEEDS value: apigee-cassandra-default.apigee.svc.cluster.local - name: APIGEE_DML_USER valueFrom: secretKeyRef: key: dml.user name: apigee-datastore-default-creds - name: APIGEE_DML_PASSWORD valueFrom: secretKeyRef: key: dml.password name: apigee-datastore-default-creds volumeMounts: - mountPath: /opt/apigee/ssl name: tls-volume readOnly: true volumes: - name: tls-volume secret: defaultMode: 420 secretName: your-secret-name # For example: apigee-cassandra-user-setup-rg-hybrid-b7d3b9c-tls restartPolicy: Never
- Simpan file dengan ekstensi
.yaml
. Contoh:my-spec.yaml
. - Terapkan spesifikasi ke cluster Anda:
kubectl apply -f your-spec-file.yaml -n apigee
- Login ke penampung:
kubectl exec -n apigee cassandra-client -it -- bash
- Hubungkan ke antarmuka
cqlsh
Cassandra dengan perintah berikut. Masukkan perintah persis seperti yang ditunjukkan:cqlsh ${CASSANDRA_SEEDS} -u ${APIGEE_DML_USER} -p ${APIGEE_DML_PASSWORD} --ssl
Menghapus pod klien
Gunakan perintah berikut untuk menghapus pod klien Cassandra:
kubectl delete pods -n apigee cassandra-client
Referensi lainnya
Lihat Pengantar playbook hybrid Apigee dan Apigee.