なんらかの不具合等でCVMにアクセスができない場合、様々障害調査を行う必要がありますが、SSHでCVMにアクセスができないとCVMで何が起きているのかが見えないため、状態を確認することが非常に困難を極めます。
今回は、CVMと疎通ができない場合の調査について記載いたします。
CVMに接続ができない場合、頼りのすべは、CVMをホストするAHVコンソールに入ることが必要です。SSHでAHVホストにアクセスができる場合は、SSHでアクセスしてください。SSHアクセスがAOS7.6以降ではdefault無効化されていますので、その場合は直接キーボードとディスプレイをつないで操作をするか、IPMIのバーチャルコンソールから操作します。
まずは、CVM自体が起動しているかを確認します。
[root@UX-AHV171 ~]# virsh list --all --title Id Name State Title -------------------------------------------------------------------- 4 48b04e15-f435-44ea-474b-56f81a30a2b8 running WINVGSH012 - NTNX-UX-AHV171-CVM shut off
この状態では、CVMが「shut off」起動していないことがわかります。
起動していない場合は、以下のコマンドでCVMを起動します。
[root@UX-AHV171 ~]# virsh start NTNX-UX-AHV171-CVM
すでに起動している場合は、CVMへの接続を確認します。
AHVから、CVMの内部IPである「192.168.5.2」にPING応答を確認します。
[root@UX-AHV171 ~]# ping 192.168.5.2 PING 192.168.5.2 (192.168.5.2) 56(84) bytes of data. 64 bytes from 192.168.5.2: icmp_seq=1 ttl=64 time=0.417 ms 64 bytes from 192.168.5.2: icmp_seq=2 ttl=64 time=0.113 ms 64 bytes from 192.168.5.2: icmp_seq=3 ttl=64 time=0.093 ms 64 bytes from 192.168.5.2: icmp_seq=4 ttl=64 time=0.095 ms
このように返答がある場合は、CVMの表側のネットワークから接続ができていないのが要因の可能性があります。VLANの設定が間違っているなどの場合も想定されます。
この場合は、192.168.5.2へSSH接続を行い、CVMのネットワーク設定を変更します。
[root@UX-AHV171 ~]# ssh admin@192.168.5.2 The authenticity of host '192.168.5.2 (192.168.5.2)' can't be established. ECDSA key fingerprint is SHA256:/b4fxxxxxxxxnU+CnsyJf3ZpR5I8SRJ9xxxnVSENmn40. This key is not known by any other names Are you sure you want to continue connecting (yes/no/[fingerprint])? yes Warning: Permanently added '192.168.5.2' (ECDSA) to the list of known hosts. Nutanix Controller VM admin@192.168.5.2's password: Last login: Sat Sep 26 14:14:45 JST 2026 on pts/1 Last login: Sat Sep 26 17:09:55 2026 from 192.168.5.1 ============================ NuService Menu: ============================ Option 1: Execute Commands Option 2: Log Viewer Option 3: Launch Admin Shell Option 4: Configure Settings Option 5: Help Option X: Exit ============================ Choice:
一方で以下のようにCVMにアクセスができないことも考えられます。
[root@UX-AHV171 ~]# ping 192.168.5.2 PING 192.168.5.2 (192.168.5.2) 56(84) bytes of data. From 192.168.5.1 icmp_seq=1 Destination Host Unreachable From 192.168.5.1 icmp_seq=2 Destination Host Unreachable From 192.168.5.1 icmp_seq=3 Destination Host Unreachable
CVMが起動しているにもかかわらずCVMの内部IPに疎通が通らない場合、CVMが起動中にハングアップしている可能性が非常に高いと考えられます。
この場合、CVMのコンソールに表示されている情報を確認する必要があります。
AHVから、「 /var/log/NTNX.serial.out.0」ファイルをlessやcatで確認しどこで起動ができずストップしているかを確認します。
[root@UX-AHV171 ~]# cat /var/log/NTNX.serial.out.0
...
svmboot: error: no valid boot partition (i.e. no active partition marker)
[ 162.175021] dracut-mount[637]: /lib/dracut/hooks/mount/10-nutanix-root-selector.sh: line 3: NEWROOT: readonly variable
[[0;32m OK [0m] Started dracut mount hook.
[ 162.103204] kauditd_printk_skb: 30 callbacks suppressed
[ 162.103208] audit: type=1130 audit(1787375412.929:41): pid=1 uid=0 auid=4294967295 ses=4294967295 subj=kernel msg='unit=dracut-mount comm="systemd" exe="/usr/lib/systemd/systemd" hostname=? addr=? terminal=? res=success'
Starting dracut pre-pivot and cleanup hook...
[ 162.190333] d[ 162.217094] dracut: FATAL: FIPS integrity test failed
racut-pre-pivot[733]: Warning: /boot//.vmlinuz-5[ 162.218091] dracut: Refusing to continue
.10.224-2.el8.nutanix.20241212.100213.x86_64.hmac does not exist
[ 162.265123] printk: systemd-shutdow: 31 output lines suppressed due to ratelimiting
[ 162.314812] systemd-shutdown[1]: Syncing filesystems and block devices.
[ 162.315818] systemd-shutdown[1]: Sending SIGTERM to remaining processes...
[ 162.322817] systemd-shutdown[1]: Sending SIGKILL to remaining processes...
[ 162.325088] systemd-shutdown[1]: Unmounting file systems.
[ 162.326311] [754]: Remounting '/' read-only in with options 'size=16283196k,nr_inodes=4070799'.
[ 162.327814] systemd-shutdown[1]: All filesystems unmounted.
[ 162.328685] systemd-shutdown[1]: Deactivating swaps.
[ 162.329419] systemd-shutdown[1]: All swaps deactivated.
[ 162.330259] systemd-shutdown[1]: Detaching loop devices.
[ 162.331405] systemd-shutdown[1]: All loop devices detached.
[ 162.332221] systemd-shutdown[1]: Stopping MD devices.
[ 162.334372] reboot: System haltedこの例では、CVMがパススルーしているHBAデバイスからSSDやHDDなどの記憶メディアがが読み取れないため、CVMとして起動できずにOSが落ちている状態のように見受けられます。
このような場合は、ハードウェアの障害を疑う必要もあります。
（参考）Serial Console Redirection to a Telnet Port
https://portal.nutanix.com/page/documents/details?targetId=AHV-Admin-Guide-v10_3-ja-JP:ahv-serial-console-redirection-telnet-port.html
何らかの障害が発生した場合に、調査をするすべを持っているかいないかは、トラブル解決までの時間に大きくかかわってきます。
CVMの状態を把握することは、Nutanixのトラブルを把握するはじめの一歩ですので、これらのオペレーションは把握しておくことがおすすめです。
0 件のコメント:
コメントを投稿