KVM on KVM 嵌套虚拟化的实现

本实验系统环境为:Mac OS X El Capitan 10.11.6 15G1217
使用的虚拟机系统为:Parallels Desktop 12
虚拟化技术:Nested 虚拟化技术 + PMU虚拟化技术
L0: Ubuntu 16.04.1 Xenial LTS Desktop
L1: CentOS 6.4 Desktop
L2: Cirros Linux 0.3.5
首先,若要准备L2级虚拟机的系统镜像,可参考Ubuntu官网提供的cloud-images,链接为:https://cloud-images.ubuntu.com/?_ga=1.222879259.1831544656.1487263184
首先可以在物理机使用scp命令将L2级虚拟机所需img镜像文件传输至L0,命令及效果图如图所示:

scp xenial-server-cloudimg-amd64-disk1.img fa1c0n@10.211.55.6:~/

kvmonkvm_1
若当前虚拟机不存在网桥,则需要配置网桥才可使虚拟机联网。由于之前的实验已完成配置,此处只写出相关命令:

#root@master:~# brctl addbr br0        #增加一个虚拟网桥br0
#root@master:~# brctl addif br0 enp0s5    #在br0中添加一个接口eth0
#root@master:~# brctl stp br0 on        #打开STP协议,否则可能造成环路
#root@master:~# ifconfig enp0s5 0        #将eth0的IP设置为0
#root@master:~# dhclient br0          #设置动态给br0配置ip、route等
#root@master:~# route                #显示路由表信息
#root@master:~# brctl show                #检查br0状态

效果图如下:
kvmonkvm_2
同样,由于已完成之前的实验,qemu_ifup启动脚本为在启动时创建和打开指定的TAP接口以供虚拟机连接使用。启动脚本见主要算法和程序清单。
接下来,即可开启L1虚拟机,命令如下:

qemu-system-x86_64 –cpu qemu64,+vmx -m 1024 -smp 4 -boot order=d -hda rhel-6.4.img -net nic -net tap

启动虚拟机后,如图所示:
如图可以看到已成功在L0上运行L1.
kvmonkvm_3
首先开始安装qemu,kvm,libvirt,libvirt-python,命令如下:

yum install qemu-kvm libvirt libvirt-python virt-manager python-virtinst libvirt-client

安装完成后,运行如下命令确认kvm是否安装成功:

lsmod | grep kvm && stat /dev/kvm

kvmonkvm_4
如上图所示,即为安装成功。安装成功后,需要配置L1的网桥才可使L1创建的L2虚拟机可上网。命令同上:

#root@master:~# brctl addbr br0        #增加一个虚拟网桥br0
#root@master:~# brctl addif br0 enp0s5    #在br0中添加一个接口eth0
#root@master:~# brctl stp br0 on        #打开STP协议,否则可能造成环路
#root@master:~# ifconfig enp0s5 0        #将eth0的IP设置为0
#root@master:~# dhclient br0          #设置动态给br0配置ip、route等
#root@master:~# route                #显示路由表信息
#root@master:~# brctl show                #检查br0状态

kvmonkvm_5
接下来,将镜像文件从L0拷贝至L1中,使用命令:

scp cirros-0.3.5-x86_64-disk.img root@10.211.55.9:~/

传输完成后如图所示:
kvmonkvm_6
接下来即可在L1中启动L2虚拟机。命令如下:

qemu-system-x86_64 -smp 4 -m 256 -boot order=d -hda cirros-0.3.5-x86_64-disk.img -net nic -net tap -enable-kvm

kvmonkvm_7
kvmonkvm_8
启动成功后,可以看到已成功启动L2虚拟机。且L2虚拟机可ping通百度,可以上网。至此,KVM on KVM嵌套虚拟化的实现已完成。

在CentOS 6.4下,启动虚拟机时,遇到libdevmapper库错误问题,错误提示如下:
libvirtd: relocation error: libvirtd: symbol dm_task_get_info_with_deferred_remove, version Base not defined in file libdevmapper.so.1.02 with link time reference
解决方案:yum -y upgrade device-mapper-libs
若启动虚拟机时遇到如下问题,问题描述为:
error: internal error: unable to execute QEMU command ‘cont’: Resetting the Virtual Machine is required
检查系统是否有vmx:cat /proc/cpuinfo | grep vmx
若没有vmx,则需要开启-enable-kvm选项。
若有vmx,则重新开启虚拟机即可。

#! /bin/sh
# Script to bring a network (tap) device for qemu up.
# The idea is to add the tap device to the same bridge
# as we have default routing to.

# in order to be able to find brctl

switch=br0
PATH=$PATH:/sbin:/usr/sbin
ip=$(which ip)

if [ -n "$ip" ]; then
   ip link set "$1" up
else
   brctl=$(which brctl)
   if [ ! "$ip" -o ! "$brctl" ]; then
     echo "W: $0: not doing any bridge processing: neither ip nor brctl utility not found">&2
     exit 0
   fi
   ifconfig "$1" 0.0.0.0 up
fi

switch=$(ip route ls | \
    awk '/^default / {
          for(i=0;i<NF;i++) { if ($i == "dev") { print $(i+1); next; } }
         }'
        )

# only add the interface to default-route bridge if we
# have such interface (with default route) and if that
# interface is actually a bridge.
# It is possible to have several default routes too
for br in $switch; do
    if [ -d /sys/class/net/$br/bridge/. ]; then
        if [ -n "$ip" ]; then
          ip link set "$1" master "$br"
        else
          brctl addif $br "$1"
        fi
        exit    # exit with status of the previous command
    fi
done