KVM on KVM 嵌套虚拟化的实现

实验环境说明

本实验系统环境为：Mac OS X El Capitan 10.11.6 15G1217 使用的虚拟机系统为：Parallels Desktop 12 虚拟化技术：Nested 虚拟化技术＋ PMU虚拟化技术 L0: Ubuntu 16.04.1 Xenial LTS Desktop L1: CentOS 6.4 Desktop L2: Cirros Linux 0.3.5

镜像准备

首先，若要准备L2级虚拟机的系统镜像，可参考Ubuntu官网提供的cloud-images，链接为：Ubuntu Images

L2及虚拟机镜像传输

首先可以在物理机使用scp命令将L2级虚拟机所需img镜像文件传输至L0，命令及效果图如图所示：

scp xenial-server-cloudimg-amd64-disk1.img fa1c0n@10.211.55.6:~/

图1 传输虚拟机镜像

网桥配置

若当前虚拟机不存在网桥，则需要配置网桥才可使虚拟机联网。由于之前的实验已完成配置，此处只写出相关命令：

#root@master:~# brctl addbr br0        #增加一个虚拟网桥br0
#root@master:~# brctl addif br0 enp0s5    #在br0中添加一个接口eth0
#root@master:~# brctl stp br0 on        #打开STP协议，否则可能造成环路
#root@master:~# ifconfig enp0s5 0        #将eth0的IP设置为0
#root@master:~# dhclient br0          #设置动态给br0配置ip、route等
#root@master:~# route                #显示路由表信息
#root@master:~# brctl show                #检查br0状态

效果图如下：图2 网桥配置图

开启L1级虚拟机

同样，由于已完成之前的实验，qemu_ifup启动脚本为在启动时创建和打开指定的TAP接口以供虚拟机连接使用。启动脚本见主要算法和程序清单。接下来，即可开启L1虚拟机，命令如下：

qemu-system-x86_64 –cpu qemu64,+vmx -m 1024 -smp 4 -boot order=d -hda rhel-6.4.img -net nic -net tap

启动虚拟机后，如图所示：如图可以看到已成功在L0上运行L1. 图3 成功启动虚拟机

L1级虚拟机环境配置

首先开始安装qemu，kvm，libvirt，libvirt-python，命令如下：

yum install qemu-kvm libvirt libvirt-python virt-manager python-virtinst libvirt-client

安装完成后，运行如下命令确认kvm是否安装成功：

lsmod | grep kvm && stat /dev/kvm

图4 检查虚拟机KVM环境配置

L1网桥配置

如上图所示，即为安装成功。安装成功后，需要配置L1的网桥才可使L1创建的L2虚拟机可上网。命令同上：

#root@master:~# brctl addbr br0        #增加一个虚拟网桥br0
#root@master:~# brctl addif br0 enp0s5    #在br0中添加一个接口eth0
#root@master:~# brctl stp br0 on        #打开STP协议，否则可能造成环路
#root@master:~# ifconfig enp0s5 0        #将eth0的IP设置为0
#root@master:~# dhclient br0          #设置动态给br0配置ip、route等
#root@master:~# route                #显示路由表信息
#root@master:~# brctl show                #检查br0状态

图5 查看虚拟机网桥配置

镜像文件传输

接下来，将镜像文件从L0拷贝至L1中，使用命令：

scp cirros-0.3.5-x86_64-disk.img root@10.211.55.9:~/

传输完成后如图所示：图6 传输虚拟机镜像

开启L2级虚拟机

接下来即可在L1中启动L2虚拟机。命令如下：

qemu-system-x86_64 -smp 4 -m 256 -boot order=d -hda cirros-0.3.5-x86_64-disk.img -net nic -net tap -enable-kvm

图7 开启L2级虚拟机

图8 成功联网

启动成功后，可以看到已成功启动L2虚拟机。且L2虚拟机可ping通百度，可以上网。至此，KVM on KVM嵌套虚拟化的实现已完成。

错误解决方案

在CentOS 6.4下，启动虚拟机时，遇到libdevmapper库错误问题，错误提示如下：

libvirtd: relocation error: libvirtd: symbol dm_task_get_info_with_deferred_remove, version Base not defined in file libdevmapper.so.1.02 with link time reference

解决方案：

yum -y  upgrade device-mapper-libs

若启动虚拟机时遇到如下问题，问题描述为：

error: internal error: unable to execute QEMU command 'cont': Resetting the Virtual Machine is required

检查系统是否有vmx：

cat /proc/cpuinfo | grep vmx

若没有vmx，则需要开启-enable-kvm选项。若有vmx，则重新开启虚拟机即可。

网桥配置文件源码

#! /bin/sh
# Script to bring a network (tap) device for qemu up.
# The idea is to add the tap device to the same bridge
# as we have default routing to.

# in order to be able to find brctl

switch=br0
PATH=$PATH:/sbin:/usr/sbin
ip=$(which ip)

if [ -n "$ip" ]; then
    ip link set "$1" up
else
    brctl=$(which brctl)
    if [ ! "$ip" -o ! "$brctl" ]; then
        echo "W: $0: not doing any bridge processing: neither ip nor brctl utility not found" >&2
        exit 0
    fi
    ifconfig "$1" 0.0.0.0 up
fi

switch=$(
    ip route ls |
        awk '/^default / {
	          for(i=0;i<NF;i++) { if ($i == "dev") { print $(i+1); next; } }
	         }'
)

# only add the interface to default-route bridge if we
# have such interface (with default route) and if that
# interface is actually a bridge.
# It is possible to have several default routes too
for br in $switch; do
    if [ -d /sys/class/net/$br/bridge/. ]; then
        if [ -n "$ip" ]; then
            ip link set "$1" master "$br"
        else
            brctl addif $br "$1"
        fi
        exit # exit with status of the previous command
    fi
done