通常来说,要改变客户机占用的宿主机内存,是要先关闭客户机,修改启动时的内存配置,然后重启客户机才能实现。而内存的ballooning(气球)技术可以在客户机运行时动态地调整它所占用的宿主机内存资源,而不需要关闭客户机。
Ballooning技术形象地在客户机占用的内存中引入气球(Balloon)的概念,气球中的内存是可以供宿主机使用的(但不能被客户机访问或使用),所以,当宿主机内存使用紧张,空余内存不多时,可以请求客户机回收利用已分配给客户机的部分内存,客户机就会释放其空闲的内存,此时若客户机空闲内存不足,可能还会回收部分使用中的内存,可能会换出部分内存到客户机的交换分区(swap)中,从而使得内存气球充气膨胀,从而让宿主机回收气球中的内存可用于其他进程(或其他客户机)。反之,当客户机中内存不足时,也可以让客户机的内存气球压缩,释放出内存气球中的部分内存,让客户机使用更多的内存。
很多现代的虚拟机,如KVM、Xen、VMware等,都对Ballooning技术提供支持。关于内存Balloon的概念,其示意图如图5-9所示。
1. Hypervisor(即KVM)发送请求到客户机操作系统让其归还一定数量的内存给hypervisor。
2. 客户机操作系统中的virtio_balloon驱动接收到hypervisor的请求。
3. virtio_balloon驱动使客户机的内存气球膨胀,气球中的内存就不能被客户机访问。如果此时客户机中内存剩余量不多(如某应用程序绑定/申请了大量的内存),并不能让内存气球膨胀到足够大以满足hypervisor的请求,那么virtio_balloon驱动也会让尽可能多地提供内存内存使气球膨胀,尽量去满足hypervisor的请求中的内存数量(即使不一定能完全满足)。
4. 客户机操作系统归还气球中的内存给hypervisor。
5. hypervisor可以将从气球中得来的内存分配到任何需要的地方。
6. 如果从气球中得到来内存没有处于使用中,hypervisor也可以将内存返还到客户机中,这个过程为:a. hypervisor发请求到客户机的virtio_balloon驱动;b. 这个请求让客户机操作系统压缩内存气球;c. 在气球中的内存被释放出来,重新让客户机可以访问和使用。
Ballooning在节约内存和灵活分配内存方面有明显的优势,其好处有如下三点。
第一,因为能够控制和监控ballooning,所以ballooning能够潜在地节约大量的内存。它不同于内存页共享技术(KSM是内核自发完成的、不可控),客户机系统的内存只有在通过命令行调整balloon时才会随之改变,所以能够监控系统内存并验证ballooning引起的变化。
第二,Ballooning对内存的调节很灵活,既可以精细的请求少量内存,又可以粗犷的请求大量的内存。
第三,hypervisor使用ballooning让客户机归还部分内存,从而可以缓解其内存压力。而且从气球中回收的内存也不要求一定要被分配给另外某个进程(或另外的客户机)。
从另一方面来说,KVM中ballooning的使用不方便、不完善的地方也是存在的,其缺点也有如下几个。
1. Ballooning需要客户机操作系统加载virtio_balloon驱动,然而并非每个客户机系统都有该驱动(如windows需要自己安装该驱动)。
2. 如果有大量内存从客户机系统中回收,Ballooning可能会降低客户机操作系统运行的性能。一方面,内存的减少,可能会让客户机中作为磁盘数据缓存的内存被放到气球中,从而客户机中的磁盘I/O访问会增加;另一方面,如果处理机制不够好,也可能让客户机中正在运行的进程由于内存不足而执行失败。
3. 目前没有比较方便的、自动化的机制来管理ballooning,一般都是采用在QEMU monitor中执行balloon命令来实现ballooning的。没有对客户机的有效监控,没有自动化的ballooning机制,这可能会让生产环境中实现大规模自动化部署并不很方便。
4. 内存的动态增加或减少,可能会使内存被过度碎片化,从而降低内存使用时的性能。另外,内存的变化会影响到客户机内核对内存使用的优化,比如:内核起初根据目前状态对内存的分配采取了某个策略,而突然由于balloon的效果让可用内存减少了很多,这时起初的内存策略可能就不是太优化的了。
KVM中的Ballooning是通过宿主机和客户机协同来实现的,在宿主机中应该使用2.6.27及以上版本的Linux内核(包括KVM模块),使用较新的qemu-kvm(如0.13版本以上),在客户机中也使用2.6.27及以上内核且将“CONFIG_VIRTIO_BALLOON”配置为模块或编译到内核。在很多Linux发行版中都已经配置有“CONFIG_VIRTIO_BALLOON=m”,所以用较新的Linux作为客户机系统,一般不需要额外配置virtio_balloon驱动,使用默认内核配置即可。
在QEMU命令行中可用“-balloon virtio”参数来分配Balloon设备给客户机让其调用virtio_balloon驱动来工作,而默认值为没有分配Balloon设备(与“-balloon none”效果相同)。
-balloon virtio[,addr=
addr
] #使用VirtIO balloon设备,
addr
可配置客户机中该设备的PCI地址。
在QEMU monitor中,提供了两个命令查看和设置客户机内存的大小。
(qemu) info balloon #查看客户机内存占用量(Balloon信息)
(qemu) balloon
num
#设置客户机内存占用量为
num
MB
KVM中使用ballooning的操作步骤如下:
(1)QEMU启动客户机时分配balloon设备,命令行如下所示。也可以使用较新的“-device”的统一参数来分配balloon设备,如“-device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x4”。
[root@jay-linux kvm_demo]#
qemu-system-x86_64 rhel6u3.img -smp 2 -m 2048 -balloon virtio
(2)在启动好的客户机中查看balloon设备及内存使用情况,命令行如下:
[root@kvm-guest ~]#
lspci
00:00.0 Host bridge: Intel Corporation 440FX – 82441FX PMC [Natoma] (rev 02)
00:01.0 ISA bridge: Intel Corporation 82371SB PIIX3 ISA [Natoma/Triton II]
00:01.1 IDE interface: Intel Corporation 82371SB PIIX3 IDE [Natoma/Triton II]
00:01.3 Bridge: Intel Corporation 82371AB/EB/MB PIIX4 ACPI (rev 03)
00:02.0 VGA compatible controller: Cirrus Logic GD 5446
00:03.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL-8139/8139C/8139C+ (rev 20)
00:04.0 Unclassified device [00ff]: Red Hat, Inc Virtio memory balloon
[root@kvm-guest ~]#
grep VIRTIO_BALLOON \ /boot/config-2.6.32-279.el6.x86_64
CONFIG_VIRTIO_BALLOON=m
[root@kvm-guest ~]#
lsmod | grep virtio
virtio_balloon 4856 0
virtio_pci 7113 0
virtio_ring 7729 2 virtio_balloon,virtio_pci
virtio 4890 2 virtio_balloon,virtio_pci
[root@kvm-guest ~]#
lspci -s 00:04.0 -v
00:04.0 Unclassified device [00ff]: Red Hat, Inc Virtio memory balloon
Subsystem: Red Hat, Inc Device 0005
Physical Slot: 4
Flags: fast devsel, IRQ 10
I/O ports at c100 [size=32]
Kernel driver in use:
virtio-pci
Kernel modules: virtio_pci
[root@kvm-guest ~]#
free -m
total used free shared buffers cached
Mem: 1877 166 1711 0 21 59
-/+ buffers/cache: 85 1792
Swap: 508 0 508
根据上面输出可知,客户机中virtio_balloon模块已经加载,有一个叫做“Red Hat, Inc Virtio memory balloon”的PCI设备,它使用了virtio_pci驱动。如果是Windows客户机,则可以在“设备管理器”看到使用VirtIO Balloon设备。
(3)在QEMU monitor中查看和改变客户机占用的内存,命令如下:
(qemu) info balloon
balloon: actual=2048
(qemu) balloon 512
(qemu) info balloon
balloon: actual=512
如果没有使用Balloon设备,则monitor中用“info balloon”命令查看会得到“Device ‘balloon’ has not been activated”的警告提示。而“balloon 512”命令将客户机内存设置为512MB。
(4)设置了客户机内存为512 MB后,再到客户机中检查,如下所示。
[root@kvm-guest ~]#
free -m
total used free shared buffers cached
Mem: 341 166 175 0 21 59
-/+ buffers/cache: 85 256
Swap: 508 0 508
如果是Windows客户机(如Win7),当balloon使其可用内存从2GB降低到512MB时,在其“任务管理器”中看到的内存总数依然是2GB,但是看到它的内存已使用量会增大1536MB(如从其原来使用量350MB,变为1886MB),这里占用的1536MB正是Balloon设备占用的,Windows客户机系统其他程序已不能使用这1636 MB内存,这时宿主机系统就可以再次分配这里的1536MB内存用于其他用途。
另外,值得注意的是,当通过“balloon”命令让客户机内存增加时,其最大值不能超过QEMU命令行启动时设置的内存,例如:命令行中内存设置为2048MB,如果在Monitor中执行“balloon 4096”则设置的4096MB内存不会生效,其值将会被设置为启动命令行中的最大值(即2048MB)。
4. 通过Ballooning过载使用内存
在4.3.4节“内存过载使用”中提到,内存过载使用主要有三种方式:swapping、ballooning和page sharing。在多个客户机运行时动态地调整其内存容量,ballooning是一种让内存过载使用的非常有效的机制。使用ballooning可以根据宿主机中对内存的需求,通过“balloon”命令调整客户机内存占用量,从而可以实现内存的过载使用。
在实际环境中,客户机系统的资源的平均使用率一般并不是很高的,通常是一段时间负载较重,一段时间负载较轻。可以在一个物理宿主机上启动多个客户机,通过ballooning的支持,在某些客户机负载较轻时减少其内存使用,用于分配给此时负载较重的客户机。例如:在一个物理内存在8GB的宿主机上,可以在一开始就分别启动6个内存为2GB的客户机(A、B、C、D、E、F这6个),根据平时对各个客户机里资源使用情况的统计可知,当前一段时间内,A、B、C的负载很轻,就可以通过ballooning降低其内存为512 MB,而D、E、F的内存保持2
GB不变。其内存分配的简单计算为:
512MB × 3 + 2GB × 3 + 512MB(用于宿主机中其他进程) = 8GB
而在其他某些时间段,A、B、C等客户机负载较大时,也可以增加它们的内存量(同时减少D、E、F的内存量)。这样就在8GB物理内存的上运行了看似需要大于12GB内存才能运行的6个2GB内存的客户机,从而较好地实现了内存的过载使用。
如果客户机中有virtio_balloon驱动,则使用ballooning来实现内存过载使用是非常方便的。而前面提到“在QEMU monitor中用balloon命令改变内存操作不方便”的问题,如果使用第6章将会介绍的libvirt工具来使用KVM,则对ballooning的操作会比较方便,在其“virsh”管理程序中就有“setmem”这个命令来动态更改客户机的可用内存容量,该方式的完整命令为“virsh setmem <domain-id or domain-name> <Amount of memory
in KB>”。
3. KVM中Ballooning使用示例KVM中的Ballooning是通过宿主机和客户机协同来实现的,在宿主机中应该使用2.6.27及以上版本的Linux内核(包括KVM模块),使用较新的qemu...
来自:
ponymwt的专栏
最近有很多程序员在CSDN博客发帖讨论:用Windows还是Linux?关于这个问题,其实答案很简单:做开发首选Linux。如果一个程序员从来没有在Linux上开发过程序, 一直在Windows上面开...
来自:
CSDN学院
5.1.3 使用virtio_balloon1. Ballooning简介通常来说,要改变客户机占用的宿主机内存,是要先关闭客户机,修改启动时的内存配置,然后重启客户机才能实现。而内存的balloon...
来自:
ponymwt的专栏
KVM本身并不提供半虚拟化功能,是通过virtio来实现的 The benefits of virtio drivers are of lower overhead and higher perfor...
来自:
weixin_33995481的博客
今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。目录:你以为的人生 一次又一次的伤害 猎头界的真...
来自:
启舰
大家好,我是 Rocky0429,一个喜欢在 GitHub 上瞎逛的蒟蒻…好看的皮囊千篇一律,有趣的灵魂没有底线。作为全球最大的同性交友网站,GayHub GitHub 上不止有鲜活的代码,秃头的算法...
来自:
Rocky0429
作者 | Rocky0429来源 | Python空间大家好,我是 Rocky0429,一个喜欢在网上收集各种资源的蒟蒻…网上资源眼花缭乱,下载的方式也同样千奇百怪,比如 BT 下载,磁力链接,网...
来自:
Rocky0429
周末躺在床上看《拯救大兵瑞恩》周末在闲逛的时候,发现了两个优秀的 IDE 插件,据说可以提高代码的质量,我就安装了一下,试了试以后发现,确实很不错,就推荐给大家。01、Alibaba Java 代码规...
来自:
沉默王二
相信大家时不时听到程序员猝死的消息,但是基本上听不到产品经理猝死的消息,这是为什么呢?我们先百度搜一下:程序员猝死,出现将近700多万条搜索结果:搜索一下:产品经理猝死,只有400万条的搜索结果,从搜...
来自:
曹银飞的专栏
每天都会收到很多读者的私信,问我:“二哥,有什么推荐的学习网站吗?最近很浮躁,手头的一些网站都看烦了,想看看二哥这里有什么新鲜货。”今天一早做了个恶梦,梦到被老板辞退了。虽然说在我们公司,只有我辞退老...
来自:
沉默王二
上次搬家的时候,发了一个朋友圈,附带的照片中不小心暴露了自己的 Chrome 浏览器插件之多,于是就有小伙伴评论说分享一下我觉得还不错的浏览器插件。我下面就把我日常工作和学习中经常用到的一些 Chr...
来自:
不忘初心
我是一名程序员,我的主要编程语言是 Java,我更是一名 Web 开发人员,所以我必须要了解 HTTP,所以本篇文章就来带你从 HTTP 入门到进阶,看完让你有一种恍然大悟、醍醐灌顶的感觉。最初在有网...
来自:
c旋儿的博客
Python 和 JavaScript 是目前最火的两大编程语言,但是2020 年,什么编程语言将会取而代之呢?作者 |Richard Kenneth Eng译者 |明明如月,责编 | 郭芮出品 | ...
来自:
CSDN资讯
是的,华为也有扫地僧!2020年2月11-12日,“养在深闺人不知”的华为2012实验室扫地僧们,将在华为开发者大会2020(Cloud)上,和大家见面。到时,你可以和扫地僧们,吃一个洋......
来自:
CSDN资讯
最近和几个 AI 领域的大佬闲聊根据他们讲的消息和段子改编出下面这个故事如有雷同都是巧合1. 老王创业失败,被限制高消费“这里写我跑路的消息实在太夸张了。”王葱葱哼笑一下,把消息分享给群里。阿杰也看了...
来自:
CSDN 官方博客
点击“技术领导力”关注∆每天早上8:30推送作者|Mr.K 编辑| Emma来源|技术领导力(ID:jishulingdaoli)前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者...
来自:
技术领导力
1.Robocode让坦克们互相博弈的游戏,你可以看到它们飞奔,碾碎一切挡道的东西。机器人配有雷达与火炮,选手在躲避对手进攻的同时攻击对手,以此来较量得分的多少。这个游戏很有意思,曾经令我沉迷…你可以...
来自:
九章算法的博客
2020年刚刚开始,就意味着离职潮高峰的到来,我身边就有不少人拿着年终奖离职了,而最让我感到意外的,是一位工作十年的数据分析师也离职了,不同于别人的主动辞职,他是被公司炒掉的。很多人都说数据分析是个好...
来自:
Leo的博客
B站是个宝,谁用谁知道????作为一名大学生,你必须掌握的一项能力就是自学能力,很多看起来很牛X的人,你可以了解下,人家私底下一定是花大量的时间自学的,你可能会说,我也想学习啊,可是嘞,该学习啥嘞,不...
来自:
编码之外的技术博客
教材永远都是有错误的,从小学到大学,我们不断的学习了很多错误知识。斑羚飞渡在我们学习的很多小学课文里,有很多是错误文章,或者说是假课文。像《斑羚飞渡》:随着镰刀头羊的那声吼叫,整个斑羚群迅速分成两拨,...
来自:
hebtu666
loonggg读完需要2分钟速读仅需 1 分钟大家我,我是你们的校长。前几天,搜狐的董事局主席兼 CEO 张朝阳和搜狐都上热搜了。原因很简单,就是搜狐出了“考勤新规”。一封搜狐对员工发布......
来自:
非著名程序员
强烈声明:本文很干,请自备茶水!????开门见山,咱不说废话!你有没有想过,你写的程序,是如何在计算机中运行的吗?比如我们搞Java的,肯定写过这段代码public class HelloWorld ...
来自:
编码之外的技术博客
简介: 在阿里,走过1825天,没有趴下,依旧斗志满满,被称为“五年陈”。他们会被授予一枚戒指,过程就叫做“授戒仪式”。今天,咱们听听阿里的那些“五年陈”们的故事。下一个五年,猪圈见!我就是那个在养猪...
来自:
阿里技术
何来我,一个双非本科弟弟,有幸在 19 届的秋招中得到前东家华为(以下简称 hw)的赏识,当时秋招签订就业协议,说是入了某 java bg,之后一系列组织架构调整原因等等让人无法理解的神操作,最终毕业...
来自:
JavaEdge
点击上方蓝字设为星标下面开始今天的学习~今天分享四个代码量很少,但很牛逼很经典的算法或项目案例。1、no code 项目地址:https://github.com/kelseyhight......
来自:
程序员吴师兄的博客
全文共3526字,预计学习时长11分钟图源:Unsplash经常有小伙伴私信给小芯,我没有编程基础,不会写代码,如何进入AI行业呢?还能赶上AI浪潮吗?任何时候努力都不算晚。下面,小芯就给大家讲一个朋...
来自:
读芯术的博客
很遗憾,这个春节注定是刻骨铭心的,新型冠状病毒让每个人的神经都是紧绷的。那些处在武汉的白衣天使们,尤其值得我们的尊敬。而我们这些窝在家里的程序员,能不外出就不外出,就是对社会做出的最大的贡献。有些读者...
来自:
沉默王二
我们之前讲过CPU,也说了CPU和内存的那点事儿,今天咱就再来说说有关内存,作为一个程序员,你必须要懂的哪那些硬核知识!大白话聊一聊,很重要!先来大白话的跟大家聊一聊,我们这里说的内存啊,其实就是说的...
来自:
编码之外的技术博客
loonggg读完需要5分钟速读仅需 2 分钟大家好,我是你们的校长。我知道大家在家里都憋坏了,大家可能相对于封闭在家里“坐月子”,更希望能够早日上班。今天我带着大家换个思路来聊一个问题......
来自:
非著名程序员
同网段和不同网段设备通信原理详解
qq_26769591:
想问作者一个问题,如果一个网段之间的设备,可以直接通信,也就是说一个网段的所有设备都在同一个冲突域中一个hub,确定是内网直接广播不就行了吗?好像没有必要使用arp确定mac
多叉树的递归和非递归遍历
weixin_42089514:
Node的结构是怎样的
相同VLAN下不同子网之间的通信
weixin_44314189:
不太明白
Python API:OpenSt...
u014613569:
楼主可以加你扣扣吗,小白请教问题940597704