微信号:infoqchina

介绍:有内容的技术社区媒体

剖析Docker文件系统:Aufs与Devicemapper(上)

2015-05-07 11:57 王青泽



Docker在启动容器的时候,需要创建文件系统,为rootfs提供挂载点。最初Docker仅能在支持Aufs文件系统的Linux发行版上运行,但是由于Aufs未能加入Linux内核,为了寻求兼容性、扩展性,Docker在内部通过graphdriver机制这种可扩展的方式来实现对不同文件系统的支持。目前,Docker支持Aufs,Devicemapper,Btrfs和Vfs四种文件系统。


本文以Docker 1.4为基础,首先分析Docker镜像的结构,接着介绍Aufs和Devicemapper的应用,最后从代码的角度分析Docker文件系统的实现。


Docker镜像


典型的Linux文件系统由bootfs和rootfs两部分组成,bootfs(boot file system)主要包含 bootloader和kernel,bootloader主要是引导加载kernel,当kernel被加载到内存中后 bootfs就被umount了。 rootfs (root file system) 包含的就是典型 Linux 系统中的/dev,/proc,/bin,/etc等标准目录和文件。


Docker容器是建立在Aufs基础上的,Aufs是一种Union FS, 简单来说就是支持将不同的目录挂载到同一个虚拟文件系统下,并实现一种layer的概念。Aufs将挂载到同一虚拟文件系统下的多个目录分别设置成read-only,read-write以及whiteout-able权限,对read-only目录只能读,而写操作只能实施在read-write目录中。重点在于,写操作是在read-only上的一种增量操作,不影响read-only目录。当挂载目录的时候要严格按照各目录之间的这种增量关系,将被增量操作的目录优先于在它基础上增量操作的目录挂载,待所有目录挂载结束了,继续挂载一个read-write目录,如此便形成了一种层次结构。


Docker镜像的典型结构如下图。传统的Linux加载bootfs时会先将rootfs设为read-only,然后在系统自检之后将rootfs从read-only改为read-write,然后我们就可以在rootfs上进行写和读的操作了。但Docker的镜像却不是这样,它在bootfs自检完毕之后并不会把rootfs的read-only改为read-write。而是利用union mount(UnionFS的一种挂载机制)将一个或多个read-only的rootfs加载到之前的read-only的rootfs层之上。在加载了这么多层的rootfs之后,仍然让它看起来只像是一个文件系统,在Docker的体系里把union mount的这些read-only的rootfs叫做Docker的镜像。但是,此时的每一层rootfs都是read-only的,我们此时还不能对其进行操作。当我们创建一个容器,也就是将Docker镜像进行实例化,系统会在一层或是多层read-only的rootfs之上分配一层空的read-write的rootfs。

为了形象化Docker的镜像结构,我们docker pull一个ubuntu:14.04的镜像,使用docker images -tree查看结果如下:

[root@qingze qingze]# docker images -treeWarning: '-tree' is deprecated, it will be removed soon. See usage. └─511136ea3c5a Virtual Size: 0 B └─3b363fd9d7da Virtual Size: 192.5 MB └─607c5d1cca71 Virtual Size: 192.7 MB └─f62feddc05dc Virtual Size: 192.7 MB └─8eaa4ff06b53 Virtual Size: 192.7 MB Tags: ubuntu:14.04,


可以看到Ubuntu的镜像中有多个长ID的layer,且以一种树状结构继承下来,如下图。其中,第n+1层继承了第n层,并在此基础上有了自己的内容,直观上的表现就是第n+1层占用磁盘空间增大。并且,不同的镜像可能会有相同的父镜像。例如,图中Tomcat和Nginx 继承于同一个Vim 镜像,这种组织方式起到共享的作用,节约了镜像在物理机上占用的空间。


接下来,使用docker save命令将镜像具体化并查看其结构:

[root@qingze qingze]# docker save -o ubuntu.tar ubuntu:14.04
[root@qingze qingze]# tar -tf ubuntu.tar 3b363fd9d7dab4db9591058a3f43e806f6fa6f7e2744b63b2df4b84eadb0685a/3b363fd9d7dab4db9591058a3f43e806f6fa6f7e2744b63b2df4b84eadb0685a/VERSION3b363fd9d7dab4db9591058a3f43e806f6fa6f7e2744b63b2df4b84eadb0685a/json3b363fd9d7dab4db9591058a3f43e806f6fa6f7e2744b63b2df4b84eadb0685a/layer.tar511136ea3c5a64f264b78b5433614aec563103b4d4702f3ba7d4d2698e22c158/511136ea3c5a64f264b78b5433614aec563103b4d4702f3ba7d4d2698e22c158/VERSION511136ea3c5a64f264b78b5433614aec563103b4d4702f3ba7d4d2698e22c158/json511136ea3c5a64f264b78b5433614aec563103b4d4702f3ba7d4d2698e22c158/layer.tar607c5d1cca71dd3b6c04327c3903363079b72ab3e5e4289d74fb00a9ac7ec2aa/607c5d1cca71dd3b6c04327c3903363079b72ab3e5e4289d74fb00a9ac7ec2aa/VERSION607c5d1cca71dd3b6c04327c3903363079b72ab3e5e4289d74fb00a9ac7ec2aa/json607c5d1cca71dd3b6c04327c3903363079b72ab3e5e4289d74fb00a9ac7ec2aa/layer.tar8eaa4ff06b53ff7730c4d7a7e21b4426a4b46dee064ca2d5d90d757dc7ea040a/8eaa4ff06b53ff7730c4d7a7e21b4426a4b46dee064ca2d5d90d757dc7ea040a/VERSION8eaa4ff06b53ff7730c4d7a7e21b4426a4b46dee064ca2d5d90d757dc7ea040a/json8eaa4ff06b53ff7730c4d7a7e21b4426a4b46dee064ca2d5d90d757dc7ea040a/layer.tar f62feddc05dc67da9b725361f97d7ae72a32e355ce1585f9a60d090289120f73/ f62feddc05dc67da9b725361f97d7ae72a32e355ce1585f9a60d090289120f73/VERSION f62feddc05dc67da9b725361f97d7ae72a32e355ce1585f9a60d090289120f73/json f62feddc05dc67da9b725361f97d7ae72a32e355ce1585f9a60d090289120f73/layer.tar repositories


我们可以发现在具体化的镜像中对应树型结构中的每一个layer都有一个文件夹存在,且每个文件夹中包含VERSION,json,layer.tar三个文件,另外还有一个repositories文件。长ID为 511136ea3c5a 的layer没有继承任何layer,因此被称为base镜像,一般来说镜像都是以这个layer开始的, 其内容也为空。

[root@qingze 3b363fd9d7dab4db9591058a3f43e806f6fa6f7e2744b63b2df4b84eadb0685a]# lsjson layer.tar VERSION [root@qingze 3b363fd9d7dab4db9591058a3f43e806f6fa6f7e2744b63b2df4b84eadb0685a]# cat json | python -m json.tool{ 
"Size": 192480945,
"architecture": "amd64",
"checksum": "tarsum.dev+sha256:3679c533275a3074e9ab22c1a98a5c63515df754dacecb36cf03115a6ce7cc44",
"config": {
"AttachStderr": false,
"AttachStdin": false,
"AttachStdout": false,
"Cmd": null,
"CpuShares": 0,
"Cpuset": "",
"Domainname": "", ... },
"container": "8c41fcbc2d072f0158d254ca92f33e10d7cb57af3eec3cd3c7fb308a6f24a3e0",
"container_config": { ... },
"created": "2015-01-01T01:25:18.368698296Z",
"docker_version": "1.4.1", "id": "3b363fd9d7dab4db9591058a3f43e806f6fa6f7e2744b63b2df4b84eadb0685a", "os": "linux",
"parent": "511136ea3c5a64f264b78b5433614aec563103b4d4702f3ba7d4d2698e22c158"}


由于篇幅关系,这里只截取了json文件的一部分内容,可以看出json文件包含了镜像以及其对应的容器的配置信息,其中有docker run时指定的,如CpuShares,Cpuset,也有系统生成的,如parent,正是这个属性记录了继承结构,从而实现了layer的层次关系。


另外,每个文件夹下都有一个layer.tar的文件,这个压缩文件存放的正是rootfs的内容,不过是增量存放的而已。为了证明这一点我们找到Ubuntu:14.04对应的layer是8eaa4ff06b53,进入该目录,查看layer的内容,未发现任何东西。

[root@qingze 8eaa4ff06b53ff7730c4d7a7e21b4426a4b46dee064ca2d5d90d757dc7ea040a]# tar -tf layer.tar 
[root@qingze 8eaa4ff06b53ff7730c4d7a7e21b4426a4b46dee064ca2d5d90d757dc7ea040a]#


然后,我们使用该镜像启动一个容器,创建一个100M的文件并docker commit该容器,具体化为ubuntu:test后重新查看。结果显示,ubuntu:test相比ubuntu:14.04多了一个7e64c2624ce0文件夹,且该文件夹下的layer.tar中有了test文件。读者亦可对比各个长ID中的内容,以加深理解。

[root@qingze qingze]# docker images -treeWarning: '-tree' is deprecated, it will be removed soon. See usage. └─511136ea3c5a Virtual Size: 0 B └─3b363fd9d7da Virtual Size: 192.5 MB └─607c5d1cca71 Virtual Size: 192.7 MB └─f62feddc05dc Virtual Size: 192.7 MB └─8eaa4ff06b53 Virtual Size: 192.7 MB Tags: ubuntu:14.04 └─7e64c2624ce0 Virtual Size: 297.5 MB Tags: ubuntu:test [root@qingze qingze]# docker save -o ubuntu-test.tar ubuntu:test [root@qingze qingze]# mkdir ubuntu-test[root@qingze qingze]# tar -xf ubuntu-test.tar -C ubuntu-test/[root@qingze qingze]# cd ubuntu-test/[root@qingze ubuntu-test]# cd 7e64c2624ce0fe1b893ecfbec4e47eb3bd80dd30e615e376ac37405a7baa4e4c/[root@qingze 7e64c2624ce0fe1b893ecfbec4e47eb3bd80dd30e615e376ac37405a7baa4e4c]# tar -tf layer.tar test root/ root/.bash_history


Aufs与Devicemapper的应用


Aufs是Docker最初采用的文件系统,由于Aufs未能加入到Linux内核,考虑到兼容性问题,加入了Devicemapper的支持。目前,除少数版本如Ubuntu,Docker基本运行在Devicemapper基础上。这一节中,我们将着重介绍Aufs和Devicemapper的应用。


Aufs


Aufs是Another Union File System的缩写,是一种Union FS,支持将多个目录挂载到同一个虚拟目录下。由于上文已有介绍,不再赘述。这里主要介绍一下Aufs的使用。默认采用的是Ubuntu:14.04。


Aufs的使用非常简单,只需简单的mount命令即可:

root@Standard-PC:/tmp# tree. ├── aufs ├── dir1 │ └── file1 └── dir2 └── file2 root@Standard-PC:/tmp# sudo mount -t aufs -o br=/tmp/dir1=ro:/tmp/dir2=rw none /tmp/aufsmount: warning: /tmp/aufs seems to be mounted read-only. root@Standard-PC:/tmp#


假设在/tmp目录下存在如上文件结构,file1的内容为:this is dir1,file2的内容为:this is dir2。我们使用mount命令将dir1和dir2挂载到/tmp/aufs目录下,其中:

-o 指定mount传递给文件系统的参数


br 指定需要挂载的文件夹,这里包括dir1和dir2


ro/rw 指定文件的权限只读和可读写


none 这里没有设备,用none表示


经过以上命令,文件夹dir1和dir2被挂载到了/tmp/aufs目录下,且file1只有只读属性:

root@Standard-PC:/tmp/aufs# echo hello > file1
bash: file1: Read-only file system root@Standard-PC:/tmp/aufs# echo hello > file2
root@Standard-PC:/tmp/dir2# cat file2
hello


写到这里有的读者可能会问,如果dir1和dir2两个文件夹含有相同的文件会发生什么情况,我们来试一下,将dir1中的file1更名为file2, 重新挂载。我们发现/tmp/aufs目录中仅有file2,且内容为dir1中file2的内容。由此可见,在挂载的过程中,mount命令按照命令行中给出的文件夹顺序挂载,若出现有同名文件的情况,则以先挂载的为主,其他的不再挂载。这也说明了的Docker镜像为什么采用增量的方式:完全是利用Aufs的特性达到节约空间的目的。

root@wangqingze-Standard-PC:/tmp/aufs# ls
file2 root@wangqingze-Standard-PC:/tmp/aufs# cat file2
this is dir1 root@wangqingze-Standard-PC:/tmp/aufs#

Devicemapper


在介绍Devicemapper之前,我们首先介绍几个Linux下有关Logical Volume的概念以及他们的特性,以帮助后文的理解,主要包括:Snapshot,Thinly-Provisioned Snapshot。


Snapshot是Lvm提供的一种特性,它可以在不中断服务运行的情况下为the origin(original device)创建一个虚拟快照(Snapshot),它具有以下几个特点:

1,当the origin内容发生变化时,snapshot对变化的部分做一个拷贝以用来对the origin进行重构。


2,因为只对变化的部分做拷贝,所以Lvm的Snapshot在读操作频繁而写操作不频繁的情况下占用很少的一部分空间便能完成特定任务。


3,当Snapshot大小耗尽或者远大于实际需求时,我们可以对其大小进行调节。


4,当对Snapshot的数据进行写操作的时候,Snapshot实施相应操作,并丢弃从the origin的拷贝,以后的操作以写操作之后Snapshot中的数据为准。


5,在某些发行版的Linux系统下,可以使用lvconvert的--merge选项将Snapshot合并回the origin。


对Snapshot的应用诸如:对数据进行实时备份,利用其可读写的特性创建Snapshot供测试等等。


Thin-Provisioning是一项利用虚拟化方法减少物理存储部署的技术,可最大限度提升存储空间利用率。下图中展示了某位用户向服务器管理员请求分配10TB的资源的情形。实际情况中这个数值往往是峰值,根据使用情况,分配2TB就已足够。因此,系统管理员准备2TB的物理存储,并给服务器分配10TB的虚拟卷。服务器即可基于仅占虚拟卷容量1/5的现有物理磁盘池开始运行。这样的“始于小”方案能够实现更高效地利用存储容量。


Thin-provisioning Snapshot结合Thin-Provisioning和Snapshot两种技术,允许多个虚拟设备同时挂载到一个数据卷以达到数据共享的目的。Thin-Provisioning Snapshot的特点如下:

1,可以将不同的snaptshot挂载到同一个the origin上,节省了磁盘空间。


2,当多个Snapshot挂载到了同一个the origin上,并在the origin上发生写操作时,将会触发COW操作。这样不会降低效率。


3,Thin-Provisioning Snapshot支持递归操作,即一个Snapshot可以作为另一个Snapshot的the origin,且没有深度限制。


4,在Snapshot上可以创建一个逻辑卷,这个逻辑卷在实际写操作(COW,Snapshot写操作)发生之前是不占用磁盘空间的。


Thin-Provisioning Snapshot虽然有诸多优点,但是也有很多不足之处,例如大小固定等问题,这里不再赘述。


Thin-Provisioning Snapshot是作为device mapper的一个target在内核中实现的。Device mapper 是Linux 2.6内核中提供的一种从逻辑设备到物理设备的映射框架机制。在该机制下,用户可以很方便的根据自己的需要制定实现存储资源的管理策略,如条带化,镜像,快照等。


Device Mapper主要包含内核空间的映射和用户空间的device mapper库及dmsetup工具。Device Mapper库是对ioctl、用户空间创建删除Device Mapper逻辑设备所需必要操作的封装,dmsetup是一个提供给用户直接可用的创建删除device mapper设备的命令行工具。


我们以dmsetup命令来介绍一下Thin-Provisioning Snapshot时如何实现的。Thin-Provisioning Snapshot需要一个data设备和一个metadata设备分别用来存放实际数据和元数据。有两种方式可以更改metadta:一种时通过函数调用,另一种则是通过dmsetup message命令。这里,我们创建两个稀疏文件作为data和metadata设备:

[root@qingze dev]# dd if=/dev/zero of=/tmp/metadata bs=1K count=1 seek=2G
1+0 records in
1+0 records out
1024 bytes (1.0 kB) copied, 0.000153611 s, 6.7 MB/s [root@qingze dev]# dd if=/dev/zero of=/tmp/data bs=1K count=1 seek=100G
1+0 records in
1+0 records out1024 bytes (1.0 kB) copied, 8.7567e-05 s, 11.7 MB/s


以上命令分别创建了2G的metadata和100G的data两个稀疏文件。注意命令中seek选项,其表示为略过of选项指定的输出文件的前2G空间再写入内容。这2G在硬盘上是没有占有空间的,占有空间只有1k的内容。当向其写入内容时,才会在硬盘上为其分配空间。


文件创建完成后,我们将其挂载到loopback设备上,以供使用:

[root@qingze dev]# losetup /dev/loop0 /tmp/metadata
[root@qingze dev]# losetup /dev/loop1 /tmp/data
[root@qingze dev]# losetup -a/dev/loop0: [0035]:183033 (/tmp/metadata) /dev/loop1: [0035]:185651 (/tmp/data)


准备工作就绪后,我们开始正式创建Snapshot。首先创建一个thin-pool,指定要用哪些设备来创建Snapshot,此命令的作用为:将逻辑设备的0~20971520之间的sector映射到/dev/loop1上,元数据信息存储到/dev/loop1:

[root@qingze dev]# dmsetup create pool --table "0 20971520 thin-pool 
/dev/loop0 /dev/loop1 128 32768 1 skip_block_zeroing"


pool指定thin-pool的名字


--table指定dmsetup的一个target,其中:


0表示起始sector


20971520表示sector的数量


thin-pool表示target的名字


/dev/loop0 /dev/loop1为设备名


128表示一次可分配的最小sector数


32768表示空闲空间的阈值


1特征参数的个数


skip_block_zeroing特征参数,表示略过用0填充的块


在继续创建Snapshot前,需要创建一个Thinly-Provisioned volume并格式化:

[root@qingze dev]# dmsetup message /dev/mapper/pool 0 "create_thin 0"
[root@qingze dev]# dmsetup create thin --table "0 2097152 thin /dev/mapper/pool 0"
[root@qingze dev]# mkfs.ext4 -E discard,lazy_itable_init=0 /dev/mapper/thin

命令的格式为:

message device_name sector message Send message to target. If sector not needed use 0
'0' is an identifier for the volume


官方文档中对Snapshot有internal和external之分,说明如下:

internal snapshot:

Once created, the user doesn't have to worry about any connection between the origin and the snapshot. Indeed the snapshot is no different from any other thinly-provisioned device and can be snapshotted itself via the same method. It's perfectly legal to have only one of them active, and there's no ordering requirement on activating or removing them both. (This differs from conventional device-mapper snapshots.)


external snapshot:

You can use an external read only device as an origin for a thinly-provisioned volume. Any read to an unprovisioned area of the thin device will be passed through to the origin. Writes trigger the allocation of new blocks as usual.


读者可以根据自己的需求选择,这里我们只建立一个internal snapshot:

[root@qingze dev]# dmsetup suspend /dev/mapper/thin
[root@qingze dev]# dmsetup message /dev/mapper/pool 0 "create_snap 1 0"
[root@qingze dev]# dmsetup resume /dev/mapper/thin
[root@qingze dev]# dmsetup create snap --table "0 2097152 thin /dev/mapper/pool 1"
[root@qingze dev]# dmsetup statusthin: 0 2097152 thin 99840 2097151fedora-swap: 0 8126464 linear fedora-root: 0 104857600 linear snap: 0 2097152 thin 99840 2097151pool: 0 20971520 thin-pool 0 280/4161600 780/163840 - rw discard_passdown queue_if_no_space fedora-home: 0 97509376 linear


至此,我们已经成功建立了一个Snapshot,接下来可以将其挂载到任何一个文件夹下,并对其进行创建文件等操作:

[root@qingze dev] mount /dev/mapper/snap dv

我们在dv文件夹下创建一个内容为this is snap的文件file,然后,在snap的基础上再创建一个snap1,观察发生了什么:

[root@qingze tmp]# dmsetup message /dev/mapper/pool 0 "create_snap 2 1"
[root@qingze tmp]# dmsetup create snap1 --table "0 2097152 thin /dev/mapper/pool 2"
[root@qingze tmp]# mkdir dv1
[root@qingze tmp]# mount /dev/mapper/snap1 dv1
[root@qingze dv]# cd ..
[root@qingze tmp]# cd dv1
[root@qingze dv1]# lsfile lost+found [root@qingze dv1]# cat filethis is snap

可以发现包含同样的文件和内容。事实上,Docker正是以这种方式来创建容器的,读者可以执行以下命令来验证:

#在`metadata`文件夹下查看某个某个容器的`device_id`
[root@qingze metadata]# cat 3b363fd9d7dab4db9591058a3f43e806f6fa6f7e2744b63b2df4b84eadb0685a
{"device_id":910,"size":10737418240,"transaction_id":1817,"initialized":false}#创建并挂载snapshot
[root@qingze tmp]# dmsetup message /dev/mapper/docker-253:1-3020991-pool 0 "create_snap 6001 910"
[root@qingze tmp]# dmsetup create snap6 --table "0 20971520 thin /dev/mapper/docker-253:1-3020991-pool 6001"[root@qingze tmp]# mkdir dv6
[root@qingze tmp]# mount /dev/mapper/snap6 dv6
[root@qingze tmp]# cd dv6/
[root@qingze dv6]# lsid lost+found rootfs [root@qingze dv6]# cd rootfs/[root@qingze rootfs]# lsbin boot dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var

在本周日发布的本文下篇中,我们将继续对Aufs与Devicemapper的源码进行分析。


作者简介


王青泽,软件开发工程师。东北大学硕士,研究方向为基于Hadoop的多样性标签推荐。2014年毕业后就职于京东,参与并完成了基于Docker的Falcon自动化运维项目,因而对Docker产生了浓厚兴趣。邮箱:qingzew@126.com



回复关键词查看对应内容:

React | 架构师 | 运维 | 云 | 开源 | Kubernetes | 架构 | 人工智能 | Kafka | Docker | Netty | CoreOS | QCon | Github | Swift | 敏捷 | 语言 | 程序员 | 实践 | 物联网 |



如果想要评论本篇文章,想看下其他读者都有什么话想说,欢迎点击“阅读原文”参与讨论。


 
InfoQ 更多文章 Facebook如何实现PB级别数据库自动化备份 学术派Google软件工程师Matt Welsh谈移动开发趋势 Spotify为什么要使用一些“无聊”的技术? 妹纸们放假了,汉纸们做啥? 大多数重构可以避免
猜您喜欢 怎么保障云服务的安全?请来2016可信云大会看看(免费门票先到先得) 数据处理之—reshape2 MongoDB积极打造和培养开源的拥趸 为什么我不看苹果的发布会了 轻装上阵,欢乐共青