1.開場白
環(huán)境：
處理器架構(gòu)：arm64
內(nèi)核源碼：linux-5.9.2
ubuntu版本：20.04.1
代碼閱讀工具：vim+ctags+cscope
對于Ｌinux愛好者，你是否也有這樣的困擾,，為了學習Ｌinux而去購買昂貴的開發(fā)版,，這大可不必，QEMU模擬器幾乎可以滿足你的需求,，足夠你去學習Linux,，它能夠模擬x86, arm, riscv等各種處理器架構(gòu)，本文將向你呈現(xiàn)的不是QEMU/虛擬化的原理解讀,，而是如何搭建一個用于學習linux的QEMU環(huán)境,，當然對于Ｌinux內(nèi)核的學習這已經(jīng)足夠了。
注：這篇文章是之前寫的,，當時最新內(nèi)核版本是linux-5.9.２,，不想做重復工作，現(xiàn)在基本上都使用linux-5.11內(nèi)核講解代碼,，但是qemu環(huán)境搭建基本一致,，且本文暫不涉及虛擬化講解。
2.交叉編譯工具鏈的安裝
工欲善其事必先利其器,，搭建ＱＥＭＵ的模擬環(huán)境首先需要下載安裝對應架構(gòu)的交叉編譯工具鏈(這里是arm64架構(gòu)):
注：有時候需要安裝一些依賴,，根據(jù)提示安裝即可！
$ sudo apt-get install gcc-aarch64-linux-gnu `
安裝完成之后查看版本說明安裝完成：
$ aarch64-linux-gnu-gcc -v
Using built-in specs.
COLLECT_GCC=aarch64-linux-gnu-gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc-cross/aarch64-linux-gnu/5/lto-wrapper
Target: aarch64-linux-gnu
Configured with: ../src/configure -v --with-pkgversion='Ubuntu/Linaro 5.5.0-12ubuntu1' --with-bugurl=file:///usr/share/doc/gcc-5/README.Bugs --enable-languages=c,ada,c++,go,d,fortran,objc,obj-c++ --prefix=/usr --program-suffix=-5 --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --with-sysroot=/ --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-libquadmath --enable-plugin --enable-default-pie --with-system-zlib --enable-multiarch --enable-fix-cortex-a53-843419 --disable-werror --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=aarch64-linux-gnu --program-prefix=aarch64-linux-gnu- --includedir=/usr/aarch64-linux-gnu/include
Thread model: posix
gcc version 5.5.0 20171010 (Ubuntu/Linaro 5.5.0-12ubuntu1)
3.QEMU的安裝
下面安裝我們的QEMU,，當然我們可以下載QEMU的源碼通過編譯的方式安裝,，但這里我們是直接apt-get的這種方式安裝：
$ sudo apt-get install qemu-system-arm
安裝完成之后同樣查看版本號：
$ qemu-system-aarch64 --version
QEMU emulator version 4.2.0
Copyright (c) 2003-2019 Fabrice Bellard and the QEMU Project developers
說明安裝成功！
4．根文件系統(tǒng)制作
這一步我們將要完成的是最小的根文件系統(tǒng),，雖然是最小的根文件系統(tǒng),，但是我們還是希望能夠運行動態(tài)編譯的應用程序，具體的制作過程如下：
１）首先準備下載一份Busybox源碼：Busybox的官方源碼下載路徑為：
http:///downloads/
這里我們使用的是busybox-1.28.1：
2）解壓源碼
tar xvf busybox-1.28.1.tar.bz2
3）進入源碼目錄
cd busybox-1.28.1
4)指定工具鏈
export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-
5)配置
make menuconfig
1
靜態(tài)編譯：
Settings --->
[*] Build static binary (no shared libs)
6)編譯安裝
make
make install
7)完善其他目錄結(jié)構(gòu)
上面我們編譯安裝完成之后會在busybox源碼目錄的_install目錄下生成必要的一些文件：
$ ls
bin linuxrc sbin usr
可以看到都是一些命令相關的文件已經(jīng)作為init進程的linuxrc,，缺少其他的一些配置文件等目錄,，所以需要進一步完善。
我們來創(chuàng)建其他需要的目錄：
mkdir dev etc lib sys proc tmp var home root mnt
我們主要需要更新etc,、dev和lib目錄：
１）對于etc目錄的更新：
添加profile文件：
#!/bin/sh
export HOSTNAME=liebao
export USER=root
export HOME=/home
export PS1='[$USER@$HOSTNAME \W]\# '
PATH=/bin:/sbin:/usr/bin:/usr/sbin
LD_LIBRARY_PATH=/lib:/usr/lib:$LD_LIBRARY_PATH
export PATH LD_LIBRARY_PATH
可以看到我們自定義了命令提示符,，cd進入了我們制定的家目錄homes,導出了環(huán)境變量。
添加inittab文件：
::sysinit:/etc/init.d/rcS
::respawn:-/bin/sh
::askfirst:-/bin/sh
::ctrlaltdel:/bin/umount -a -r
這個是init進程解析的配置文件,，通過這個配置文件決定執(zhí)行哪個進程,，何時執(zhí)行,。
添加fstab文件：
#device mount-point type options dump fsck order
proc /proc proc defaults 0 0
tmpfs /tmp tmpfs defaults 0 0
sysfs /sys sysfs defaults 0 0
tmpfs /dev tmpfs defaults 0 0
debugfs /sys/kernel/debug debugfs defaults 0 0
kmod_mount /mnt 9p trans=virtio 0 0
指定掛載的文件系統(tǒng)。
創(chuàng)建init.d目錄：
mkdir init.d
init.d下添加rcS文件：
mkdir -p /sys
mkdir -p /tmp
mkdir -p /proc
mkdir -p /mnt
/bin/mount -a
mkdir -p /dev/pts
mount -t devpts devpts /dev/pts
echo /sbin/mdev > /proc/sys/kernel/hotplug
mdev -s
到此我們etc下的文件都制作好了,目錄結(jié)構(gòu)如下：
$ tree
.
├── fstab
├── init.d
│ └── rcS
├── inittab
└── profile
1 directory, 4 files
２）制作dev下必要文件：
cd dev/
sudo mknod console c 5 1
- 制作lib下必要文件：為了支持動態(tài)編譯的應用程序的執(zhí)行,，根文件系統(tǒng)需要支持動態(tài)庫,，所以我們添加arm64相關的動態(tài)庫文件到lib下：
cd lib
cp /usr/aarch64-linux-gnu/lib/*.so* -a .
對庫文件進行瘦身（去除符號表和調(diào)試信息）,使得庫文件變小：
aarch64-linux-gnu-strip *
至此,，我們的最小的根文件系統(tǒng)已經(jīng)全部制作完成,！
5．內(nèi)核源碼的編譯
１）下載最新的Ｌiunx內(nèi)核源碼：
官網(wǎng)下載最新的Ｌinux-5.9.２內(nèi)核：http://www./pub/linux/kernel/
２）解壓
tar xvf linux-5.9.2.tar.xz
３）放置根文件系統(tǒng)到源碼目錄：
cd linux-5.9.2
cp ../../busybox-1.31.1/_install _install_arm64 -a
４）配置
添加hotplug支持：
diff --git a/arch/arm64/configs/defconfig b/arch/arm64/configs/defconfig
index 6d04b9577..f89143b69 100644
--- a/arch/arm64/configs/defconfig
+++ b/arch/arm64/configs/defconfig
@@ -1043,3 +1043,6 @@ CONFIG_DEBUG_KERNEL=y
#CONFIG_DEBUG_PREEMPT is not set
#CONFIG_FTRACE is not set
CONFIG_MEMTEST=y
+
+CONFIG_UEVENT_HELPER=y
+CONFIG_UEVENT_HELPER_PATH='/sbin/hotplug'
添加initramfs的支持：
diff --git a/arch/arm64/configs/defconfig b/arch/arm64/configs/defconfig
index f89143b69..caa7a34bf 100644
--- a/arch/arm64/configs/defconfig
+++ b/arch/arm64/configs/defconfig
@@ -1046,3 +1046,5 @@ CONFIG_MEMTEST=y
CONFIG_UEVENT_HELPER=y
CONFIG_UEVENT_HELPER_PATH='/sbin/hotplug'
+
+CONFIG_INITRAMFS_SOURCE='_install_arm64'
４）編譯
現(xiàn)在進行漫長的編譯過程，編譯的快慢取決于電腦的性能：
export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-
make defconfig
make all -j8
6.開始體驗
１）創(chuàng)建共享目錄
$ mkdir kmodules
用于主機和qemu運行的系統(tǒng)進行共享文件,。
２）運行ｑｅｍｕ模擬器：
qemu-system-aarch64 -machine virt -cpu cortex-a57 -machine type=virt \
-m 1024 -smp 4 -kernel arch/arm64/boot/Image --append 'rdinit=/linuxrc root=/dev/vda rw console=ttyAMA0 loglevel=8' -nographic \
--fsdev local,id=kmod_dev,path=$PWD/kmodules,security_model=none \
-device virtio-9p-device,fsdev=kmod_dev,mount_tag=kmod_mount
其中：-cpu指定了模擬的cpu為 cortex-a57,，-m 1024 指定內(nèi)存大小為１Ｇ, -smp 4指定模擬的系統(tǒng)為４核處理器 ，-kernel指定啟動的內(nèi)核鏡像,， --append指定傳遞的命令行參數(shù),，后面的選項指定共享目錄已經(jīng)使用的９P協(xié)議。
運行起來之后就進入了跟文件系統(tǒng)：
Please press Enter to activate this console.
[root@liebao ]#
[root@liebao ]#
[root@liebao ]#
[root@liebao ]# uname -a
Linux (none) 5.9.2-gacff57f0a #1 SMP PREEMPT Sat Oct 31 11:03:25 CST 2020 aarch64 GNU/Linux
可以看到內(nèi)核版本是我們編譯的新的Ｌinux-5.9.２內(nèi)核,，到處我們成功搭建了ＱＥＭＵ環(huán)境來運行我們的新內(nèi)核,。
３）使用模擬磁盤
上面我們使用initramfs的方式將我們的根文件系統(tǒng)的目錄直接打包到內(nèi)核源碼，成為了內(nèi)核的一部分,，當然這個時候可以操作文件,，但是文件都是在內(nèi)存中，系統(tǒng)重啟就會丟失,，所以下面我們使用模擬磁盤的方式來掛載根文件系統(tǒng),。
制作磁盤文件：
dd if=/dev/zero of=rootfs_ext4.img bs=1M count=8192
mkfs.ext4 rootfs_ext4.img
mkdir -p tmpfs
mount -t ext4 rootfs_ext4.img tmpfs/ -o loop
cp -af _install_arm64/* tmpfs/
umount tmpfs
rm -rf tmpfs
chmod 777 rootfs_ext4.img
執(zhí)行qemu命令：
qemu-system-aarch64 -machine virt -cpu cortex-a57 -machine type=virt \
-m 1024 -smp 4 -kernel arch/arm64/boot/Image --append 'noinitrd root=/dev/vda rw console=ttyAMA0 loglevel=8' -nographic \
-driver if=none,file=rootfs_ext4.img,id=hd0 \
-device virtio-blk-device,drive=hd0 \
--fsdev local,id=kmod_dev,path=$PWD/kmodules,security_model=none \
-device virtio-9p-device,fsdev=kmod_dev,mount_tag=kmod_mount
我們可以發(fā)現(xiàn)，傳遞給內(nèi)核的命令行參數(shù)變化了,，添加了noinitrd選項,，這樣就會掛載我們自己的模擬磁盤。
同樣能進入到最小文件系統(tǒng),，但是這次我們查看：
[root@liebao ]# df -mh
Filesystem Size Used Available Use% Mounted on
/dev/root 7.8G 148.5M 7.3G 2% /
devtmpfs 468.4M 0 468.4M 0% /dev
tmpfs 489.8M 0 489.8M 0% /tmp
kmod_mount 901.1G 672.5G 182.8G 79% /mnt
可以看到大小為８Ｇ的磁盤可以我們使用,，而且文件的操作重啟之后不會丟失！??！
４）共享文件
前面已經(jīng)支持了主機和ｑｅｍｕ上的系統(tǒng)共享目錄，這個目錄就是kmodules目錄：通過mount可以查看被掛載到了ｑｅｍｕ上的系統(tǒng)的/mnt目錄下
在主機的內(nèi)核源碼目錄的kmodules目錄中ｅｃｈｏ一個文件：
$ echo 'Hello QEMU' > test.txt
然后進入到我們啟動ｑｅｍｕ的內(nèi)核根文件系統(tǒng)的/mnt目錄：
[root@liebao ]# cd /mnt/
[root@liebao mnt]# ls
[root@liebao mnt]# ls
test.txt
[root@liebao mnt]#
[root@liebao mnt]# cat test.txt
Hello QEMU
可以看到我們之前寫的文件,，共享目錄ＯＫ!
5）測試
－>應用測試：我們來寫一個簡單的hello world應用程序,，體驗一下在ＱＥＭＵ中的系統(tǒng)執(zhí)行：源碼如下：
#include <stdio.h>
int main(int argc, char **argv)
{
printf('Hello World, QEMU!!!\n');
return 0;
}
然后使用交叉編譯工具鏈動態(tài)編譯：
$ aarch64-linux-gnu-gcc test.c -o test
拷貝到共享目錄下：
cp test ../../kmodules/
在ＱEMU系統(tǒng)中，進入/mnt目錄下執(zhí)行：
[root@liebao mnt]# ./test
Hello World, QEMU!!!
可以發(fā)現(xiàn)被成功執(zhí)行了,，說明模擬出來的系統(tǒng)可以運行應用程序,，而且可以使用動態(tài)鏈接庫！??！
->內(nèi)核模塊測試：下面寫一個簡單的內(nèi)核模塊：
Ｍakefile文件：
export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-
KERNEL_DIR ?= /home/hanch/study/kernel/linux-5.9.2
obj-m := module_test.o
modules:
$(MAKE) -C $(KERNEL_DIR) M=$(PWD) modules
clean:
$(MAKE) -C $(KERNEL_DIR) M=$(PWD) clean
install:
cp *.ko $(KERNEL_DIR)/kmodules
內(nèi)核模塊文件module_test.c：
#include <linux/init.h>
#include <linux/module.h>
#include <linux/kernel.h>
static int __init module_test_init(void)
{
printk('module_test_init\n');
return 0;
}
static void __exit module_test_exit(void)
{
printk('module_test_exit\n');
}
module_init(module_test_init);
module_exit(module_test_exit);
MODULE_LICENSE('GPL');
編譯拷貝：
$ make modules
make -C /home/hanch/study/kernel/linux-5.9.2 M=/home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg modules
make[1]: 進入目錄“/home/hanch/study/kernel/linux-5.9.2”
CC [M] /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.o
MODPOST /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/Module.symvers
CC [M] /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.mod.o
LD [M] /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.ko
make[1]: 離開目錄“/home/hanch/study/kernel/linux-5.9.2”
$ make install
cp *.ko /home/hanch/study/kernel/linux-5.9.2/kmodules
到QEMU的內(nèi)核系統(tǒng)中,，進入/mnt目錄下：執(zhí)行模塊的插入/移除:
[root@liebao mnt]# insmod module_test.ko
[ 1406.614976] module_test_init
[root@liebao mnt]# lsmod
module_test 16384 0 - Live 0xffff800008d40000 (O)
[root@liebao mnt]# rmmod module_test
[ 1424.748114] module_test_exit
內(nèi)核模塊也正常運行！??！
文章到這里關于ＱＥＭＵ體驗最新的Ｌinux內(nèi)核已經(jīng)完成了，當然ＱＥＭＵ有多功能在此不在描述,，目前配置的ＱＥＭＵ環(huán)境已經(jīng)足夠內(nèi)核的學習和實際,，只有大量的內(nèi)核源代碼＋在一種體系架構(gòu)的處理器上實際內(nèi)核才能真正的去理解內(nèi)核的實現(xiàn)機理，才能更好去使用內(nèi)核,。
