LunaixOS 项目
LunaixOS - 一个简单的、详细的、POSIX兼容的(希望如此!)、带有浓重个人风格的操作系统,由 Lunaix 内核驱动。开发过程以视频教程形式在Bilibili呈现:《从零开始自制操作系统系列》。
1. 一些实用资源
如果您有兴趣研究 Lunaix 内核代码及其设计,或想开始自己的操作系统开发之路,以下资料可能会有所帮助。
- 内核文档(Luna's Tour)
- LunaixOS源代码分析教程
- 作者修改的QEMU(添加了一些额外用于调试的功能)
2. 当前进度和支持的功能
Lunaix内核具有支持多种不同指令集架构的能力,目前支持如下:
- x86_32
- x86_64
Lunaix全部特性一览:
- 使用Multiboot进行引导启动
- Multiboot 1
- Multiboot 2(进行中)
- APIC/IOAPIC作为中断管理器和计时器
- ACPI
- 虚拟内存
- 架构中性设计
- 按需分页
- 写时复制
- 内存管理
- 进程模型
- 61个常见的Linux/POSIX系统调用(附录1)
- 用户/内核态隔离
- 信号机制
- PCI 3.0
- PCIe 1.1(进行中)
- 块设备IO与驱动
- 块IO通用缓存池
- Serial ATA AHCI
- ATA设备
- ATAPI封装的SCSI协议
- 文件系统(POSIX.1-2008,第5和10节)
- 虚拟文件系统
- 内核态文件系统(twifs,Lunaix自己的sysfs)
- 设备文件系统(devfs,Lunaix自己的udev)
- 进程文件系统(procfs)
- ISO9660
- ECMA-119
- IEEE P1282(Rock Ridge扩展)
- ext2
- 修订版0
- 修订版1(额外特性不支持)
- 远程GDB串口调试(COM1@9600Bd)
- 用户程序加载与执行
- 通用设备抽象层
- 架构中性的设备支持位于:
lunaix-os/hal
- 16550 UART
- ACPI(不完全实现)
- 架构相关的设备支持位于:
lunaix-os/arch/<ARCH>/hal
- x86
- APIC/IOAPIC 组合
- MC146818 RTC
- i8042 PS/2
- RNG(使用
rdrand
)
- x86
- 架构中性的设备支持位于:
- 通用图形设备抽象层(草案)
- 参考:
lunaix-os/hal/gfxa
- 参考:
- 虚拟终端设备接口(POSIX.1-2008,第11节)
- 参考:
lunaix-os/hal/term
- 参考:
- 线程模型
- 用户线程支持(pthread系列)
- 内核线程支持
- 抢占式内核设计
- 内核态上下文切换
- 内核态异常挂起/死锁自动检测机制
3. 目录结构
lunaix-os | LunaixOS源代码 |
slides | 视频中所用的幻灯片和补充材料 |
reference-material | 标准、技术文档和参考文献 |
4. 编译与构建
!如果想要立即构建并运行,请参考4.6!
构建该项目需要满足以下条件:
- gcc 工具链
- make
- xorriso
- grub-mkrescue
4.1 使用 GNU CC 工具链
与大多数内核一样,Lunaix 是一个混合了 C 和汇编的产物。这意味着你需要使用标准的C编译器来构建Lunaix。在这里,我推荐使用 GNU CC 工具链进行构建。因为Lunaix 在编写时使用了大量的GNU CC 相关编译器属性修饰 (__attribute__
)。如果使用其他工具链,如LLVM,我就不能做出任何保证了。
如果你使用的是基于 x86 指令集的Linux系统,不论是64位还是32位,其本机自带的gcc就足以编译Lunaix。当然,如果你的平台是其他非x86的,你也可以指定使用某个针对x86_32的gcc套件进行交叉编译——在make
时通过CX_PREFIX
变量来指定gcc套件的前缀。如下例所示,我们可以在任意平台上,如risc-v,单独使用一个面向x86_32的gcc进行交叉编译:
make CX_PREFIX=i686-linux-gnu- all
4.2 Docker镜像
对于开发环境,本项目也提供了Docker镜像封装。开箱即用,无需配置,非常适合懒人或惜时者。详细使用方法请转到:Lunaix OSDK项目。
4.3 构建选项
假若条件满足,那么可以直接执行make all
进行构建,完成后可在生成的build
目录下找到可引导的iso。
本项目支持的make命令:
命令 | 用途 |
---|---|
make all | 等价于 make image |
make image | 构建ISO镜像,可直接启动,使用ISO9660文件系统 |
make kernel | 构建内核ELF镜像,无法直接启动,需要引导程序 |
make clean | 删除构建缓存,用于重新构建 |
make config | 配置Lunaix |
与make命令配套的环境变量,Lunaix的makefile会自动检测这些环境变量,以更改构建行为
MODE={debug|release}
使用debug模式构建(-Og)或者release模式(-O2)ARCH=<isa>
为指定的指令集架构编译Lunaix。所使用的配置选项均为选定架构默认,该环境变量 存在的目的就是方便用户进行快速编译,而无需钻研Lunaix的种种配置项。
4.4 Lunaix的功能配置
Lunaix是一个可配置的内核,允许用户在编译前选择应当包含或移除的功能。
使用make config
来进行基于命令行的交互配置。呈现方式采用Shell的形式,所有的配置项按照类似于文件树的形式组织,如单个配置项为一个"文件",多个配置项组成的配置组为一个目录,呈现形式为方括号[]
包裹起来的项目。在提示符中输入usage
并回车可以查看具体的使用方法。
一个最常用的配置可能就是architecture_support/arch
了,也就是配置Lunaix所面向的指令集。比如,编译一个在x86_64平台上运行的Lunaix,在提示符中输入(注意等号两侧的空格,这是不能省略的):
/architecture_support/arch = x86_64
之后输入exit
保存并退出。然后正常编译。
4.5 设置内核启动参数
在 make 时通过CMDLINE
变量可以设置内核启动参数列表。该列表可以包含多个参数,通过一个或多个空格来分割。每个参数可以为键值对 <key>=<val>
或者是开关标志位 <flag>
。目前 Lunaix 支持以下参数:
console=<dev>
设置系统终端的输入输出设备(tty设备)。其中<dev>
是设备文件路径 (注意,这里的设备文件路径是针对Lunaix,而非Linux)。关于LunaixOS设备文件系统的介绍可参考 Lunaix Wiki(进行中)
如果CMDLINE
未指定,则将会载入默认参数:
console=/dev/ttyFB0
其中,/dev/ttyFB0
指向基于VGA文本模式的tty设备,也就是平时启动QEMU时看到的黑色窗口。
当然,读者也可以使用 /dev/ttyS0
作为默认tty设备,以验证 Lunaix 的灵活性与兼容性。该路径指向第一个串口设备。可以通过telnet协议在12345
端口上进行访问——端口号可以通过修改QEMU启动参数(位于:makeinc/qemu.mkinc
)来更改。
注意: 根据操作系统和键盘布局的不同,telnet客户端对一些关键键位的映射(如退格,回车)可能有所差别(如某些版本的Linux会将退格键映射为0x7f
,即ASCII的<DEL>
字符,而非通常的0x08
)。如果读者想要通过串口方式使用Lunaix,请修改usr/init/init.c
中的终端初始化代码,将VERASE
设置为正确的映射(修改方式可参考 POSIX termios 的使用方法。由于Lunaix的终端接口实现完全兼容POSIX,读者可以直接查阅Linux自带的帮助man termios
,无需作任何转换)
4.6 测试与体验 Lunaix
用户可以使用脚本live_debug.sh
来快速运行Lunaix。该脚本会自动按照默认选项构建Lunaix,然后调用 scripts/qemu.py
根据配置文件生成QEMU启动参数(配置文件位于scripts/qemus/
)
由于该脚本的主要用途是方便作者进行调试,所以在QEMU窗口打开后还需要进行以下操作:
- 使用telnet连接到
localhost:12345
,这里是Lunaix进行标准输入输出所使用的UART映射(QEMU为guest提供UART实现,并将其通过telnet协议重定向到宿主机) - 在GDB窗口中输入
c
然后回车,此时Lunaix开始运行。这样做的目的是允许在QEMU进行模拟前,事先设置感兴趣的断点。
该脚本的运行需要设置 ARCH=<isa>
环境变量,其值需要与编译时指定的值一致。
例如:
ARCH=x86_64 ./live_debug.sh
5. 运行,分支以及 Issue
5.1 代码稳定性
主分支通常是稳定的。因为在大多数情况下,我都会尽量确保本机运行无误后,才push到该分支。所有正在开发的功能请参考当前活跃的Pull Request。
如果主分支的运行出现了问题,欢迎提issue。请参考附录3:Issue的提交
6. 调试 Lunaix 内核
除了附录4:串口GDB远程调试描述的一种用于实机调试的方式外,LunaixOS还提供了LunaDBG调试套件。这是一个GDB客户端插件,包含了对GDB原生命令集的一些扩展,主要用于改善和简化内核调试过程。目前包含以下几个命令:
vmrs [pid]
列举进程<pid>
的内存区域图(Memory Regions),如果未指定<pid>
,则默认为正在运行的进程(smp=1)。proc [pid]
打印进程<pid>
的进程控制块状态,如果未指定<pid>
,则默认为正在运行的进程(smp=1)。sched <threads | procs> [-l]
查看调度器信息,接受两个参数:threads
打印所有在调度器中注册的线程procs
打印所有在调度器中注册的进程- 可选开关
-l
决定是否以长列表形式打印(更详细的信息)
该插件可以通过运行以下命令来安装:
./scripts/gdb/install_lunadbg
7. 参考教程
没有!!
本教程以及该操作系统的所有架构设计与实现均为原创。
对此,作者可以保证,该项目做到了三个 "没有":
- 没有 参考任何现有的操作系统开发教程或书籍。
- 没有 参考任何开源内核的源代码(包括Linux)。
- 没有 基于任何开源内核进行二次开发。
为了开发LunaixOS,作者花费了大量时间和精力研究技术文档、手册、理论书籍以及现行工业标准,从而尽可能保证了知识的一手性。(这样一来,读者和听众们也算是获得了二手知识,而不是三手、四手甚至n手的知识)。
大部分的文档和标准可以在上述的reference-material中找到。
当然,您也可以参考以下列表来了解当前阶段的LunaixOS使用了哪些资料(本列表会随开发进度更新):
手册,标准,技术文档
- Intel 64 and IA-32 Architecture Software Developer's Manual (Full Volume Bundle)
- ACPI Specification (version 6.4)
- IBM PC/AT Technical Reference
- IBM VGA/XGA Technical Reference
- 82093AA I/O Advanced Programmable Controller (IOAPIC) (Datasheet)
- MC146818A (Datasheet)
- Intel 500 Series Chipset Family Platform Controller Hub (Datasheet - Volume 2)
- PCI Local Bus Specification, Revision 3.0
- PCI Express Base Specification, Revision 1.1
- PCI Firmware Specification, Revision 3.0
- Serial ATA - Advanced Host Controller Interface (AHCI), Revision 1.3.1
- Serial ATA: High Speed Serialized AT Attachment, Revision 3.2
- SCSI Command Reference Manual
- ATA/ATAPI Command Set - 3 (ACS-3)
- ECMA-119 (ISO9660)
- Rock Ridge Interchange Protocol (RRIP: IEEE P1282)
- System Use Sharing Protocol (SUSP: IEEE P1281)
- Tool Interface Standard (TIS) Portable Formats Specification (Version 1.1)
免责声明:PCI相关标准的最终解释权归PCI-SIG所有。此处提供的副本仅供个人学习使用。任何商业用途须向PCI-SIG购买。
理论书籍
- Computer System - A Programmer's Perspective Third Edition (CS:APP) (Bryant, R & O'Hallaron, D)
- Modern Operating System (Tanenbaum, A)
网站
- OSDev - 适合快速入门和一些文档手册的总结。
- FreeVGA - 98年的资源!关于VGA编程技术的宝藏网站。
- GNU CC 和 GNU LD 的官方文档。
- PCI Lookup - PCI设备编号查询
其他
- Linux Manual - 用于查询*nix API的一些具体行为。
附录1:实现的 POSIX 系统接口
LunaixOS 提供了以下POSIX系统接口的实现。内核定义的系统调用号可以参考 LunaixOS系统调用表 。
sleep(3)
wait(2)
waitpid(2)
fork(2)
getpid(2)
getppid(2)
getpgid(2)
setpgid(2)
brk(2)
sbrk(2)
_exit(2)
sigreturn(2)
sigprocmask(2)
sigaction(2)
kill(2)
sigpending(2)
sigsuspend(2)
read(2)
write(2)
open(2)
close(2)
mkdir(2)
lseek(2)
readdir(2)
readlink(2)
readlinkat(2)
rmdir(2)
unlink(2)
unlinkat(2)
link(2)
※fsync(2)
dup(2)
dup2(2)
symlink(2)
chdir(2)
fchdir(2)
getcwd(2)
rename(2)
※mount(2)
unmount
(又名umount(2)
)※getxattr(2)
※setxattr(2)
※fgetxattr(2)
※fsetxattr(2)
※ioctl(2)
getpgid(2)
setpgid(2)
mmap(2)
munmap(2)
execve(2)
poll(2)
(通过pollctl
)epoll_create(2)
(通过pollctl
)epoll_ctl(2)
(通过pollctl
)epoll_wait(2)
(通过pollctl
)pthread_create
pthread_self
pthread_exit
pthread_join
pthread_kill
pthread_detach
pthread_sigmask
(※:该系统调用暂未经过测试)
附录2:Issue的提交
如果Lunaix运行出现任何问题,请按照以下描述在Issue中提供详细信息。
- 可用于复现问题的描述和指引(如Lunaix运行平台的软硬件配置)
- 错误症状描述
- LunaixOS在panic时打印的调试信息(如无法复制,可以截图)
附录3:串口GDB远程调试
(该功能正在重构,目前不可用)
LunaixOS内核集成了最基本的GDB远程调试服务器。可通过串口COM1在9600波特率上与之建立连接。但是,在将GDB与内核连接之前,还需要让内核处于调试模式。
要进入调试模式,需要往串口(波特率如上)写入字节串 0x40
0x63
0x6D
0x63
。此时,如果屏幕底部出现一条品红色背景的DEBUG
字样,那么就说明LunaixOS已处于调试模式。
注意,此时LunaixOS会开始在COM1
上监听GDB协议信息,并暂停所有活动(如调度,以及对外部中断的一切响应)。用户此时需要将GDB与其挂载,并使用GDB的工作流来指示内核下一步的动作。
目前,为了防止代码过于臃肿,LunaixOS实现的是GDB远程协议要求的最小服务端命令子集:g
, G
, p
, P
, Q
, S
, k
, ?
, m
, M
, X
。这足以满足大部分的调试需求。
当结束调试时,请使用GDB的kill
指令断开连接。注意,这个指令会使LunaixOS恢复所有暂停的活动,进入正常的运行序列,但不会退出调试模式。GDB的挂载请求在LunaixOS中仍享有最高优先权。如需退出调试模式,需要往串口写入字节串:0x40
0x79
0x61
0x79
。