WINDOWS内核原理与实现.pdf

中文名: WINDOWS内核原理与实现 作者: 潘爱民 资源格式: PDF 版本: 扫描版 出版社: 电子工业出版社书号: 9787121105289发行时间: 2010年5月 地区: 大陆 语言: 简体中文 简介: [内容简介：] 　　本书从操作系统原理的角度，详细解析了windows如何实现现代操作系统的各个关键部件，包括进程、线程、物理内存和虚拟内存的管理，windows中的同步和并发性支持，以及windows的i/o模型。在介绍这些关键部件时，本书直接以windows的源代码（wrk, windows research kernel）为参照，因而读者可以了解像windows这样的复杂操作系统是如何在x86处理器上运行的。 　　在内容选取方面， 本书侧重于windows内核中最基本的系统部件，同时也兼顾到作为一个操作系统的完整性，所以，本书也介绍了像存储体系、网络、windows环境子系统等，这些虽然并不位于内核模块但却支撑整个windows运行的重要部件。在本书最后，也介绍了windows server 2003以后的内核发展和变化。 　　虽然书中有大量关于windows代码实现的描述，但是本书并没有罗列wrk中的代码，即使读者不对照wrk的源代码，也可以从这些章节的描述中理解windows的实现机理。在每一个技术专题的介绍中，本书几乎都提供了一个框架图，并且有关键细节的实现分析，这样做的意图是让读者既能够对一项技术有总体上的把握，也通晓关键的实现细节。 　　 windows操作系统已经有20年历史了，市面上有大量关于windows技术的文档和书籍，但是，真正从源代码来诠释windows底层机理的，本书还是第一次尝试。在本书覆盖的内容中，有相当一部分是第一次以文字形式披露出来的，期望这些内容能消除人们对于windows的神秘感。 　　写作本书的目的是让对windows有好奇心的人真正了解到windows中的核心机理，让计算机专业的学生和老师，以及系统软件工程师可以快速地领略到windows中先进的系统技术，以及在windows上编写出更加高效的软件。本书也配备了一些小工具，通过这些小工具，读者可以查看内核中的静态或动态的信息，甚至观察系统的行为，可通过internet下载这些工具。 目录: 第1章 概述 1 1.1 操作系统基础 2 1.1.1 计算机系统的硬件资源管理 2 1.1.2 为应用程序提供执行环境 5 1.2 学习操作系统之必备知识 7 1.3 windows操作系统发展历史 9 1.4 windows内核的版本 11 1.5 操作系统的研究与发展 13 1.6 本章总结 16 第2章 windows系统总述 17 2.1 现代操作系统的基本结构 17 2.2 windows系统结构 18 2.2.1 windows内核结构 20 2.2.2 windows内核中的关键组件 22 2.2.3 windows子系统 29 2.2.4 系统线程和系统进程 32 2.3 关于windows研究内核 34 2.3.1 wrk包含了什么 35 2.3.2 wrk源代码说明 36 2.3.3 本书对wrk源代码的引用 38 .2.4 windows内核的基本概念 39 2.4.1 处理器模式 40 2.4.2 内存管理 41 2.4.3 进程和线程管理 43 2.4.4 中断和异常 45 2.4.5 同步 48 2.5 windows内核中的公共管理设施 50 2.5.1 windows内核中的对象管理 50 2.5.2 注册表和配置管理器 58 2.5.3 事件追踪(etw) 69 2.5.4 安全性管理 72 2.6 windows引导过程 79 2.6.1 内核加载 79 2.6.2 内核初始化 86 2.6.3 建立用户登录会话 91 2.7 本章总结 97 第3章 windows进程和线程 99 3.1 进程基本概念 99 3.1.1 多进程模型 99 3.1.2 进程和程序 101 3.2 线程基本概念 104 3.2.1 线程模型 104 3.2.2 线程调度算法 106 3.2.3 线程和进程的关系 108 3.3 windows中进程和线程数据结构 108 3.3.1 内核层的进程和线程对象 108 3.3.2 执行体层的进程和线程对象 120 3.4 windows的进程和线程管理 131 3.4.1 windows进程中的句柄表 131 3.4.2 获得当前线程和进程 136 3.4.3 进程和线程的创建过程 137 3.4.4 进程和线程的结束 147 3.4.5 系统初始进程和线程 149 3.5 windows中的线程调度 151 3.5.1 线程优先级 152 3.5.2 线程状态转移 154 3.5.3 时限管理 164 3.5.4 优先级调度和环境切换 166 3.6 进程和线程状态监视工具 172 3.6.1 procmon使用示例 172 3.6.2 procmon实现原理 174 3.7 本章总结 174 第4章 windows内存管理 175 4.1 内存管理概述 176 4.1.1 页式内存管理 177 4.1.2 段式内存管理 181 4.1.3 内存管理算法介绍 184 4.1.4 windows内存管理概述 192 4.2 windows系统内存管理 194 4.2.1 系统地址空间初始化 194 4.2.2 系统地址空间内存管理 209 4.2.3 系统pte区域的管理 224 4.3 进程虚拟内存管理 229 4.3.1 地址空间的创建和初始化 229 4.3.2 地址空间切换 234 4.3.3 虚拟地址空间的管理 235 4.3.4 内存区对象 241 4.4 内存页面交换 249 4.4.1 x86中的pte 250 4.4.2 软件pte：无效pte和原型pte 253 4.4.3 页面错误处理 257 4.4.4 windows的写时复制 263 4.5 物理内存管理 265 4.5.1 pfn数据库 265 4.5.2 物理页面的状态变化 270 4.5.3 物理页面链表的管理和操作 274 4.5.4 修改页面写出器 279 4.5.5 进程/栈交换器 281 4.5.6 低内存通知和高内存通知 284 4.6 工作集管理 285 4.6.1 windows工作集管理器 285 4.6.2 平衡集管理器 291 4.7 内存监视工具mem_mon 292 4.7.1 mem_mon使用介绍 292 4.7.2 mem_mon实现原理 293 4.8 本章总结 294 第5章 windows中的并发和同步 295 5.1 进程和线程同步基础 295 5.1.1 并发性基础 296 5.1.2 进程或线程之间的通讯 299 5.1.3 经典的同步问题 303 5.2 windows中断与异常 308 5.2.1 硬件中断的发生和处理 308 5.2.2 中断请求级别(irql) 314 5.2.3 中断对象 317 5.2.4 dpc(延迟过程调用) 320 5.2.5 时钟中断和定时器管理 324 5.2.6 apc(异步过程调用) 328 5.2.7 异常分发 333 5.3 不依赖于线程调度的同步机制 340 5.3.1 提升irql实现数据同步 340 5.3.2 互锁操作 342 5.3.3 无锁的单链表实现 343 5.3.4 自旋锁 345 5.4 基于线程调度的同步机制 351 5.4.1 线程进入等待 351 5.4.2 分发器对象 358 5.4.3 门等待 365 5.4.4 执行体资源(executive resource) 367 5.4.5 推锁(push lock) 370 5.4.6 死锁 375 5.5 使用工具dperflite 376 5.5.1 dperflite使用示例 376 5.5.2 dperflite实现原理 378 5.6 本章总结 379 第6章 windows i/o系统 381 6.1 i/o概述 382 6.1.1 现代计算机系统的i/o 382 6.1.2 i/o软件技术 386 6.1.3 windows的i/o系统结构 388 6.2 i/o管理器 390 6.2.1 驱动程序初始化 390 6.2.2 驱动程序对象和设备对象 397 6.2.3 文件对象 401 6.2.4 对象生命周期管理 405 6.3 即插即用管理器 406 6.3.1 即插即用的基本要求 407 6.3.2 windows中驱动程序的即插即用支持 408 6.3.3 设备列举与设备树 409 6.4 电源管理器 411 6.4.1 电源管理概述 412 6.4.2 windows中的电源管理 415 6.5 设备驱动程序 420 6.5.1 驱动程序分类 420 6.5.2 例子驱动程序toaster 423 6.5.3 驱动程序的代码结构 425 6.5.4 toaster设备的设备栈 430 6.5.5 过滤驱动程序的配置和加载 431 6.5.6 非即插即用驱动程序 435 6.6 i/o处理 437 6.6.1 i/o请求包(irp) 438 6.6.2 针对独立设备对象的i/o处理 444 6.6.3 处理i/o请求过程中的事项 449 6.6.4 针对设备栈的i/o处理 459 6.6.5 i/o完成端口 463 6.7 i/o监视工具irpmon 466 6.7.1 irpmon使用介绍 466 6.7.2 irpmon实现原理 467 6.8 本章总结 468 第7章 windows存储管理 469 7.1 存储管理概述 469 7.1.1 硬件存储体系(memory hierarchy) 470 7.1.2 windows的存储管理结构 472 7.2 windows缓存管理 474 7.2.1 windows缓存空间的内存管理 474 7.2.2 缓存管理器的数据访问路径 481 7.2.3 直接使用缓存中的数据 484 7.2.4 缓存管理器的预读处理 491 7.2.5 缓存管理器的延迟写 494 7.3 windows卷管理 497 7.3.1 windows中存储栈结构 497 7.3.2 卷的挂载 501 7.3.3 卷与文件系统 504 7.3.4 文件对象的i/o处理 508 7.4 windows文件系统 510 7.4.1 文件系统驱动程序结构 511 7.4.2 raw文件系统和fsrtl 516 7.4.3 文件系统的过滤 520 7.4.4 fat文件系统 527 7.4.5 ntfs文件系统 532 7.5 本章总结 540 第8章 windows系统服务 541 8.1 windows系统服务原理 541 8.1.1 intel x86的用户模式-内核模式切换 541 8.1.2 windows的用户模式-内核模式切换 546 8.1.3 windows中的系统服务分发 550 8.1.4 增加系统服务表或表项 557 8.2 lpc(本地过程调用)服务 561 8.2.1 lpc结构模型 561 8.2.2 lpc端口和lpc消息 563 8.2.3 lpc通讯模型的实现 565 8.2.4 lpc应用 571 8.3 命名管道(named pipe)服务 573 8.3.1 命名管道的名称解析 573 8.3.2 命名管道的通讯模型 575 8.3.3 命名管道的实现 577 8.4 邮件槽(mailslot)服务 580 8.4.1 邮件槽的名称解析 580 8.4.2 邮件槽的通讯模型 581 8.4.3 邮件槽的实现 581 8.5 sdt显示工具sdtviewer 583 8.5.1 sdtviewer使用介绍 583 8.5.2 sdtviewer实现原理 584 8.6 本章总结 585 第9章 windows内核高级话题 587 9.1 网络 587 9.1.1 windows网络体系结构 587 9.1.2 tdi(传输驱动程序接口) 591 9.1.3 ndsi(网络驱动程序接口规范) 594 9.1.4 windows vista以后的网络结构 597 9.2 windows子系统 599 9.2.1 windows子系统结构 599 9.2.2 windows子系统初始化与gui线程 602 9.2.3 窗口管理 606 9.2.4 gdi(图形设备接口) 616 9.2.5 windows vista以后的子系统变化 622 9.3 内核日志 625 9.3.1 wrk中的内核记录器 625 9.3.2 利用etw信息诊断性能问题 628 9.4 windows vista/server 2008/7的重要变化 636 9.4.1 minwin工程 636 9.4.2 ？？ 639 附录a 建立编译和调试wrk环境 641 a.1 编译wrk 641 a.2 启动wrk 645 a.3 调试wrk 648 附录b 内核代码插入工具kinjecttoolkit 657 b.1 kinjecttoolkit功能介绍 658 b.2 kinjecttoolkit的代码实现 659 b.3 kinjecttoolkit的限制 663 本书侧重于windows内核中最基本的系统部件，同时也兼顾到作为一个操作系统的完整性，所以，本书也介绍了像存储体系、网络、windows环境子系统等，这些虽然并不位于内核模块但却支撑整个windows运行的重要部件。在本书最后，也介绍了windows server 2003以后的内核发展和变化。 　　虽然书中有大量关于windows代码实现的描述，但是本书并没有罗列wrk中的代码，即使读者不对照wrk的源代码，也可以从这些章节的描述中理解windows的实现机理。在每一个技术专题的介绍中，本书几乎都提供了一个框架图，并且有关键细节的实现分析，这样做的意图是让读者既能够对一项技术有总体上的把握，也通晓关键的实现细节。 　　 windows操作系统已经有20年历史了，市面上有大量关于windows技术的文档和书籍，但是，真正从源代码来诠释windows底层机理的，本书还是第一次尝试。在本书覆盖的内容中，有相当一部分是第一次以文字形式披露出来的，期望这些内容能消除人们对于windows的神秘感。 　　写作本书的目的是让对windows有好奇心的人真正了解到windows中的核心机理，让计算机专业的学生和老师，以及系统软件工程师可以快速地领略到windows中先进的系统技术，以及在windows上编写出更加高效的软件。本书也配备了一些小工具，通过这些小工具，读者可以查看内核中的静态或动态的信息，甚至观察系统的行为，可通过internet下载这些工具。 目录: 第1章 概述 1 1.1 操作系统基础 2 1.1.1 计算机系统的硬件资源管理 2 1.1.2 为应用程序提供执行环境 5 1.2 学习操作系统之必备知识 7 1.3 windows操作系统发展历史 9 1.4 windows内核的版本 11 1.5 操作系统的研究与发展 13 1.6 本章总结 16 第2章 windows系统总述 17 2.1 现代操作系统的基本结构 17 2.2 windows系统结构 18 2.2.1 windows内核结构 20 2.2.2 windows内核中的关键组件 22 2.2.3 windows子系统 29 2.2.4 系统线程和系统进程 32 2.3 关于windows研究内核 34 2.3.1 wrk包含了什么 35 2.3.2 wrk源代码说明 36 2.3.3 本书对wrk源代码的引用 38 .2.4 windows内核的基本概念 39 2.4.1 处理器模式 40 2.4.2 内存管理 41 2.4.3 进程和线程管理 43 2.4.4 中断和异常 45 2.4.5 同步 48 2.5 windows内核中的公共管理设施 50 2.5.1 windows内核中的对象管理 50 2.5.2 注册表和配置管理器 58 2.5.3 事件追踪(etw) 69 2.5.4 安全性管理 72 2.6 windows引导过程 79 2.6.1 内核加载 79 2.6.2 内核初始化 86 2.6.3 建立用户登录会话 91 2.7 本章总结 97 第3章 windows进程和线程 99 3.1 进程基本概念 99 3.1.1 多进程模型 99 3.1.2 进程和程序 101 3.2 线程基本概念 104 3.2.1 线程模型 104 3.2.2 线程调度算法 106 3.2.3 线程和进程的关系 108 3.3 windows中进程和线程数据结构 108 3.3.1 内核层的进程和线程对象 108 3.3.2 执行体层的进程和线程对象 120 3.4 windows的进程和线程管理 131 3.4.1 windows进程中的句柄表 131 3.4.2 获得当前线程和进程 136 3.4.3 进程和线程的创建过程 137 3.4.4 进程和线程的结束 147 3.4.5 系统初始进程和线程 149 3.5 windows中的线程调度 151 3.5.1 线程优先级 152 3.5.2 线程状态转移 154 3.5.3 时限管理 164 3.5.4 优先级调度和环境切换 166 3.6 进程和线程状态监视工具 172 3.6.1 procmon使用示例 172 3.6.2 procmon实现原理 174 3.7 本章总结 174 第4章 windows内存管理 175 4.1 内存管理概述 176 4.1.1 页式内存管理 177 4.1.2 段式内存管理 181 4.1.3 内存管理算法介绍 184 4.1.4 windows内存管理概述 192 4.2 windows系统内存管理 194 4.2.1 系统地址空间初始化 194 4.2.2 系统地址空间内存管理 209 4.2.3 系统pte区域的管理 224 4.3 进程虚拟内存管理 229 4.3.1 地址空间的创建和初始化 229 4.3.2 地址空间切换 234 4.3.3 虚拟地址空间的管理 235 4.3.4 内存区对象 241 4.4 内存页面交换 249 4.4.1 x86中的pte 250 4.4.2 软件pte：无效pte和原型pte 253 4.4.3 页面错误处理 257 4.4.4 windows的写时复制 263 4.5 物理内存管理 265 4.5.1 pfn数据库 265 4.5.2 物理页面的状态变化 270 4.5.3 物理页面链表的管理和操作 274 4.5.4 修改页面写出器 279 4.5.5 进程/栈交换器 281 4.5.6 低内存通知和高内存通知 284 4.6 工作集管理 285 4.6.1 windows工作集管理器 285 4.6.2 平衡集管理器 291 4.7 内存监视工具mem_mon 292 4.7.1 mem_mon使用介绍 292 4.7.2 mem_mon实现原理 293 4.8 本章总结 294 第5章 windows中的并发和同步 295 5.1 进程和线程同步基础 295 5.1.1 并发性基础 296 5.1.2 进程或线程之间的通讯 299 5.1.3 经典的同步问题 303 5.2 windows中断与异常 308 5.2.1 硬件中断的发生和处理 308 5.2.2 中断请求级别(irql) 314 5.2.3 中断对象 317 5.2.4 dpc(延迟过程调用) 320 5.2.5 时钟中断和定时器管理 324 5.2.6 apc(异步过程调用) 328 5.2.7 异常分发 333 5.3 不依赖于线程调度的同步机制 340 5.3.1 提升irql实现数据同步 340 5.3.2 互锁操作 342 5.3.3 无锁的单链表实现 343 5.3.4 自旋锁 345 5.4 基于线程调度的同步机制 351 5.4.1 线程进入等待 351 5.4.2 分发器对象 358 5.4.3 门等待 365 5.4.4 执行体资源(executive resource) 367 5.4.5 推锁(push lock) 370 5.4.6 死锁 375 5.5 使用工具dperflite 376 5.5.1 dperflite使用示例 376 5.5.2 dperflite实现原理 378 5.6 本章总结 379 第6章 windows i/o系统 381 6.1 i/o概述 382 6.1.1 现代计算机系统的i/o 382 6.1.2 i/o软件技术 386 6.1.3 windows的i/o系统结构 388 6.2 i/o管理器 390 6.2.1 驱动程序初始化 390 6.2.2 驱动程序对象和设备对象 397 6.2.3 文件对象 401 6.2.4 对象生命周期管理 405 6.3 即插即用管理器 406 6.3.1 即插即用的基本要求 407 6.3.2 windows中驱动程序的即插即用支持 408 6.3.3 设备列举与设备树 409 6.4 电源管理器 411 6.4.1 电源管理概述 412 6.4.2 windows中的电源管理 415 6.5 设备驱动程序 420 6.5.1 驱动程序分类 420 6.5.2 例子驱动程序toaster 423 6.5.3 驱动程序的代码结构 425 6.5.4 toaster设备的设备栈 430 6.5.5 过滤驱动程序的配置和加载 431 6.5.6 非即插即用驱动程序 435 6.6 i/o处理 437 6.6.1 i/o请求包(irp) 438 6.6.2 针对独立设备对象的i/o处理 444 6.6.3 处理i/o请求过程中的事项 449 6.6.4 针对设备栈的i/o处理 459 6.6.5 i/o完成端口 463 6.7 i/o监视工具irpmon 466 6.7.1 irpmon使用介绍 466 6.7.2 irpmon实现原理 467 6.8 本章总结 468 第7章 windows存储管理 469 7.1 存储管理概述 469 7.1.1 硬件存储体系(memory hierarchy) 470 7.1.2 windows的存储管理结构 472 7.2 windows缓存管理 474 7.2.1 windows缓存空间的内存管理 474 7.2.2 缓存管理器的数据访问路径 481 7.2.3 直接使用缓存中的数据 484 7.2.4 缓存管理器的预读处理 491 7.2.5 缓存管理器的延迟写 494 7.3 windows卷管理 497 7.3.1 windows中存储栈结构 497 7.3.2 卷的挂载 501 7.3.3 卷与文件系统 504 7.3.4 文件对象的i/o处理 508 7.4 windows文件系统 510 7.4.1 文件系统驱动程序结构 511 7.4.2 raw文件系统和fsrtl 516 7.4.3 文件系统的过滤 520 7.4.4 fat文件系统 527 7.4.5 ntfs文件系统 532 7.5 本章总结 540 第8章 windows系统服务 541 8.1 windows系统服务原理 541 8.1.1 intel x86的用户模式-内核模式切换 541 8.1.2 windows的用户模式-内核模式切换 546 8.1.3 windows中的系统服务分发 550 8.1.4 增加系统服务表或表项 557 8.2 lpc(本地过程调用)服务 561 8.2.1 lpc结构模型 561 8.2.2 lpc端口和lpc消息 563 8.2.3 lpc通讯模型的实现 565 8.2.4 lpc应用 571 8.3 命名管道(named pipe)服务 573 8.3.1 命名管道的名称解析 573 8.3.2 命名管道的通讯模型 575 8.3.3 命名管道的实现 577 8.4 邮件槽(mailslot)服务 580 8.4.1 邮件槽的名称解析 580 8.4.2 邮件槽的通讯模型 581 8.4.3 邮件槽的实现 581 8.5 sdt显示工具sdtviewer 583 8.5.1 sdtviewer使用介绍 583 8.5.2 sdtviewer实现原理 584 8.6 本章总结 585 第9章 windows内核高级话题 587 9.1 网络 587 9.1.1 windows网络体系结构 587 9.1.2 tdi(传输驱动程序接口) 591 9.1.3 ndsi(网络驱动程序接口规范) 594 9.1.4 windows vista以后的网络结构 597 9.2 windows子系统 599 9.2.1 windows子系统结构 599 9.2.2 windows子系统初始化与gui线程 602 9.2.3 窗口管理 606 9.2.4 gdi(图形设备接口) 616 9.2.5 windows vista以后的子系统变化 622 9.3 内核日志 625 9.3.1 wrk中的内核记录器 625 9.3.2 利用etw信息诊断性能问题 628 9.4 windows vista/server 2008/7的重要变化 636 9.4.1 minwin工程 636 9.4.2 ？？ 639 附录a 建立编译和调试wrk环境 641 a.1 编译wrk 641 a.2 启动wrk 645 a.3 调试wrk 648 附录b 内核代码插入工具kinjecttoolkit 657 b.1 kinjecttoolkit功能介绍 658 b.2 kinjecttoolkit的代码实现 659 b.3 kinjecttoolkit的限制 663