Linux 3.x 内核学习笔记——页面的周转
页面周转
本文以Linux-3.11.0为例。
内核中所有物理内存都有其对应的page结构，这些page在整个系统的运行中，会处于下图的5个状态中。
Freeze Page：并非所有内存都可以用于分配，有些内存被内核所保留使用，例如：内核映像本身所处的内存空间、一些硬件要求需要保留的地址区间、内核中一些固有的数据结构（如page结构本身）等。系统在初始化阶段将这些内存所对应的地址标识为reserve，在初始化完成时，并不会将这些reserve的地址对应的page结构释放入空闲页面管理区。因此这部分page始终处于Freeze Page状态，它们既不会被分配，也不会被释放。
流程1：在初始化完成时，将没有reserve的page结构通过__free_pages函数直接释放到空闲页面管理区中（通过free_all_bootmem触发）。这些页面就可以在系统运行过程中被分配、释放。
Hot Cold：为了便于单个页面的快速分配和释放，内核为每个cpu建立了一个冷热队列（Hot Cold List）。
Free Area：每个区间（Zone）对应一组（通常为11个）Free Area队列，每个队列用于管理大小为2^n的连续物理页面。
流程2：释放单个页面时，直接挂入冷热队列（__free_pages -> free_hot_cold_page）。
流程3：释放多个页面（2^n个页面，且n >= 1）时，挂入对应的Free Area队列（__free_pages -> __free_pages_ok）。同时如果满足页面合并的条件，还会将页面合并后挂入更高阶的Free Area队列。
流程4：页面挂入冷热队列后，如果发现队列中的页面数量超过一定的阀值，则将部分页面移到相应的Free Area队列中（free_pcppages_bulk）。
流程5：分配单个页面时，直接从冷热队列中获取（buffered_rmqueue）。
流程6：分配单个页面时，如果冷热队列中的页面不足，则从Free Area队列中再获取一些（buffered_rmqueue -> rmqueue_bulk）。
流程7：分配多个页面时，从某个Zone的Free Area队列中寻找满足条件的页面进行分配（buffered_rmqueue ->__rmqueue）。
Common Page：普通页面，这类页面使用周转很简单，就是一个简单的分配（流程10）、使用、释放（流程11）的过程。如vmalloc/kmalloc分配的页面属于这一类型。
Lru List：不同于普通页面，有些页面在使用时进行分配（流程8），而在系统内存紧张时将其内容交换到磁盘上，并将其page释放（流程9）以作它用。当需要再次使用这些内容时，再分配新的页面（流程8）并将内容从磁盘上读入。这样的页面包括：映射用户空间的页面、文件的读写缓冲页面等。上图中的Lru List是一个复合状态，其具体流程如下图。
Lru队列的页面周转
Linux内核为每个Zone建立了5个Lru队列。用做盘区交换的页面，都挂入Active / Inactive Anon队列中；用于文件读写缓冲区的页面，都挂入Active / Inactive File队列中。这4个队列中的页面都是可被换出的，即可回收的（evictable）。与之相对应，还有一个队列是不可回收的（Unevictable），其内的页面不能换出。
需要注意，一个页面从Inactive Anon转到Unevictable队列后，当其再次变为evictable时，还是只能回到Inactive Anon队列，而不会进入Inactive File队列。File队列中的页面也是如此，上图中的状态变迁示意不要引起误解。
下面以盘区交换页面的周转为例，简要介绍一下Lru队列的页面周转流程。
用户空间的页面由缺页异常首次创建时，在do_anonymous_page中通过page_add_new_anon_rmap将其挂入Active Anon队列。
Linux内核为每个内存节点（node）创建了一个kswapd进程（在kswapd_init中实现），kswapd周期运行，其首先扫描node下的zone的Active Anon队列（shrink_active_list）。
shrink_active_list中将部分处于Active Anon队列中的页面移出，并将其对应的页面映射pte表项的ACCESS标志置0，然后再将其移到Inactive Anon队列中。
此后通过shrink_inactive_lists扫描Inactive Anon队列，并将其中部分页面移出，并尝试进行解除映射，这是在shrink_page_list中通过try_to_unmap进行的。
页面映射pte表项的ACCESS标志是由cpu硬件进行设置的，当cpu通过MMU访问过一个页面时，就会将其对应的pte表项的ACCESS标志置1。而在try_to_unmap的调用过程中，会检测这个标志，如果这个标志为0，就表明距上次置0以后cpu没有访问过这个页面，那么就说明可以将其解除映射，以备换出；如果这个标志为1，则try_to_unmap返回失败，并将该页面放回到Active Anon队列中。
对于成功解除映射的页面，若其内容为dirty，则通过pageout将其内容写到磁盘。
最后将该页面释放。
当该页面对应的地址再次被cpu访问时，由于页面不在内存，缺页异常处理流程会来到do_swap_page中，将新换入的页面挂入Inactive Anon队列（在swapin_readahead -> read_swap_cache_async -> lru_cache_add_anon 中实现）。这次该页面虽然挂到了Inactive队列，但是由于cpu刚刚访问过相应页面，因此pte表项的ACCESS标志为1，其实是不会立即被换出的。
另外，Linux提供了系统调用mlock和mlockall用于将页面固定于内存中，不让其被换出。
当调用mlock / mlockall时，仅仅是将相应的vma->vm_flags加上一个VM_LOCKED标志（mlock_fixup中实现）。当kswapd在扫描某个页面试图将其换出时，如果发现相应的vma->vm_flags有VM_LOCKED标志，则会将其移入Unevictable队列，不让其换出。
当调用munlock或munlockall时，不仅要将相应的vma->vm_flags的VM_LOCKED标志清除，还要将其移入Inactive队列（munlock_vma_pages_range -> munlock_vma_page）。
