缓存管理器

标 题: 【分享】缓存管理器
作 者: yaolibing
时 间: 2009-07-31,21:48:35
链 接: http://bbs.pediy.com/showthread.php?t=94762

简言之，就是会预先读入文件和延迟写入文件。当ReadFile时，会调用NtReadFile()系统调用，它会构造一个IRP下发到FSD，FSD会检查这个IRP看是不是可以缓存 的，是的话，如果还没有为此文件建立缓存的话，就会调用 CcInitializeCacheMap（）函数建立缓存，它里面会调用内存管理器（VMM）函数建立一个节对象 。当用到时，会把这个节对象（和文件关联）映射到内核空间。如果IRP是可缓存 的，则调用CcCopyRead（）函数进行从缓存中读入文件。

如果此文件还没有在内存中，则会产生页面错误，交给MmAccessFault（）函数处理，它会调用IoPageRead（）分配一个不缓存 的IRP，但是它会走FSD，不会调用缓存的函数，而是最终调用磁盘驱动进行真实的磁盘读写读入到内存。之后CcCopyRead（）再不会产生错误了，会从缓存复制到用户Buffer中

NtReadFile (
    __in HANDLE FileHandle,
    __in_opt HANDLE Event,
    __in_opt PIO_APC_ROUTINE ApcRoutine,
    __in_opt PVOID ApcContext,
    __out PIO_STATUS_BLOCK IoStatusBlock,
    __out_bcount(Length) PVOID Buffer,
    __in ULONG Length,
    __in_opt PLARGE_INTEGER ByteOffset,
    __in_opt PULONG Key
    )

status = ObReferenceObjectByHandle( FileHandle,
                                        FILE_READ_DATA,
                                        IoFileObjectType,
                                        requestorMode,
                                        (PVOID *) &fileObject,
                                        NULL );//得到文件对象

deviceObject = IoGetRelatedDeviceObject( fileObject );//得到设备对象

// 如果文件已经有缓存了，直接调用

if (fileObject->PrivateCacheMap) {

            IO_STATUS_BLOCK localIoStatus;

            ASSERT(fastIoDispatch && fastIoDispatch->FastIoRead);

            //
            // Negative file offsets are illegal.
            //

            if (fileOffset.HighPart < 0) {
                if (eventObject) {
                    ObDereferenceObject( eventObject );
                }
                IopReleaseFileObjectLock( fileObject );
                ObDereferenceObject( fileObject );
                return STATUS_INVALID_PARAMETER;
            }

            if (fastIoDispatch->FastIoRead( fileObject,
                                            &fileOffset,
                                            Length,
                                            TRUE,
                                            keyValue,
                                            Buffer,
                                            &localIoStatus,
                                            deviceObject )

否则的话还要分配IRP，下发到文件系统驱动 ，（注意有三种处理用户Buffer的方法，因为有可能FSD驱动不是在本用户进程的地址空间中执行的，则访问Buffer（尽管虚拟地址相同，但是一般会被映射到不同的物理地址），所以要做如下处理Buffer。

1，是调用irp->AssociatedIrp.SystemBuffer =
                    ExAllocatePoolWithQuota( NonPagedPoolCacheAligned, Length );在非分页内存中分配内存，因为都是在内核空间，所以就算另一个进程也能访问。

2，是调用mdl = IoAllocateMdl( Buffer, Length, FALSE, TRUE, irp );分配一个内存描述符，再调用 MmProbeAndLockPages( mdl, requestorMode, IoWriteAccess );
把此Buffer所在的物理页锁定在内存中，防止换出去。

3，直接就是那个 irp->Flags = 0; irp->UserBuffer = Buffer;

调用 这个IopSynchronousServiceTail（）函数下发到FSD 

注意先是IopfCallDriver（）调用fltMgr.sys驱动的分派函数，最后它也调用IofCallDriver()函数下发IRP到下层驱动（既ntfs.sys的NtfsFsdRead（）函数）

NTSTATUS
NtfsFsdRead (
    IN PVOLUME_DEVICE_OBJECT VolumeDeviceObject,
    IN PIRP Irp
    )
最后调用NtfsCommonRead（）这个函数里面会做好多判断，之后会建立该文件的Cache

if (FileObject->PrivateCacheMap == NULL) {

                    DebugTrace( 0, Dbg, ("Initialize cache mapping.\n") );

                    //
                    // Now initialize the cache map.
                    //
                    // Make sure we are serialized with the FileSizes, and
                    // will remove this condition if we abort.
                    //

                    if (!DoingIoAtEof) {
                        FsRtlLockFsRtlHeader( Header );
                        IrpContext->FcbWithPagingExclusive = (PFCB)Scb;
                    }

CcInitializeCacheMap( FileObject,
                                          (PCC_FILE_SIZES)&Header->AllocationSize,
                                          FALSE,
                                          &NtfsData.CacheManagerCallbacks,
                                          Scb );

它里面会分配SharedCacheMap = ExAllocatePoolWithTag( NonPagedPool, sizeof(SHARED_CACHE_MAP), 'cScC' );

初始化这个结构，最后调用内存管理器(VMM) 函数SharedCacheMap->Status = MmCreateSection( &SharedCacheMap->Section,
                                                      SECTION_MAP_READ
                                                        | SECTION_MAP_WRITE
                                                        | SECTION_QUERY,
                                                      NULL,
                                                      &LocalSizes.AllocationSize,
                                                      PAGE_READWRITE,
                                                      SEC_COMMIT,
                                                      NULL,
                                                      FileObject );
建立一个共享节对象

之后FSD调用 if (!CcCopyRead( FileObject,
                                     (PLARGE_INTEGER)&StartingVbo,
                                     (ULONG)ByteCount,
                                     Wait,
                                     SystemBuffer,
                                     &Irp->IoStatus ))进行从缓存中读入数据

如果缓存没有这个要读文件的页面，则会产生页面异常，最终进入MmAccessFault（）处理，它会调用IoPageRead()分配一个IRP_PAGING_IO | IRP _NOCACHE （没有缓存的IRP）再次调用IoCallDriver调用FSD的函数，这里和上面一样，同样进入FSD的NtfsFsdRead（）-》NtfsNonCachedIo（）进行没有缓存的IRP请求。-》NtfsSingleAsync()它里面先调用IoSetCompletionRoutine（）设置一个FSD回调函数，然后调用    IoCallDriver( DeviceObject, Irp );调用1，volsnap!VolSnapRead------->2，ftdisk!FtDiskReadWrite------>3，PartMgr!PmReadWrite------->4，CLASSPNP!ClassReadWrite----->5，SCSIPORT!ScsiPortGlobalDispatch()等等会进行真正磁盘读写文件内容

当读写磁盘完成了后会产生中断之后进入KiDispatchInterrupt（）

ScsiPortCompletionDpc()一层一层的调用SCSIPORT!SpCompleteRequest（）完成回调函数，最后会调用到FSD先前建立的Ntfs!NtfsSingleSyncCompletionRoutine()也算是完成了磁盘读写。