Palacios Public Git Repository

To checkout Palacios execute

  git clone http://v3vee.org/palacios/palacios.web/palacios.git
This will give you the master branch. You probably want the devel branch or one of the release branches. To switch to the devel branch, simply execute
  cd palacios
  git checkout --track -b devel origin/devel
The other branches are similar.


profiler changes
[palacios.git] / palacios / src / palacios / vmm_shadow_paging.c
index 3851bf3..55920ed 100644 (file)
@@ -26,6 +26,8 @@
 #include <palacios/vmm_decoder.h>
 #include <palacios/vmm_ctrl_regs.h>
 
+#include <palacios/vmm_hashtable.h>
+
 #ifndef DEBUG_SHADOW_PAGING
 #undef PrintDebug
 #define PrintDebug(fmt, args...)
  ***/
 
 
+struct guest_table {
+  addr_t cr3;
+  struct list_head link;
+};
+
+
+struct backptr {
+  addr_t ptr;
+  struct list_head link;
+};
+
+
+struct shadow_page_data {
+  addr_t ptr;
+  addr_t guest_addr; 
+
+  struct list_head backptrs;
+  struct list_head guest_tables;
+};
+
 
 
 
-DEFINE_HASHTABLE_INSERT(add_cr3_to_cache, addr_t, struct hashtable *);
-DEFINE_HASHTABLE_SEARCH(find_cr3_in_cache, addr_t, struct hashtable *);
-DEFINE_HASHTABLE_REMOVE(del_cr3_from_cache, addr_t, struct hashtable *, 0);
+//DEFINE_HASHTABLE_INSERT(add_cr3_to_cache, addr_t, struct hashtable *);
+//DEFINE_HASHTABLE_SEARCH(find_cr3_in_cache, addr_t, struct hashtable *);
+//DEFINE_HASHTABLE_REMOVE(del_cr3_from_cache, addr_t, struct hashtable *, 0);
 
 
 DEFINE_HASHTABLE_INSERT(add_pte_map, addr_t, addr_t);
 DEFINE_HASHTABLE_SEARCH(find_pte_map, addr_t, addr_t);
-DEFINE_HASHTABLE_REMOVE(del_pte_map, addr_t, addr_t, 0);
+//DEFINE_HASHTABLE_REMOVE(del_pte_map, addr_t, addr_t, 0);
 
 
 
@@ -78,6 +100,10 @@ static int handle_shadow_pagefault_32(struct guest_info * info, addr_t fault_add
 static int handle_shadow_pagefault_32pae(struct guest_info * info, addr_t fault_addr, pf_error_t error_code);
 static int handle_shadow_pagefault_64(struct guest_info * info, addr_t fault_addr, pf_error_t error_code);
 
+
+static int cache_page_tables_32(struct guest_info * info, addr_t pde);
+static int cache_page_tables_64(struct guest_info * info, addr_t pde);
+
 int v3_init_shadow_page_state(struct guest_info * info) {
   struct shadow_page_state * state = &(info->shdw_pg_state);
   
@@ -95,67 +121,17 @@ int v3_init_shadow_page_state(struct guest_info * info) {
 
 
 
-/*
- For now we'll do something a little more lightweight
-int cache_page_tables32(struct guest_info * info, addr_t pde) {
-  struct shadow_page_state * state = &(info->shdw_pg_state);
-  addr_t pde_host_addr;
-  pde32_t * tmp_pde;
-  struct hashtable * pte_cache = NULL;
-  int i = 0;
-
-
-  pte_cache = (struct hashtable *)find_cr3_in_cache(state->cr3_cache, pde);
-  if (pte_cache != NULL) {
-    PrintError("CR3 already present in cache\n");
-    state->current_ptes = pte_cache;
-    return 1;
-  } else {
-    PrintError("Creating new CR3 cache entry\n");
-    pte_cache = create_hashtable(0, &pte_hash_fn, &pte_equals);
-    state->current_ptes = pte_cache;
-    add_cr3_to_cache(state->cr3_cache, pde, pte_cache);
-  }
-
-  if (guest_pa_to_host_va(info, pde, &pde_host_addr) == -1) {
-    PrintError("Could not lookup host address of guest PDE\n");
-    return -1;
-  }
-
-  tmp_pde = (pde32_t *)pde_host_addr;
-
-  add_pte_map(pte_cache, pde, pde_host_addr);
-
-
-  for (i = 0; i < MAX_PDE32_ENTRIES; i++) {
-    if ((tmp_pde[i].present) && (tmp_pde[i].large_page == 0)) {
-      addr_t pte_host_addr;
-
-      if (guest_pa_to_host_va(info, (addr_t)(PDE32_T_ADDR(tmp_pde[i])), &pte_host_addr) == -1) {
-       PrintError("Could not lookup host address of guest PDE\n");
-       return -1;
-      }
-
-      add_pte_map(pte_cache, (addr_t)(PDE32_T_ADDR(tmp_pde[i])), pte_host_addr); 
-    }
-  }
-
-
-  return 0;
-}
-*/
-
 
 int v3_cache_page_tables(struct guest_info * info, addr_t cr3) {
   switch(v3_get_cpu_mode(info)) {
   case PROTECTED:
-    return v3_cache_page_tables32(info, CR3_TO_PDE32_PA(cr3));
+    return cache_page_tables_32(info, CR3_TO_PDE32_PA(cr3));
   default:
     return -1;
   }
 }
 
-int v3_cache_page_tables32(struct guest_info * info, addr_t pde) {
+static int cache_page_tables_32(struct guest_info * info, addr_t pde) {
   struct shadow_page_state * state = &(info->shdw_pg_state);
   addr_t pde_host_addr;
   pde32_t * tmp_pde;
@@ -204,6 +180,10 @@ int v3_cache_page_tables32(struct guest_info * info, addr_t pde) {
 }
 
 
+static int cache_page_tables_64(struct guest_info * info, addr_t pde) {
+  return -1;
+}
+
 
 int v3_replace_shdw_page32(struct guest_info * info, addr_t location, pte32_t * new_page, pte32_t * old_page) {
   pde32_t * shadow_pd = (pde32_t *)CR3_TO_PDE32_VA(info->ctrl_regs.cr3);
@@ -221,6 +201,7 @@ int v3_replace_shdw_page32(struct guest_info * info, addr_t location, pte32_t *
 
   } else {
     // currently unhandled
+    PrintError("Replacing large shadow pages not implemented\n");
     return -1;
   }
   
@@ -234,34 +215,34 @@ int v3_replace_shdw_page32(struct guest_info * info, addr_t location, pte32_t *
 // We assume that shdw_pg_state.guest_cr3 is pointing to the page tables we want to activate
 // We also assume that the CPU mode has not changed during this page table transition
 static int activate_shadow_pt_32(struct guest_info * info) {
-    struct cr3_32 * shadow_cr3 = (struct cr3_32 *)&(info->ctrl_regs.cr3);
-    struct cr3_32 * guest_cr3 = (struct cr3_32 *)&(info->shdw_pg_state.guest_cr3);
-    int cached = 0;
-
-    // Check if shadow page tables are in the cache
-    cached = v3_cache_page_tables32(info, CR3_TO_PDE32_PA(*(addr_t *)guest_cr3));
+  struct cr3_32 * shadow_cr3 = (struct cr3_32 *)&(info->ctrl_regs.cr3);
+  struct cr3_32 * guest_cr3 = (struct cr3_32 *)&(info->shdw_pg_state.guest_cr3);
+  int cached = 0;
+  
+  // Check if shadow page tables are in the cache
+  cached = cache_page_tables_32(info, CR3_TO_PDE32_PA(*(addr_t *)guest_cr3));
+  
+  if (cached == -1) {
+    PrintError("CR3 Cache failed\n");
+    return -1;
+  } else if (cached == 0) {
+    addr_t shadow_pt;
     
-    if (cached == -1) {
-      PrintError("CR3 Cache failed\n");
-      return -1;
-    } else if (cached == 0) {
-      addr_t shadow_pt;
-      
-      PrintDebug("New CR3 is different - flushing shadow page table %p\n", shadow_cr3 );
-      delete_page_tables_32(CR3_TO_PDE32_VA(*(uint_t*)shadow_cr3));
-      
-      shadow_pt = v3_create_new_shadow_pt();
-      
-      shadow_cr3->pdt_base_addr = (addr_t)V3_PAddr((void *)(addr_t)PAGE_BASE_ADDR(shadow_pt));
-      PrintDebug( "Created new shadow page table %p\n", (void *)(addr_t)shadow_cr3->pdt_base_addr );
-    } else {
-      PrintDebug("Reusing cached shadow Page table\n");
-    }
-   
-    shadow_cr3->pwt = guest_cr3->pwt;
-    shadow_cr3->pcd = guest_cr3->pcd;
-
-    return 0;
+    PrintDebug("New CR3 is different - flushing shadow page table %p\n", shadow_cr3 );
+    delete_page_tables_32(CR3_TO_PDE32_VA(*(uint_t*)shadow_cr3));
+    
+    shadow_pt = v3_create_new_shadow_pt();
+    
+    shadow_cr3->pdt_base_addr = (addr_t)V3_PAddr((void *)(addr_t)PAGE_BASE_ADDR(shadow_pt));
+    PrintDebug( "Created new shadow page table %p\n", (void *)(addr_t)shadow_cr3->pdt_base_addr );
+  } else {
+    PrintDebug("Reusing cached shadow Page table\n");
+  }
+  
+  shadow_cr3->pwt = guest_cr3->pwt;
+  shadow_cr3->pcd = guest_cr3->pcd;
+  
+  return 0;
 }
 
 static int activate_shadow_pt_32pae(struct guest_info * info) {
@@ -269,9 +250,49 @@ static int activate_shadow_pt_32pae(struct guest_info * info) {
   return -1;
 }
 
+static int activate_shadow_pt_64_cb(page_type_t type, addr_t vaddr, addr_t page_ptr, addr_t page_pa, void * private_data) {
+  PrintDebug("CB: Page: %p->%p (host_ptr=%p), Type: %s\n", (void *)vaddr, (void *)page_pa, (void *)page_ptr, v3_page_type_to_str(type));
+  return 0;
+}
+
+
 static int activate_shadow_pt_64(struct guest_info * info) {
-  PrintError("Activating 64 bit page tables not implemented\n");
+  //  struct cr3_64 * shadow_cr3 = (struct cr3_64 *)&(info->ctrl_regs.cr3);
+  struct cr3_64 * guest_cr3 = (struct cr3_64 *)&(info->shdw_pg_state.guest_cr3);
+  int cached = 0;
+  
+  v3_walk_guest_pt_64(info, info->shdw_pg_state.guest_cr3, activate_shadow_pt_64_cb, NULL);
+
+  
+
   return -1;
+
+
+  // Check if shadow page tables are in the cache
+  cached = cache_page_tables_64(info, CR3_TO_PDE32_PA(*(addr_t *)guest_cr3));
+             /*  
+  if (cached == -1) {
+    PrintError("CR3 Cache failed\n");
+    return -1;
+  } else if (cached == 0) {
+    addr_t shadow_pt;
+    
+    PrintDebug("New CR3 is different - flushing shadow page table %p\n", shadow_cr3 );
+    delete_page_tables_32(CR3_TO_PDE32_VA(*(uint_t*)shadow_cr3));
+    
+    shadow_pt = v3_create_new_shadow_pt();
+    
+    shadow_cr3->pml4t_base_addr = (addr_t)V3_PAddr((void *)(addr_t)PAGE_BASE_ADDR(shadow_pt));
+    PrintDebug( "Created new shadow page table %p\n", (void *)(addr_t)shadow_cr3->pml4t_base_addr );
+  } else {
+    PrintDebug("Reusing cached shadow Page table\n");
+  }
+  
+  shadow_cr3->pwt = guest_cr3->pwt;
+  shadow_cr3->pcd = guest_cr3->pcd;
+  
+  return 0;
+                     */
 }
 
 
@@ -316,7 +337,8 @@ int v3_handle_shadow_pagefault(struct guest_info * info, addr_t fault_addr, pf_e
     // If paging is not turned on we need to handle the special cases
 
 #ifdef DEBUG_SHADOW_PAGING
-    PrintPageTree(info->cpu_mode, fault_addr, info->ctrl_regs.cr3);
+    PrintHostPageTree(info->cpu_mode, fault_addr, info->ctrl_regs.cr3);
+    PrintGuestPageTree(info, fault_addr, info->shdw_pg_state.guest_cr3);
 #endif
 
     return handle_special_page_fault(info, fault_addr, fault_addr, error_code);
@@ -352,6 +374,10 @@ addr_t v3_create_new_shadow_pt() {
 
 
 static void inject_guest_pf(struct guest_info * info, addr_t fault_addr, pf_error_t error_code) {
+  if (info->enable_profiler) {
+    info->profiler.guest_pf_cnt++;
+  }
+
   info->ctrl_regs.cr2 = fault_addr;
   v3_raise_exception_with_error(info, PF_EXCEPTION, *(uint_t *)&error_code);
 }
@@ -370,14 +396,14 @@ static int is_guest_pf(pt_access_status_t guest_access, pt_access_status_t shado
   if (guest_access != PT_ACCESS_OK) {
     // Guest Access Error
     
-    if ((shadow_access != PT_ENTRY_NOT_PRESENT) &&
-       (guest_access != PT_ENTRY_NOT_PRESENT)) {
+    if ((shadow_access != PT_ACCESS_NOT_PRESENT) &&
+       (guest_access != PT_ACCESS_NOT_PRESENT)) {
       // aka (guest permission error)
       return 1;
     }
 
-    if ((shadow_access == PT_ENTRY_NOT_PRESENT) &&
-       (guest_access == PT_ENTRY_NOT_PRESENT)) {      
+    if ((shadow_access == PT_ACCESS_NOT_PRESENT) &&
+       (guest_access == PT_ACCESS_NOT_PRESENT)) {      
       // Page tables completely blank, handle guest first
       return 1;
     }
@@ -400,6 +426,20 @@ static int is_guest_pf(pt_access_status_t guest_access, pt_access_status_t shado
  */
 
 static int handle_shadow_pagefault_64(struct guest_info * info, addr_t fault_addr, pf_error_t error_code) {
+  pt_access_status_t guest_access;
+  pt_access_status_t shadow_access;
+  int ret; 
+  PrintDebug("64 bit shadow page fault\n");
+
+  ret = v3_check_guest_pt_32(info, info->shdw_pg_state.guest_cr3, fault_addr, error_code, &guest_access);
+
+  PrintDebug("Guest Access Check: %d (access=%d)\n", ret, guest_access);
+
+  ret = v3_check_host_pt_32(info->ctrl_regs.cr3, fault_addr, error_code, &shadow_access);
+
+  PrintDebug("Shadow Access Check: %d (access=%d)\n", ret, shadow_access);
+  
+
   PrintError("64 bit shadow paging not implemented\n");
   return -1;
 }
@@ -462,10 +502,10 @@ static int handle_shadow_pagefault_32(struct guest_info * info, addr_t fault_add
 
 
   // Check the guest page permissions
-  guest_pde_access = can_access_pde32(guest_pd, fault_addr, error_code);
+  guest_pde_access = v3_can_access_pde32(guest_pd, fault_addr, error_code);
 
   // Check the shadow page permissions
-  shadow_pde_access = can_access_pde32(shadow_pd, fault_addr, error_code);
+  shadow_pde_access = v3_can_access_pde32(shadow_pd, fault_addr, error_code);
   
   /* Was the page fault caused by the Guest's page tables? */
   if (is_guest_pf(guest_pde_access, shadow_pde_access) == 1) {
@@ -476,7 +516,7 @@ static int handle_shadow_pagefault_32(struct guest_info * info, addr_t fault_add
   }
 
   
-  if (shadow_pde_access == PT_ENTRY_NOT_PRESENT) 
+  if (shadow_pde_access == PT_ACCESS_NOT_PRESENT) 
     {
       pte32_t * shadow_pt =  (pte32_t *)v3_create_new_shadow_pt();
 
@@ -497,7 +537,20 @@ static int handle_shadow_pagefault_32(struct guest_info * info, addr_t fault_add
       shadow_pde->pt_base_addr = PAGE_BASE_ADDR((addr_t)V3_PAddr(shadow_pt));
       
       if (guest_pde->large_page == 0) {
+       pte32_t * guest_pt = NULL;
        shadow_pde->writable = guest_pde->writable;
+
+       if (guest_pa_to_host_va(info, BASE_TO_PAGE_ADDR(guest_pde->pt_base_addr), (addr_t*)&guest_pt) == -1) {
+         // Machine check the guest
+         PrintDebug("Invalid Guest PTE Address: 0x%p\n", (void *)BASE_TO_PAGE_ADDR(guest_pde->pt_base_addr));
+         v3_raise_exception(info, MC_EXCEPTION);
+         return 0;
+       }
+
+       if (handle_shadow_pte32_fault(info, fault_addr, error_code, shadow_pt, guest_pt)  == -1) {
+         PrintError("Error handling Page fault caused by PTE\n");
+         return -1;
+       }
       } else {
        // ??  What if guest pde is dirty a this point?
        ((pde32_4MB_t *)guest_pde)->dirty = 0;
@@ -513,6 +566,7 @@ static int handle_shadow_pagefault_32(struct guest_info * info, addr_t fault_add
 
       if (guest_pde->large_page == 0) {
        pte32_t * guest_pt = NULL;
+
        if (guest_pa_to_host_va(info, BASE_TO_PAGE_ADDR(guest_pde->pt_base_addr), (addr_t*)&guest_pt) == -1) {
          // Machine check the guest
          PrintDebug("Invalid Guest PTE Address: 0x%p\n", (void *)BASE_TO_PAGE_ADDR(guest_pde->pt_base_addr));
@@ -531,7 +585,7 @@ static int handle_shadow_pagefault_32(struct guest_info * info, addr_t fault_add
        }
       }
     }
-  else if ((shadow_pde_access == PT_WRITE_ERROR) && 
+  else if ((shadow_pde_access == PT_ACCESS_WRITE_ERROR) && 
           (guest_pde->large_page == 1) && 
           (((pde32_4MB_t *)guest_pde)->dirty == 0)) 
     {
@@ -546,7 +600,7 @@ static int handle_shadow_pagefault_32(struct guest_info * info, addr_t fault_add
       return 0;
       
     } 
-  else if (shadow_pde_access == PT_USER_ERROR) 
+  else if (shadow_pde_access == PT_ACCESS_USER_ERROR) 
     {
       //
       // Page Directory Entry marked non-user
@@ -564,9 +618,9 @@ static int handle_shadow_pagefault_32(struct guest_info * info, addr_t fault_add
       PrintDebug("Manual Says to inject page fault into guest\n");
 #ifdef DEBUG_SHADOW_PAGING
       PrintDebug("Guest PDE: (access=%d)\n\t", guest_pde_access);
-      PrintPDE32(fault_addr, guest_pde);
+      PrintPTEntry(PAGE_PD32, fault_addr, guest_pde);
       PrintDebug("Shadow PDE: (access=%d)\n\t", shadow_pde_access);
-      PrintPDE32(fault_addr, shadow_pde);
+      PrintPTEntry(PAGE_PD32, fault_addr, shadow_pde);
 #endif
 
       return 0; 
@@ -585,9 +639,21 @@ static int handle_large_pagefault_32(struct guest_info * info,
                                    addr_t fault_addr, pf_error_t error_code, 
                                    pte32_t * shadow_pt, pde32_4MB_t * large_guest_pde) 
 {
-  pt_access_status_t shadow_pte_access = can_access_pte32(shadow_pt, fault_addr, error_code);
+  pt_access_status_t shadow_pte_access = v3_can_access_pte32(shadow_pt, fault_addr, error_code);
   pte32_t * shadow_pte = (pte32_t *)&(shadow_pt[PTE32_INDEX(fault_addr)]);
-  
+  addr_t guest_fault_pa = BASE_TO_PAGE_ADDR_4MB(large_guest_pde->page_base_addr) + PAGE_OFFSET_4MB(fault_addr);  
+
+  struct v3_shadow_region * shdw_reg = v3_get_shadow_region(info, guest_fault_pa);
+
+  if ((shdw_reg == NULL) || 
+      (shdw_reg->host_type == SHDW_REGION_INVALID)) {
+    // Inject a machine check in the guest
+    PrintDebug("Invalid Guest Address in page table (0x%p)\n", (void *)guest_fault_pa);
+    v3_raise_exception(info, MC_EXCEPTION);
+    return -1;
+  }
+
   if (shadow_pte_access == PT_ACCESS_OK) {
     // Inconsistent state...
     // Guest Re-Entry will flush tables and everything should now workd
@@ -596,22 +662,13 @@ static int handle_large_pagefault_32(struct guest_info * info,
   }
 
   
-  if (shadow_pte_access == PT_ENTRY_NOT_PRESENT) {
+  if (shadow_pte_access == PT_ACCESS_NOT_PRESENT) {
     // Get the guest physical address of the fault
-    addr_t guest_fault_pa = BASE_TO_PAGE_ADDR_4MB(large_guest_pde->page_base_addr) + PAGE_OFFSET_4MB(fault_addr);
-    host_region_type_t host_page_type = get_shadow_addr_type(info, guest_fault_pa);
-
-    if (host_page_type == HOST_REGION_INVALID) {
-      // Inject a machine check in the guest
-      PrintDebug("Invalid Guest Address in page table (0x%p)\n", (void *)guest_fault_pa);
-      v3_raise_exception(info, MC_EXCEPTION);
-      return 0;
-    }
 
-    if (host_page_type == HOST_REGION_PHYSICAL_MEMORY) {
+    if ((shdw_reg->host_type == SHDW_REGION_ALLOCATED) || 
+       (shdw_reg->host_type == SHDW_REGION_WRITE_HOOK)) {
       struct shadow_page_state * state = &(info->shdw_pg_state);
-      addr_t shadow_pa = get_shadow_addr(info, guest_fault_pa);
+      addr_t shadow_pa = v3_get_shadow_addr(shdw_reg, guest_fault_pa);
 
       shadow_pte->page_base_addr = PAGE_BASE_ADDR(shadow_pa);
 
@@ -629,11 +686,12 @@ static int handle_large_pagefault_32(struct guest_info * info,
        PrintDebug("Marking page as Guest Page Table (large page)\n");
        shadow_pte->vmm_info = PT32_GUEST_PT;
        shadow_pte->writable = 0;
+      } else if (shdw_reg->host_type == SHDW_REGION_WRITE_HOOK) {
+       shadow_pte->writable = 0;
       } else {
        shadow_pte->writable = 1;
       }
 
-
       //set according to VMM policy
       shadow_pte->write_through = 0;
       shadow_pte->cache_disable = 0;
@@ -642,18 +700,27 @@ static int handle_large_pagefault_32(struct guest_info * info,
       
     } else {
       // Handle hooked pages as well as other special pages
-      if (handle_special_page_fault(info, fault_addr, guest_fault_pa, error_code) == -1) {
+      //      if (handle_special_page_fault(info, fault_addr, guest_fault_pa, error_code) == -1) {
+
+      if (v3_handle_mem_full_hook(info, fault_addr, guest_fault_pa, shdw_reg, error_code) == -1) {
        PrintError("Special Page Fault handler returned error for address: %p\n", (void *)fault_addr);
        return -1;
       }
     }
-  } else if ((shadow_pte_access == PT_WRITE_ERROR) && 
-            (shadow_pte->vmm_info == PT32_GUEST_PT)) {
+  } else if (shadow_pte_access == PT_ACCESS_WRITE_ERROR) {
 
-    struct shadow_page_state * state = &(info->shdw_pg_state);
-    PrintDebug("Write operation on Guest PAge Table Page (large page)\n");
-    state->cached_cr3 = 0;
-    shadow_pte->writable = 1;
+    if (shdw_reg->host_type == SHDW_REGION_WRITE_HOOK) {
+
+      if (v3_handle_mem_wr_hook(info, fault_addr, guest_fault_pa, shdw_reg, error_code) == -1) {
+       PrintError("Special Page Fault handler returned error for address: %p\n", (void *)fault_addr);
+       return -1;
+      }
+    } else if (shadow_pte->vmm_info == PT32_GUEST_PT) {
+      struct shadow_page_state * state = &(info->shdw_pg_state);
+      PrintDebug("Write operation on Guest PAge Table Page (large page)\n");
+      state->cached_cr3 = 0;
+      shadow_pte->writable = 1;
+    }
 
   } else {
     PrintError("Error in large page fault handler...\n");
@@ -681,19 +748,29 @@ static int handle_shadow_pte32_fault(struct guest_info * info,
   pt_access_status_t shadow_pte_access;
   pte32_t * guest_pte = (pte32_t *)&(guest_pt[PTE32_INDEX(fault_addr)]);;
   pte32_t * shadow_pte = (pte32_t *)&(shadow_pt[PTE32_INDEX(fault_addr)]);
+  addr_t guest_pa = BASE_TO_PAGE_ADDR((addr_t)(guest_pte->page_base_addr)) +  PAGE_OFFSET(fault_addr);
 
+  struct v3_shadow_region * shdw_reg =  v3_get_shadow_region(info, guest_pa);
+
+  if ((shdw_reg == NULL) || 
+      (shdw_reg->host_type == SHDW_REGION_INVALID)) {
+    // Inject a machine check in the guest
+    PrintDebug("Invalid Guest Address in page table (0x%p)\n", (void *)guest_pa);
+    v3_raise_exception(info, MC_EXCEPTION);
+    return 0;
+  }
 
   // Check the guest page permissions
-  guest_pte_access = can_access_pte32(guest_pt, fault_addr, error_code);
+  guest_pte_access = v3_can_access_pte32(guest_pt, fault_addr, error_code);
 
   // Check the shadow page permissions
-  shadow_pte_access = can_access_pte32(shadow_pt, fault_addr, error_code);
+  shadow_pte_access = v3_can_access_pte32(shadow_pt, fault_addr, error_code);
   
 #ifdef DEBUG_SHADOW_PAGING
   PrintDebug("Guest PTE: (access=%d)\n\t", guest_pte_access);
-  PrintPTE32(fault_addr, guest_pte);
+  PrintPTEntry(PAGE_PT32, fault_addr, guest_pte);
   PrintDebug("Shadow PTE: (access=%d)\n\t", shadow_pte_access);
-  PrintPTE32(fault_addr, shadow_pte);
+  PrintPTEntry(PAGE_PT32, fault_addr, shadow_pte);
 #endif
   
   /* Was the page fault caused by the Guest's page tables? */
@@ -713,27 +790,14 @@ static int handle_shadow_pte32_fault(struct guest_info * info,
   }
 
 
-  if (shadow_pte_access == PT_ENTRY_NOT_PRESENT) {
-
-    addr_t guest_pa = BASE_TO_PAGE_ADDR((addr_t)(guest_pte->page_base_addr)) +  PAGE_OFFSET(fault_addr);
-
+  if (shadow_pte_access == PT_ACCESS_NOT_PRESENT) {
     // Page Table Entry Not Present
     PrintDebug("guest_pa =%p\n", (void *)guest_pa);
 
-    host_region_type_t host_page_type = get_shadow_addr_type(info, guest_pa);
-
-    if (host_page_type == HOST_REGION_INVALID) {
-      // Inject a machine check in the guest
-      PrintDebug("Invalid Guest Address in page table (0x%p)\n", (void *)guest_pa);
-      v3_raise_exception(info, MC_EXCEPTION);
-      return 0;
-    }
-
-    // else...
-
-    if (host_page_type == HOST_REGION_PHYSICAL_MEMORY) {
+    if ((shdw_reg->host_type == SHDW_REGION_ALLOCATED) ||
+       (shdw_reg->host_type == SHDW_REGION_WRITE_HOOK)) {
       struct shadow_page_state * state = &(info->shdw_pg_state);
-      addr_t shadow_pa = get_shadow_addr(info, guest_pa);
+      addr_t shadow_pa = v3_get_shadow_addr(shdw_reg, guest_pa);
       
       shadow_pte->page_base_addr = PAGE_BASE_ADDR(shadow_pa);
       
@@ -754,7 +818,9 @@ static int handle_shadow_pte32_fault(struct guest_info * info,
        shadow_pte->vmm_info = PT32_GUEST_PT;
       }
 
-      if (guest_pte->dirty == 1) {
+      if (shdw_reg->host_type == SHDW_REGION_WRITE_HOOK) {
+       shadow_pte->writable = 0;
+      } else if (guest_pte->dirty == 1) {
        shadow_pte->writable = guest_pte->writable;
       } else if ((guest_pte->dirty == 0) && (error_code.write == 1)) {
        shadow_pte->writable = guest_pte->writable;
@@ -771,29 +837,37 @@ static int handle_shadow_pte32_fault(struct guest_info * info,
        shadow_pte->writable = 0;
       }
 
-
-
     } else {
       // Page fault handled by hook functions
-      if (handle_special_page_fault(info, fault_addr, guest_pa, error_code) == -1) {
+
+      if (v3_handle_mem_full_hook(info, fault_addr, guest_pa, shdw_reg, error_code) == -1) {
        PrintError("Special Page fault handler returned error for address: %p\n",  (void *)fault_addr);
        return -1;
       }
     }
-
-  } else if ((shadow_pte_access == PT_WRITE_ERROR) &&
+    /*
+  } else if ((shadow_pte_access == PT_ACCESS_WRITE_ERROR) &&
             (guest_pte->dirty == 0)) {
-
-    PrintDebug("Shadow PTE Write Error\n");
+    */
+  } else if (shadow_pte_access == PT_ACCESS_WRITE_ERROR) {
     guest_pte->dirty = 1;
-    shadow_pte->writable = guest_pte->writable;
+
+    if (shdw_reg->host_type == SHDW_REGION_WRITE_HOOK) {
+      if (v3_handle_mem_wr_hook(info, fault_addr, guest_pa, shdw_reg, error_code) == -1) {
+       PrintError("Special Page fault handler returned error for address: %p\n",  (void *)fault_addr);
+       return -1;
+      }
+    } else {
+      PrintDebug("Shadow PTE Write Error\n");
+      shadow_pte->writable = guest_pte->writable;
+    }
 
     if (shadow_pte->vmm_info == PT32_GUEST_PT) {
       struct shadow_page_state * state = &(info->shdw_pg_state);
       PrintDebug("Write operation on Guest PAge Table Page\n");
       state->cached_cr3 = 0;
     }
-    
+
     return 0;
 
   } else {
@@ -825,7 +899,8 @@ int v3_handle_shadow_invlpg(struct guest_info * info)
   
   
   if (info->cpu_mode != PROTECTED) {
-    return 0;
+    PrintError("Unsupported CPU mode (mode=%s)\n", v3_cpu_mode_to_str(info->cpu_mode));
+    return -1;
   }
   
   uchar_t instr[15];
@@ -892,7 +967,7 @@ int v3_handle_shadow_invlpg(struct guest_info * info)
       
 #ifdef DEBUG_SHADOW_PAGING
       PrintDebug("Setting not present\n");
-      PrintPTE32(first_operand, shadow_pte );
+      PrintPTEntry(PAGE_PT32, first_operand, shadow_pte);
 #endif
       
       shadow_pte->present = 0;
@@ -904,133 +979,3 @@ int v3_handle_shadow_invlpg(struct guest_info * info)
 }
 
 
-/*
-
-
-static int create_pd32_nonaligned_4MB_page(struct guest_info * info, pte32_t * pt, addr_t guest_addr, pde32_4MB_t * large_shadow_pde) {
-  uint_t i = 0;
-  pte32_t * pte_cursor;
-  addr_t guest_pa = 0;
-
-  for (i = 0; i < 1024; i++) {
-    guest_pa = guest_addr + (PAGE_SIZE * i);
-    host_region_type_t host_page_type = get_shadow_addr_type(info, guest_pa);
-    
-    pte_cursor = &(pt[i]);
-
-    if (host_page_type == HOST_REGION_INVALID) {
-      // Currently we don't support this, but in theory we could
-      PrintError("Invalid Host Memory Type\n");
-      return -1;
-    } else if (host_page_type == HOST_REGION_PHYSICAL_MEMORY) {
-      addr_t shadow_pa = get_shadow_addr(info, guest_pa);
-
-
-      pte_cursor->page_base_addr = PT32_BASE_ADDR(shadow_pa);
-      pte_cursor->present = 1;
-      pte_cursor->writable = large_shadow_pde->writable;
-      pte_cursor->user_page = large_shadow_pde->user_page;
-      pte_cursor->write_through = 0;  
-      pte_cursor->cache_disable = 0;
-      pte_cursor->global_page = 0;
-
-    } else {
-      PrintError("Unsupported Host Memory Type\n");
-      return -1;
-    }
-  }
-  return 0;
-}
-
-
-static int handle_large_pagefault32(struct guest_info * info, 
-                                   pde32_t * guest_pde, pde32_t * shadow_pde, 
-                                   addr_t fault_addr, pf_error_t error_code ) {
-  struct shadow_region * mem_reg;
-  pde32_4MB_t * large_guest_pde = (pde32_4MB_t *)guest_pde;
-  pde32_4MB_t * large_shadow_pde = (pde32_4MB_t *)shadow_pde;
-  host_region_type_t host_page_type;
-  addr_t guest_start_addr = PDE32_4MB_T_ADDR(*large_guest_pde);
-  //    addr_t guest_end_addr = guest_start_addr + PAGE_SIZE_4MB; // start address + 4MB
-  
-  
-  // Check that the Guest PDE entry points to valid memory
-  // else Machine Check the guest
-  PrintDebug("Large Page: Page Base Addr=%x\n", guest_start_addr);
-  
-  host_page_type = get_shadow_addr_type(info, guest_start_addr);
-  
-  if (host_page_type == HOST_REGION_INVALID) {
-    PrintError("Invalid guest address in large page (0x%x)\n", guest_start_addr);
-    v3_raise_exception(info, MC_EXCEPTION);
-    return -1;
-  }
-  
-  // else...
-
-  if (host_page_type == HOST_REGION_PHYSICAL_MEMORY) {
-
-    addr_t host_start_addr = 0;
-    addr_t region_end_addr = 0;
-    
-    // Check for a large enough region in host memory
-    mem_reg = get_shadow_region_by_addr(&(info->mem_map), guest_start_addr);
-    PrintDebug("Host region: host_addr=%x (guest_start=%x, end=%x)\n", 
-              mem_reg->host_addr, mem_reg->guest_start, mem_reg->guest_end);
-    host_start_addr = mem_reg->host_addr + (guest_start_addr - mem_reg->guest_start);
-    region_end_addr = mem_reg->host_addr + (mem_reg->guest_end - mem_reg->guest_start);
-    
-    PrintDebug("Host Start Addr=%x; Region End Addr=%x\n", host_start_addr, region_end_addr);
-    
-    
-    //4f
-    if (large_guest_pde->dirty == 1) { // dirty
-      large_shadow_pde->writable = guest_pde->writable;
-    } else if (error_code.write == 1) { // not dirty, access is write
-      large_shadow_pde->writable = guest_pde->writable;
-      large_guest_pde->dirty = 1;
-    } else { // not dirty, access is read
-      large_shadow_pde->writable = 0;
-    }
-    
-    
-    // Check if the region is at least an additional 4MB
-    
-    
-    //4b.
-    if ((PD32_4MB_PAGE_OFFSET(host_start_addr) == 0) && 
-       (region_end_addr >= host_start_addr + PAGE_SIZE_4MB)) {         // if 4MB boundary
-      large_shadow_pde->page_base_addr = PD32_4MB_BASE_ADDR(host_start_addr);
-    } else {     // else generate 4k pages
-      pte32_t * shadow_pt = NULL;
-      PrintDebug("Handling non aligned large page\n");
-      
-      shadow_pde->large_page = 0;
-      
-      shadow_pt = create_new_shadow_pt32();
-
-      if (create_pd32_nonaligned_4MB_page(info, shadow_pt, guest_start_addr, large_shadow_pde) == -1) {
-       PrintError("Non Aligned Large Page Error\n");
-       V3_Free(shadow_pt);
-       return -1;
-      }
-      
-      
-#ifdef DEBUG_SHADOW_PAGING
-      PrintDebug("non-aligned Shadow PT\n");
-      PrintPT32(PT32_PAGE_ADDR(fault_addr), shadow_pt);          
-#endif
-      shadow_pde->pt_base_addr = PD32_BASE_ADDR(shadow_pt);
-    }
-    
-  } else {
-    // Handle hooked pages as well as other special pages
-    if (handle_special_page_fault(info, fault_addr, guest_start_addr, error_code) == -1) {
-      PrintError("Special Page Fault handler returned error for address: %x\n", fault_addr);
-      return -1;
-    }
-  }
-
-  return 0;
-}
-*/