Palacios Public Git Repository

To checkout Palacios execute

  git clone http://v3vee.org/palacios/palacios.web/palacios.git
This will give you the master branch. You probably want the devel branch or one of the release branches. To switch to the devel branch, simply execute
  cd palacios
  git checkout --track -b devel origin/devel
The other branches are similar.


Checkpointing and migration now support options, the first of which are: skipping...
[palacios.git] / palacios / src / palacios / vmm.c
index 87746ef..61aa245 100644 (file)
@@ -25,6 +25,8 @@
 #include <palacios/vmm_lowlevel.h>
 #include <palacios/vmm_sprintf.h>
 #include <palacios/vmm_extensions.h>
+#include <palacios/vmm_timeout.h>
+#include <palacios/vmm_options.h>
 
 #ifdef V3_CONFIG_SVM
 #include <palacios/svm.h>
@@ -39,6 +41,8 @@
 
 
 v3_cpu_arch_t v3_cpu_types[V3_CONFIG_MAX_CPUS];
+v3_cpu_arch_t v3_mach_type = V3_INVALID_CPU;
+
 struct v3_os_hooks * os_hooks = NULL;
 int v3_dbg_enable = 0;
 
@@ -50,20 +54,20 @@ static void init_cpu(void * arg) {
 
 #ifdef V3_CONFIG_SVM
     if (v3_is_svm_capable()) {
-        PrintDebug("Machine is SVM Capable\n");
+        PrintDebug(VM_NONE, VCORE_NONE, "Machine is SVM Capable\n");
         v3_init_svm_cpu(cpu_id);
        
     } else 
 #endif
 #ifdef V3_CONFIG_VMX
     if (v3_is_vmx_capable()) {
-       PrintDebug("Machine is VMX Capable\n");
+        PrintDebug(VM_NONE, VCORE_NONE, "Machine is VMX Capable\n");
        v3_init_vmx_cpu(cpu_id);
 
     } else 
 #endif
     {
-       PrintError("CPU has no virtualization Extensions\n");
+       PrintError(VM_NONE, VCORE_NONE, "CPU has no virtualization Extensions\n");
     }
 }
 
@@ -76,7 +80,7 @@ static void deinit_cpu(void * arg) {
 #ifdef V3_CONFIG_SVM
        case V3_SVM_CPU:
        case V3_SVM_REV3_CPU:
-           PrintDebug("Deinitializing SVM CPU %d\n", cpu_id);
+           PrintDebug(VM_NONE, VCORE_NONE, "Deinitializing SVM CPU %d\n", cpu_id);
            v3_deinit_svm_cpu(cpu_id);
            break;
 #endif
@@ -84,40 +88,52 @@ static void deinit_cpu(void * arg) {
        case V3_VMX_CPU:
        case V3_VMX_EPT_CPU:
        case V3_VMX_EPT_UG_CPU:
-           PrintDebug("Deinitializing VMX CPU %d\n", cpu_id);
+           PrintDebug(VM_NONE, VCORE_NONE, "Deinitializing VMX CPU %d\n", cpu_id);
            v3_deinit_vmx_cpu(cpu_id);
            break;
 #endif
        case V3_INVALID_CPU:
        default:
-           PrintError("CPU has no virtualization Extensions\n");
+           PrintError(VM_NONE, VCORE_NONE, "CPU has no virtualization Extensions\n");
            break;
     }
 }
 
+void Init_V3(struct v3_os_hooks * hooks, char * cpu_mask, int num_cpus, char *options) {
+    int i = 0;
+    int minor = 0;
+    int major = 0;
 
-
-void Init_V3(struct v3_os_hooks * hooks, int num_cpus) {
-    int i;
-
-    V3_Print("V3 Print statement to fix a Kitten page fault bug\n");
+    V3_Print(VM_NONE, VCORE_NONE, "V3 Print statement to fix a Kitten page fault bug\n");
 
     // Set global variables. 
     os_hooks = hooks;
 
+    // Determine the global machine type
+    v3_mach_type = V3_INVALID_CPU;
+
     for (i = 0; i < V3_CONFIG_MAX_CPUS; i++) {
        v3_cpu_types[i] = V3_INVALID_CPU;
     }
 
+    // Parse host-os defined options into an easily-accessed format.
+    v3_parse_options(options);
+
     // Register all the possible device types
     V3_init_devices();
 
     // Register all shadow paging handlers
     V3_init_shdw_paging();
 
+    // Initialize the scheduler framework (must be before extensions)
+    V3_init_scheduling();
     // Register all extensions
     V3_init_extensions();
 
+    // Enabling scheduler
+    V3_enable_scheduler();
+
 
 #ifdef V3_CONFIG_SYMMOD
     V3_init_symmod();
@@ -127,22 +143,26 @@ void Init_V3(struct v3_os_hooks * hooks, int num_cpus) {
     V3_init_checkpoint();
 #endif
 
-
-
-
     if ((hooks) && (hooks->call_on_cpu)) {
 
-       for (i = 0; i < num_cpus; i++) {
-
-           V3_Print("Initializing VMM extensions on cpu %d\n", i);
-           hooks->call_on_cpu(i, &init_cpu, (void *)(addr_t)i);
-       }
-    }
+        for (i = 0; i < num_cpus; i++) {
+            major = i / 8;
+            minor = i % 8;
 
+            if ((cpu_mask == NULL) || (*(cpu_mask + major) & (0x1 << minor))) {
+                V3_Print(VM_NONE, VCORE_NONE, "Initializing VMM extensions on cpu %d\n", i);
+                hooks->call_on_cpu(i, &init_cpu, (void *)(addr_t)i);
 
+               if (v3_mach_type == V3_INVALID_CPU) {
+                   v3_mach_type = v3_cpu_types[i];
+               }   
+            }
+        }
+    }
 }
 
 
+
 void Shutdown_V3() {
     int i;
 
@@ -181,21 +201,30 @@ struct v3_vm_info * v3_create_vm(void * cfg, void * priv_data, char * name) {
     struct v3_vm_info * vm = v3_config_guest(cfg, priv_data);
 
     if (vm == NULL) {
-       PrintError("Could not configure guest\n");
+       PrintError(VM_NONE, VCORE_NONE, "Could not configure guest\n");
        return NULL;
     }
 
-    V3_Print("CORE 0 RIP=%p\n", (void *)(addr_t)(vm->cores[0].rip));
+    V3_Print(vm, VCORE_NONE, "CORE 0 RIP=%p\n", (void *)(addr_t)(vm->cores[0].rip));
 
     if (name == NULL) {
        name = "[V3_VM]";
     } else if (strlen(name) >= 128) {
-       PrintError("VM name is too long. Will be truncated to 128 chars.\n");
+        PrintError(vm, VCORE_NONE,"VM name is too long. Will be truncated to 128 chars.\n");
     }
 
     memset(vm->name, 0, 128);
     strncpy(vm->name, name, 127);
 
+    /*
+     * Register this VM with the palacios scheduler. It will ask for admission
+     * prior to launch.
+     */
+    if(v3_scheduler_register_vm(vm) == -1) {
+    
+        PrintError(vm, VCORE_NONE,"Error registering VM with scheduler\n");
+    }
+
     return vm;
 }
 
@@ -206,11 +235,14 @@ static int start_core(void * p)
 {
     struct guest_info * core = (struct guest_info *)p;
 
+    if (v3_scheduler_register_core(core) == -1){
+        PrintError(core->vm_info, core,"Error initializing scheduling in core %d\n", core->vcpu_id);
+    }
 
-    PrintDebug("virtual core %u (on logical core %u): in start_core (RIP=%p)\n", 
+    PrintDebug(core->vm_info,core,"virtual core %u (on logical core %u): in start_core (RIP=%p)\n", 
               core->vcpu_id, core->pcpu_id, (void *)(addr_t)core->rip);
 
-    switch (v3_cpu_types[0]) {
+    switch (v3_mach_type) {
 #ifdef V3_CONFIG_SVM
        case V3_SVM_CPU:
        case V3_SVM_REV3_CPU:
@@ -225,7 +257,7 @@ static int start_core(void * p)
            break;
 #endif
        default:
-           PrintError("Attempting to enter a guest on an invalid CPU\n");
+           PrintError(core->vm_info, core, "Attempting to enter a guest on an invalid CPU\n");
            return -1;
     }
     // should not happen
@@ -243,10 +275,32 @@ int v3_start_vm(struct v3_vm_info * vm, unsigned int cpu_mask) {
     uint32_t avail_cores = 0;
     int vcore_id = 0;
 
+
+    if (vm->run_state != VM_STOPPED) {
+        PrintError(vm, VCORE_NONE, "VM has already been launched (state=%d)\n", (int)vm->run_state);
+        return -1;
+    }
+
+    
+    // Do not run if any core is using shadow paging and we are out of 4 GB bounds
+    for (i=0;i<vm->num_cores;i++) { 
+       if (vm->cores[i].shdw_pg_mode == SHADOW_PAGING) {
+           if ((vm->mem_map.base_region.host_addr + vm->mem_size ) >= 0x100000000ULL) {
+               PrintError(vm, VCORE_NONE, "Base memory region exceeds 4 GB boundary with shadow paging enabled on core %d.\n",i);
+               PrintError(vm, VCORE_NONE, "Any use of non-64 bit mode in the guest is likely to fail in this configuration.\n");
+               PrintError(vm, VCORE_NONE, "If you would like to proceed anyway, remove this check and recompile Palacios.\n");
+               PrintError(vm, VCORE_NONE, "Alternatively, change this VM to use nested paging.\n");
+               return -1;
+           }
+       }
+    }
+
+
+
     /// CHECK IF WE ARE MULTICORE ENABLED....
 
-    V3_Print("V3 --  Starting VM (%u cores)\n", vm->num_cores);
-    V3_Print("CORE 0 RIP=%p\n", (void *)(addr_t)(vm->cores[0].rip));
+    V3_Print(vm, VCORE_NONE, "V3 --  Starting VM (%u cores)\n", vm->num_cores);
+    V3_Print(vm, VCORE_NONE, "CORE 0 RIP=%p\n", (void *)(addr_t)(vm->cores[0].rip));
 
 
     // Check that enough cores are present in the mask to handle vcores
@@ -255,17 +309,23 @@ int v3_start_vm(struct v3_vm_info * vm, unsigned int cpu_mask) {
        int minor = i % 8;
        
        if (core_mask[major] & (0x1 << minor)) {
-           avail_cores++;
+           if (v3_cpu_types[i] == V3_INVALID_CPU) {
+               core_mask[major] &= ~(0x1 << minor);
+           } else {
+               avail_cores++;
+           }
        }
     }
 
 
-    if (vm->num_cores > avail_cores) {
-       PrintError("Attempted to start a VM with too many cores (vm->num_cores = %d, avail_cores = %d, MAX=%d)\n", 
-                  vm->num_cores, avail_cores, MAX_CORES);
-       return -1;
+    vm->avail_cores = avail_cores;
+    if (v3_scheduler_admit_vm(vm) != 0){
+        PrintError(vm, VCORE_NONE,"Error admitting VM %s for scheduling", vm->name);
     }
 
+    vm->run_state = VM_RUNNING;
+
     // Spawn off threads for each core. 
     // We work backwards, so that core 0 is always started last.
     for (i = 0, vcore_id = vm->num_cores - 1; (i < MAX_CORES) && (vcore_id >= 0); i++) {
@@ -279,7 +339,7 @@ int v3_start_vm(struct v3_vm_info * vm, unsigned int cpu_mask) {
            core_idx = atoi(specified_cpu);
            
            if ((core_idx < 0) || (core_idx >= MAX_CORES)) {
-               PrintError("Target CPU out of bounds (%d) (MAX_CORES=%d)\n", core_idx, MAX_CORES);
+               PrintError(vm, VCORE_NONE, "Target CPU out of bounds (%d) (MAX_CORES=%d)\n", core_idx, MAX_CORES);
            }
 
            i--; // We reset the logical core idx. Not strictly necessary I guess... 
@@ -291,11 +351,11 @@ int v3_start_vm(struct v3_vm_info * vm, unsigned int cpu_mask) {
        minor = core_idx % 8;
 
        if ((core_mask[major] & (0x1 << minor)) == 0) {
-           PrintError("Logical CPU %d not available for virtual core %d; not started\n",
+           PrintError(vm, VCORE_NONE, "Logical CPU %d not available for virtual core %d; not started\n",
                       core_idx, vcore_id);
 
            if (specified_cpu != NULL) {
-               PrintError("CPU was specified explicitly (%d). HARD ERROR\n", core_idx);
+               PrintError(vm, VCORE_NONE, "CPU was specified explicitly (%d). HARD ERROR\n", core_idx);
                v3_stop_vm(vm);
                return -1;
            }
@@ -303,19 +363,20 @@ int v3_start_vm(struct v3_vm_info * vm, unsigned int cpu_mask) {
            continue;
        }
 
-       PrintDebug("Starting virtual core %u on logical core %u\n", 
+       PrintDebug(vm, VCORE_NONE, "Starting virtual core %u on logical core %u\n", 
                   vcore_id, core_idx);
        
        sprintf(core->exec_name, "%s-%u", vm->name, vcore_id);
 
-       PrintDebug("run: core=%u, func=0x%p, arg=0x%p, name=%s\n",
+       PrintDebug(vm, VCORE_NONE, "run: core=%u, func=0x%p, arg=0x%p, name=%s\n",
                   core_idx, start_core, core, core->exec_name);
 
+       core->core_run_state = CORE_STOPPED;  // core zero will turn itself on
        core->pcpu_id = core_idx;
        core->core_thread = V3_CREATE_THREAD_ON_CPU(core_idx, start_core, core, core->exec_name);
 
        if (core->core_thread == NULL) {
-           PrintError("Thread launch failed\n");
+           PrintError(vm, VCORE_NONE, "Thread launch failed\n");
            v3_stop_vm(vm);
            return -1;
        }
@@ -323,6 +384,12 @@ int v3_start_vm(struct v3_vm_info * vm, unsigned int cpu_mask) {
        vcore_id--;
     }
 
+    if (vcore_id >= 0) {
+       PrintError(vm, VCORE_NONE, "Error starting VM: Not enough available CPU cores\n");
+       v3_stop_vm(vm);
+       return -1;
+    }
+
 
     return 0;
 
@@ -335,19 +402,19 @@ int v3_reset_vm_core(struct guest_info * core, addr_t rip) {
 #ifdef V3_CONFIG_SVM
        case V3_SVM_CPU:
        case V3_SVM_REV3_CPU:
-           PrintDebug("Resetting SVM Guest CPU %d\n", core->vcpu_id);
+           PrintDebug(core->vm_info, core, "Resetting SVM Guest CPU %d\n", core->vcpu_id);
            return v3_reset_svm_vm_core(core, rip);
 #endif
 #ifdef V3_CONFIG_VMX
        case V3_VMX_CPU:
        case V3_VMX_EPT_CPU:
        case V3_VMX_EPT_UG_CPU:
-           PrintDebug("Resetting VMX Guest CPU %d\n", core->vcpu_id);
+           PrintDebug(core->vm_info, core, "Resetting VMX Guest CPU %d\n", core->vcpu_id);
            return v3_reset_vmx_vm_core(core, rip);
 #endif
        case V3_INVALID_CPU:
        default:
-           PrintError("CPU has no virtualization Extensions\n");
+           PrintError(core->vm_info, core, "CPU has no virtualization Extensions\n");
            break;
     }
 
@@ -361,31 +428,31 @@ int v3_move_vm_core(struct v3_vm_info * vm, int vcore_id, int target_cpu) {
     struct guest_info * core = NULL;
 
     if ((vcore_id < 0) || (vcore_id >= vm->num_cores)) {
-       PrintError("Attempted to migrate invalid virtual core (%d)\n", vcore_id);
+        PrintError(vm, VCORE_NONE, "Attempted to migrate invalid virtual core (%d)\n", vcore_id);
        return -1;
     }
 
     core = &(vm->cores[vcore_id]);
 
     if (target_cpu == core->pcpu_id) {
-       PrintError("Attempted to migrate to local core (%d)\n", target_cpu);
+       PrintError(vm,  core, "Attempted to migrate to local core (%d)\n", target_cpu);
        // well that was pointless
        return 0;
     }
 
     if (core->core_thread == NULL) {
-       PrintError("Attempted to migrate a core without a valid thread context\n");
+       PrintError(vm, core, "Attempted to migrate a core without a valid thread context\n");
        return -1;
     }
 
     while (v3_raise_barrier(vm, NULL) == -1);
 
-    V3_Print("Performing Migration from %d to %d\n", core->pcpu_id, target_cpu);
+    V3_Print(vm, core, "Performing Migration from %d to %d\n", core->pcpu_id, target_cpu);
 
     // Double check that we weren't preemptively migrated
     if (target_cpu != core->pcpu_id) {    
 
-       V3_Print("Moving Core\n");
+       V3_Print(vm, core, "Moving Core\n");
 
 
 #ifdef V3_CONFIG_VMX
@@ -393,7 +460,7 @@ int v3_move_vm_core(struct v3_vm_info * vm, int vcore_id, int target_cpu) {
            case V3_VMX_CPU:
            case V3_VMX_EPT_CPU:
            case V3_VMX_EPT_UG_CPU:
-               PrintDebug("Flushing VMX Guest CPU %d\n", core->vcpu_id);
+               PrintDebug(vm, core, "Flushing VMX Guest CPU %d\n", core->vcpu_id);
                V3_Call_On_CPU(core->pcpu_id, (void (*)(void *))v3_flush_vmx_vm_core, (void *)core);
                break;
            default:
@@ -402,7 +469,7 @@ int v3_move_vm_core(struct v3_vm_info * vm, int vcore_id, int target_cpu) {
 #endif
 
        if (V3_MOVE_THREAD_TO_CPU(target_cpu, core->core_thread) != 0) {
-           PrintError("Failed to move Vcore %d to CPU %d\n", 
+           PrintError(vm, core, "Failed to move Vcore %d to CPU %d\n", 
                       core->vcpu_id, target_cpu);
            v3_lower_barrier(vm);
            return -1;
@@ -414,13 +481,9 @@ int v3_move_vm_core(struct v3_vm_info * vm, int vcore_id, int target_cpu) {
        */
        core->pcpu_id = target_cpu;
 
-       V3_Print("core now at %d\n", core->pcpu_id);
-       
+       V3_Print(vm, core, "core now at %d\n", core->pcpu_id);  
     }
 
-
-
-
     v3_lower_barrier(vm);
 
     return 0;
@@ -430,9 +493,20 @@ int v3_move_vm_core(struct v3_vm_info * vm, int vcore_id, int target_cpu) {
 
 int v3_stop_vm(struct v3_vm_info * vm) {
 
+    if ((vm->run_state != VM_RUNNING) && 
+       (vm->run_state != VM_SIMULATING)) {
+        PrintError(vm, VCORE_NONE,"Tried to stop VM in invalid runstate (%d)\n", vm->run_state);
+       return -1;
+    }
+
     vm->run_state = VM_STOPPED;
 
-    // force exit all cores via a cross call/IPI
+    // Sanity check to catch any weird execution states
+    if (v3_wait_for_barrier(vm, NULL) == 0) {
+       v3_lower_barrier(vm);
+    }
+    
+    // XXX force exit all cores via a cross call/IPI XXX
 
     while (1) {
        int i = 0;
@@ -448,10 +522,10 @@ int v3_stop_vm(struct v3_vm_info * vm) {
            break;
        }
 
-       v3_yield(NULL);
+       v3_yield(NULL,-1);
     }
     
-    V3_Print("VM stopped. Returning\n");
+    V3_Print(vm, VCORE_NONE,"VM stopped. Returning\n");
 
     return 0;
 }
@@ -460,7 +534,7 @@ int v3_stop_vm(struct v3_vm_info * vm) {
 int v3_pause_vm(struct v3_vm_info * vm) {
 
     if (vm->run_state != VM_RUNNING) {
-       PrintError("Tried to pause a VM that was not running\n");
+       PrintError(vm, VCORE_NONE,"Tried to pause a VM that was not running\n");
        return -1;
     }
 
@@ -475,35 +549,210 @@ int v3_pause_vm(struct v3_vm_info * vm) {
 int v3_continue_vm(struct v3_vm_info * vm) {
 
     if (vm->run_state != VM_PAUSED) {
-       PrintError("Tried to continue a VM that was not paused\n");
+       PrintError(vm, VCORE_NONE,"Tried to continue a VM that was not paused\n");
        return -1;
     }
 
+    vm->run_state = VM_RUNNING;
+
     v3_lower_barrier(vm);
 
+    return 0;
+}
+
+
+
+static int sim_callback(struct guest_info * core, void * private_data) {
+    struct v3_bitmap * timeout_map = private_data;
+
+    v3_bitmap_set(timeout_map, core->vcpu_id);
+    
+    V3_Print(core->vm_info, core, "Simulation callback activated (guest_rip=%p)\n", (void *)core->rip);
+
+    while (v3_bitmap_check(timeout_map, core->vcpu_id) == 1) {
+       v3_yield(NULL,-1);
+    }
+
+    return 0;
+}
+
+
+
+
+int v3_simulate_vm(struct v3_vm_info * vm, unsigned int msecs) {
+    struct v3_bitmap timeout_map;
+    int i = 0;
+    int all_blocked = 0;
+    uint64_t cycles = 0;
+    uint64_t cpu_khz = V3_CPU_KHZ();
+
+    if (vm->run_state != VM_PAUSED) {
+       PrintError(vm, VCORE_NONE,"VM must be paused before simulation begins\n");
+       return -1;
+    }
+
+    /* AT this point VM is paused */
+    
+    // initialize bitmap
+    v3_bitmap_init(&timeout_map, vm->num_cores);
+
+
+
+
+    // calculate cycles from msecs...
+    // IMPORTANT: Floating point not allowed.
+    cycles = (msecs * cpu_khz);
+    
+
+
+    V3_Print(vm, VCORE_NONE,"Simulating %u msecs (%llu cycles) [CPU_KHZ=%llu]\n", msecs, cycles, cpu_khz);
+
+    // set timeout
+    
+    for (i = 0; i < vm->num_cores; i++) {
+       if (v3_add_core_timeout(&(vm->cores[i]), cycles, sim_callback, &timeout_map) == -1) {
+           PrintError(vm, VCORE_NONE,"Could not register simulation timeout for core %d\n", i);
+           return -1;
+       }
+    }
+
+    V3_Print(vm, VCORE_NONE,"timeouts set on all cores\n ");
+
+    
+    // Run the simulation
+//    vm->run_state = VM_SIMULATING;
     vm->run_state = VM_RUNNING;
+    v3_lower_barrier(vm);
+
+
+    V3_Print(vm, VCORE_NONE,"Barrier lowered: We are now Simulating!!\n");
+
+    // block until simulation is complete    
+    while (all_blocked == 0) {
+       all_blocked = 1;
+
+       for (i = 0; i < vm->num_cores; i++) {
+           if (v3_bitmap_check(&timeout_map, i)  == 0) {
+               all_blocked = 0;
+           }
+       }
+
+       if (all_blocked == 1) {
+           break;
+       }
+
+       v3_yield(NULL,-1);
+    }
+
+
+    V3_Print(vm, VCORE_NONE,"Simulation is complete\n");
+
+    // Simulation is complete
+    // Reset back to PAUSED state
+
+    v3_raise_barrier_nowait(vm, NULL);
+    vm->run_state = VM_PAUSED;
+    
+    v3_bitmap_reset(&timeout_map);
+
+    v3_wait_for_barrier(vm, NULL);
 
     return 0;
+
 }
 
+int v3_get_state_vm(struct v3_vm_info *vm, struct v3_vm_state *s)
+{
+  uint32_t i;
+  uint32_t numcores = s->num_vcores > vm->num_cores ? vm->num_cores : s->num_vcores;
+
+  switch (vm->run_state) { 
+  case VM_INVALID: s->state = V3_VM_INVALID; break;
+  case VM_RUNNING: s->state = V3_VM_RUNNING; break;
+  case VM_STOPPED: s->state = V3_VM_STOPPED; break;
+  case VM_PAUSED: s->state = V3_VM_PAUSED; break;
+  case VM_ERROR: s->state = V3_VM_ERROR; break;
+  case VM_SIMULATING: s->state = V3_VM_SIMULATING; break;
+  default: s->state = V3_VM_UNKNOWN; break;
+  }
+
+  s->mem_base_paddr = (void*)(vm->mem_map.base_region.host_addr);
+  s->mem_size = vm->mem_size;
+
+  s->num_vcores = numcores;
+
+  for (i=0;i<numcores;i++) {
+    switch (vm->cores[i].core_run_state) {
+    case CORE_INVALID: s->vcore[i].state = V3_VCORE_INVALID; break;
+    case CORE_RUNNING: s->vcore[i].state = V3_VCORE_RUNNING; break;
+    case CORE_STOPPED: s->vcore[i].state = V3_VCORE_STOPPED; break;
+    default: s->vcore[i].state = V3_VCORE_UNKNOWN; break;
+    }
+    switch (vm->cores[i].cpu_mode) {
+    case REAL: s->vcore[i].cpu_mode = V3_VCORE_CPU_REAL; break;
+    case PROTECTED: s->vcore[i].cpu_mode = V3_VCORE_CPU_PROTECTED; break;
+    case PROTECTED_PAE: s->vcore[i].cpu_mode = V3_VCORE_CPU_PROTECTED_PAE; break;
+    case LONG: s->vcore[i].cpu_mode = V3_VCORE_CPU_LONG; break;
+    case LONG_32_COMPAT: s->vcore[i].cpu_mode = V3_VCORE_CPU_LONG_32_COMPAT; break;
+    case LONG_16_COMPAT: s->vcore[i].cpu_mode = V3_VCORE_CPU_LONG_16_COMPAT; break;
+    default: s->vcore[i].cpu_mode = V3_VCORE_CPU_UNKNOWN; break;
+    }
+    switch (vm->cores[i].shdw_pg_mode) { 
+    case SHADOW_PAGING: s->vcore[i].mem_state = V3_VCORE_MEM_STATE_SHADOW; break;
+    case NESTED_PAGING: s->vcore[i].mem_state = V3_VCORE_MEM_STATE_NESTED; break;
+    default: s->vcore[i].mem_state = V3_VCORE_MEM_STATE_UNKNOWN; break;
+    }
+    switch (vm->cores[i].mem_mode) { 
+    case PHYSICAL_MEM: s->vcore[i].mem_mode = V3_VCORE_MEM_MODE_PHYSICAL; break;
+    case VIRTUAL_MEM: s->vcore[i].mem_mode=V3_VCORE_MEM_MODE_VIRTUAL; break;
+    default: s->vcore[i].mem_mode=V3_VCORE_MEM_MODE_UNKNOWN; break;
+    }
+
+    s->vcore[i].pcore=vm->cores[i].pcpu_id;
+    s->vcore[i].last_rip=(void*)(vm->cores[i].rip);
+    s->vcore[i].num_exits=vm->cores[i].num_exits;
+  }
+
+  return 0;
+}
+
+
 #ifdef V3_CONFIG_CHECKPOINT
 #include <palacios/vmm_checkpoint.h>
 
-int v3_save_vm(struct v3_vm_info * vm, char * store, char * url) {
-    return v3_chkpt_save_vm(vm, store, url);
+int v3_save_vm(struct v3_vm_info * vm, char * store, char * url, v3_chkpt_options_t opts) {
+  return v3_chkpt_save_vm(vm, store, url, opts);
 }
 
 
-int v3_load_vm(struct v3_vm_info * vm, char * store, char * url) {
-    return v3_chkpt_load_vm(vm, store, url);
+int v3_load_vm(struct v3_vm_info * vm, char * store, char * url, v3_chkpt_options_t opts) {
+  return v3_chkpt_load_vm(vm, store, url, opts);
+}
+
+#ifdef V3_CONFIG_LIVE_MIGRATION
+int v3_send_vm(struct v3_vm_info * vm, char * store, char * url, v3_chkpt_options_t opts) {
+  return v3_chkpt_send_vm(vm, store, url, opts);
+}
+
+
+int v3_receive_vm(struct v3_vm_info * vm, char * store, char * url, v3_chkpt_options_t opts) {
+  return v3_chkpt_receive_vm(vm, store, url, opts);
 }
 #endif
 
+#endif
+
 
 int v3_free_vm(struct v3_vm_info * vm) {
     int i = 0;
     // deinitialize guest (free memory, etc...)
 
+    if ((vm->run_state != VM_STOPPED) &&
+       (vm->run_state != VM_ERROR)) {
+       PrintError(vm, VCORE_NONE,"Tried to Free VM in invalid runstate (%d)\n", vm->run_state);
+       return -1;
+    }
+
     v3_free_vm_devices(vm);
 
     // free cores
@@ -551,49 +800,6 @@ v3_cpu_mode_t v3_get_host_cpu_mode() {
 
 #endif 
 
-
-#define V3_Yield(addr)                                 \
-    do {                                               \
-       extern struct v3_os_hooks * os_hooks;           \
-       if ((os_hooks) && (os_hooks)->yield_cpu) {      \
-           (os_hooks)->yield_cpu();                    \
-       }                                               \
-    } while (0)                                                \
-
-
-
-void v3_yield_cond(struct guest_info * info) {
-    uint64_t cur_cycle;
-    cur_cycle = v3_get_host_time(&info->time_state);
-
-    if (cur_cycle > (info->yield_start_cycle + info->vm_info->yield_cycle_period)) {
-
-       /*
-         PrintDebug("Conditional Yield (cur_cyle=%p, start_cycle=%p, period=%p)\n", 
-         (void *)cur_cycle, (void *)info->yield_start_cycle, (void *)info->yield_cycle_period);
-       */
-       V3_Yield();
-       info->yield_start_cycle = v3_get_host_time(&info->time_state);
-    }
-}
-
-
-/* 
- * unconditional cpu yield 
- * if the yielding thread is a guest context, the guest quantum is reset on resumption 
- * Non guest context threads should call this function with a NULL argument
- */
-void v3_yield(struct guest_info * info) {
-    V3_Yield();
-
-    if (info) {
-       info->yield_start_cycle = v3_get_host_time(&info->time_state);
-    }
-}
-
-
-
-
 void v3_print_cond(const char * fmt, ...) {
     if (v3_dbg_enable == 1) {
        char buf[2048];
@@ -603,7 +809,7 @@ void v3_print_cond(const char * fmt, ...) {
        vsnprintf(buf, 2048, fmt, ap);
        va_end(ap);
 
-       V3_Print("%s", buf);
+       V3_Print(VM_NONE, VCORE_NONE,"%s", buf);
     }    
 }
 
@@ -620,7 +826,7 @@ void v3_interrupt_cpu(struct v3_vm_info * vm, int logical_cpu, int vector) {
 
 
 int v3_vm_enter(struct guest_info * info) {
-    switch (v3_cpu_types[0]) {
+    switch (v3_mach_type) {
 #ifdef V3_CONFIG_SVM
        case V3_SVM_CPU:
        case V3_SVM_REV3_CPU:
@@ -635,7 +841,26 @@ int v3_vm_enter(struct guest_info * info) {
            break;
 #endif
        default:
-           PrintError("Attemping to enter a guest on an invalid CPU\n");
+           PrintError(info->vm_info, info, "Attemping to enter a guest on an invalid CPU\n");
            return -1;
     }
 }
+
+
+void    *v3_get_host_vm(struct v3_vm_info *x)
+{
+  if (x) { 
+    return x->host_priv_data;
+  } else {
+    return 0;
+  }
+}
+
+int v3_get_vcore(struct guest_info *x)
+{
+  if (x) {
+    return x->vcpu_id;
+  } else {
+    return -1;
+  }
+}