git clone http://v3vee.org/palacios/palacios.web/palacios.git

  cd palacios
  git checkout --track -b devel origin/devel

Linux user-space tools for memory tracking functionality

Linux front-end for memory tracking interface

Add memory tracking functionality to Palacios

This creates an abstraction for tracking memory references
at the granularity of pages, regardless of the paging mechanism
being used.

Guest control cleanup

Expose swapping and pinning to host + add visibility to linux module

/proc/v3vee/v3-guests-details will now show the swapped or pinned state
of regions

Minor bug fixes and defensive programming

Add swapping and pinning capability to Palacios

This commit adds allows swapping of VMs at the granularity of
base regions.  Since base regions down to the page granularity are
possible, this swapper can swap down to page granularity as well.

The functionality can be selected at compile time, and the use of
swapping is determined at run time with a new "swapping" block, like
this:

  <mem ... >N_MB</mem>             Size of memory in the GPA

  <swapping enable="y">
     <allocated>M_MB</allocated>   Allocated space (M_MB <= N_MB)
     <file>FILENAME</file>         Where to swap to
     <strategy>STRATEGY</strategy> Victim picker to use NEXT_FIT, RANDOM (default), LRU, DEFAULT
  </swapping>

Pinning is also supported

Make newly created files 0600 by default

Minor fixes

- friendlier yield in vtime
- VMM launch observes started vcores (from checkpoint resume with >1 vcores)

Refactoring and additions to direct paging (nested and passthrough)

- SVM and VMX nested paging are better integrated, so there
  is now a single concept of "nested paging" at the "v3_" level
- VMX nested paging now has a parallel interface to SVM nested paging,
  so you can, for example invalidate regions, etc.
- Nested paging now has an event callback mechanism
- Direct paging now has an event callback mechanism
- v3_ functions related to nested and direct paging
  now return the GPA ranges they affect, as do
  the new event callbacks

Convert shadow paging to use 32 PAE (Remove 32 Bit Restrictions)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This patch removes the concept of "Shadow Safe" memory
from Palacios, and it removes all places where it was used,
most importantly, in the allocation of the guest itself.

These patches must be used together.

Convert shadow paging to use 32 PAE (Require Long Mode)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This change requires Palacios to be initialized and
run in long mode.   At minimum, we need PAE to be
available, and ideally, we want the version of PAE
developed for long mode to the one we use, not
the Intel legacy PAE stuff for 32 bit mode.

These patches need to be used together.

Convert shadow paging to use 32 PAE (VMX)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This patch adds support to VMX for this functionality:

- cr4 is read-shadowed to the shadow pager's guest cr4
- PAE is forced on
- vmx assist does not overwrite cr4 control, just masks it
- cleaner activation of passthrough PTs

Note that this is able to boot a BOCHS BIOS and a Linux guest.
It fails to boot the SEABIOS (Trap 0x8), but then that bug
is confirmed to be independent of these patches.

Convert shadow paging to use 32 PAE (SVM)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This patch updates SVM so that the shadow pts are activated
and CR4 reads as well as writes are intercepted.

Note that all patches with this name need to be used together
for this to work.

Convert shadow paging to use 32 PAE (Direct Paging)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This patch converts the direct pager to use 32PAE.
The direct pager is active when the guest has no
installed page tables.   All patches of this name
need to be applied for this to work.

Convert shadow paging to use 32 PAE (Core)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This first patch adds core functionality to the VTLB
pager, as well as change to CR4 handling.   The
other patches with this name need to be applied for
this to work.

Corrected corner case in VTLB (shadow paging) handling

Assorted minor fixes to the transactional memory code

don't let PCI BAR updates go through when device IO-space disabled

XEND instruction now correctly generates GPF when not in RTM mode

small fixes in RTM code

RTM code: abort on extern irqs and fixed bug in abort handling

correct XTEST behavior in RTM code

steps toward correct exception emulation in RTM code

RAX is now set with a status code on aborts for RTM, as per Intel spec

expose RTM cap in CPUID

addition of print macros for RTM code

significant refactoring of RTM emulation code

This is the first cut at a refactor of the transactional memory
extension. Most changes have been to reduce large function sizes, and
to reduce footprint in changes to Palacios core files. There are
several bug fixes as well, and this gets us to the point where we
can run thousand-transaction benchmarks on single-core.

At this point our main limitations are yet-to-be implemented
architectural features (coming soon) and limitations in the
quix86 decoder.

Signed-off-by: Maciek Swiech <dotpyfe@u.northwestern.edu>

Add comment

Fix xed build error

Ignore frees of null in all cases (kfree, vfree, pagefree)

add ability to destroy hashtable iterators

doc fix for config_v3vee

HPET does not abort load/save

Minor bug fix

Added HPET (High Precision Event Timer) device

This is an initial implementation of a virtual HPET. Does not support
checkpoint save/restore yet. The HPET is currently defined to run at
1/16th of guest time

Note that a typical guest will check for the existence of the HPET
via an ACPI table.   To force the current SeaBios to build this table
apply the following patch to it.  This will eventually be automatic.

rem diff --git a/bios/seabios/src/acpi.c b/bios/seabios/src/acpi.c
rem index 95575a1..da7c9e9 100644
rem --- a/bios/seabios/src/acpi.c
rem +++ b/bios/seabios/src/acpi.c
rem @@ -673,9 +673,9 @@ acpi_bios_init(void)
rem     ACPI_INIT_TABLE(build_fadt(pci));
rem     ACPI_INIT_TABLE(build_ssdt());
rem     ACPI_INIT_TABLE(build_madt());
rem -   if (pci) {
rem +   //if (pci) {
rem        ACPI_INIT_TABLE(build_hpet());
rem -   }
rem +   //}
rem     ACPI_INIT_TABLE(build_srat());
rem
rem     u16 i, external_tables = qemu_cfg_acpi_additional_tables();

APIC bugfix - corrected MSR read/write behavior

virtio-blk now handles config requests for non-declared config info

Minor cleanups on shadow paging build/debug

Addition of state to checkpoint

- now includes memory and cpu modes and CPL
- CPL sanity check

v3_stream argument number bugfix

Additional sanity-checks for guest configuration (v3_config_guest.pl)

Error checking fixes, minor bug in keyed stream, minor bug in checkpoint

All allocations now zeroed by default

Apic initialization bugfix

Added ATA PIO write, other ide cleanup

arg length bugfix in v3_stream

Guest PXE boot code

Boot sequenece selection for nvram

Add logic to VGA for vertical/horizontal retrace

Add missing case to print all debugging info in vmm_debug

Fix for floating point save/restore in case where fp context switching is turned off

Guest-side test tools, config, and X11 stuff for PARAGRAPH graphics device

Updated defaults to reflect former behavior for CPUID, MSRs, FP-Switching

The user must explicitly enable custom cpuid, strict msrs, and fp-swithing

Bugfix to base memory region lookup

Minor tweaks

- vmxassist doesn't print errors for information output
- guest config script cleanup

Allow strict MSR semantics

When enabled, reads/writes to MSRs we do not handle cause GPF to be injected.
This is the architecturally specified reaction.

When disabled, our more lenient behavior is used (read=0, write=ignored)

Allow custom CPUID

- when enabled, guest sees a strictly controlled cpuid result
  with a "V3VEE" cpu vendor, etc.  This is intended to help with
  cross-architecture migrations where we want to prevent the
  the guest from doing anything specific to the eratta of the
  startup CPU.
- when disabled, guest sees former behavior (cpuid of host
  masked for functionality we cannot support)

atapi and ioapic bugfixes

atapi: allow start/stop cd rom - needed for some kernels
ioapic: assure it's zeroed out at startup

Floating point context-switching and checkpoint/load

This integrates:

- the option to do floating point context-switching
- conservative code to do context-switching in Palacios
- a lazy floating point save/restore host interface
- an implementation of this interface in the linux module
- liberal code to use this interface in Palacios
- floating point checkpointing

This also includes a performance tuning element that
is hard to separate

VGA bugfixes

This patch corrects the behavior of VGA write modes 2 and 3 and
VGA read mode 1.  This repairs ugly output in typical graphics use

fix GEARS code inject dependency

remove assertions in power monitoring initialization

Switch VNET to use adaptive yielding by default, to reduce busy-waiting in the bridge and transmit-kick threads

Dynamic migration of memory from node to node

This adds the ability to move memory regions of a VM from user space:

  v3_mem_move /dev/v3-vmX guest_paddr host_cpuid

This will move the memory region in which guest_paddr is contained
from its current numa node to the one affiliated with host_cpuid

Combined with v3_core_move, this should provide the ability to
dynamically manipulate NUMA mappings at runtime, to the granularity
of the v3_mem_block_size (which is selected at insmod time)

bring GEARS up to date with interface changes

error checking in file close

clean up v3_mem errors

more paranoid error checking

These changes handle the case in which v3_free_vm is called
before several subsystems have been initialized. The ones that are particularly
prone are the non-pointers in the v3_vm_info struct that have list_head elements.

Reduced debugging output from consoles / ioctls

Guest configurator cleanup (nvram, vnet)

Handle oddball NUMA alloc/dealloc cases when kernel provides memory on undesired node

Clean up hashtable frees to fix rmmod crash on redhat

VNET memory interface and deinit cleanup

Restructure device configuration menus to make things clearer -
we have too many devices to just have a giant list

Added guest configurator and renamed v3vee configurator

v3_config emits memory allocations balanced across numa nodes

EDF scheduler bugfixes from Oscar

Graceful teardown of seabios fw config and fix of memory leak

Fixed spurious warning when memory block size is overrriden

Assorted cleanup

minor numa interface cleanup, and make sure initialization occurs

Cleaned up deinitialization of VMM and free of VMs

Memory management and /proc enhancements

- /proc/v3vee/v3-info projects up useful information about the dynamic configuration of Palacios
- v3_mem uses this functionality to catch common problems before making kernel
  requests.  It also can now search for appropriate memory to offline given the numa domain

Basic host scheduler bug fix

Clean up debugging output

Checkpoint/Restore fixes
  - handles multi-base region VMs with distinct tags for each base region
  - checks to see if restore VM's region setup is identical to the checkpoint
    VM's before proceeding (this will eventually be expanded to do translation)
  - minor fix to keyed stream to support large files
  - minor error fix to save/restore of serial

mptable no longer errors out if it doesn't find the mptable target area
in the VM.  This area does not exist if the seabios is used.  With this fix
if you have an mptable in a VM that is instantiated with seabios, it will just
not create an mptable.  instead, the seabios will create one

Updated userspace guest memory access tools for regions, plus added new fast functionality for
copies, hashes, and applies

Made memory manager reset distinct from removal of memory

Memory management enhancements:  dynamic removal, cleanup at module remove time

Enhanced configuration generation (now handles memory removal/offlining

v3_mem enhancements - managed offlining; ability to deallocate memory (obviates v3_mem_free)

Improved /proc/v3vee/v3-guests* output

Constraints in page allocation, and code changes to use them;  shadow paging allocations below 4 GB

This updates the page allocation os hook to take a "constraints" parameter.  Currently,
there only one constraint, allocation below 4 GB.   The buddy allocator and other elements
of the support code now obey this constraint.   I have vetted page allocations in Palacios
so that with a guest using shadow paging, any allocation that could become part of the
guest memory map, and any allocation done in 32 bit shadow paging (page tables) is done
with this constraint.  THis includes direct paging.  Nested paging should be unaffected.

Bug fixes to v3_mem

Configuration Generation tool for Linux Embedding

This attempts to wrap the complexity of memory configuration, devmem, etc
to tune to the user's environment and to their needs

VNET compatibility with NUMA interfaces

v3_mem fixes

- memory offlining now contingent on a block being both removable
  and not already offline
- re-onlines memory on failure for additional cases

Memory manager fixes and assorted other fixes

- MM allocates seeed pool from 32 bit memory to facilitate 32 bit shadow guests
- MM page allocation falls back to any node (-1) if request
  cannot be satisfied for the specific requested node
- MM fixes for in-kernel allocated regions
- init now falls back gracefully on failure
- early procdir creation to support MM and VNET

VNET control /proc permission fixes