git clone http://v3vee.org/palacios/palacios.web/palacios.git

  cd palacios
  git checkout --track -b devel origin/devel

Cleanup of locking in host device interface

Addition of basic multiboot functionality plus refactor of HVM
functionality to extend multiboot

Minor compile warning fixup and error checks

Generalization of constraints on page allocation and implementation/use

The idea here is to allow Palacios code to request pages that satisfy some
filter function.  For example, a filter function might reject allocations
above the 4GB line, or it might reject allocations that map to undesirable
cache lines.

- it removes the notion of a constraint mask in page allocation
- eliminates the < 4GB flag
- adds the notion of constraints in page allocation as filter
  functions
- modifies the implementation and uses to match

Expose vmalloc-like os interface to Palacios, and updates to use it

The purpose of finally exposing virtually contiguous /
not necessarily physically contiguous allocations to Palacios
is to get around a catch-22.   We support arbitrarily small
base region chunks at this point, down to a page size.  We
also support host kernels that do not provide large contiguous
physical page allocations.    The result is that we can
end up needing to build a base region chunk array that is
larger than the amount of memory we can either malloc or
contiguously page alloc to support it. Yet the base region
array itself does not need to be physically contiguous.

Two places where this currently burns us is:   large memory
VM allocated over linux host that does not support hot remove;
moderate memory VM using tiny chunk size, for example in
cache partitioning

QCOW2 block storage backend for Palacios

This commit adds a new backend, qcowdisk, that allows
the use of QCOW2 format files as the storage for
virtual hard drives, cds, virtio block devices, etc.

- Backing stores are supported
- Snapshots are not supported
- Encryption is not supported

Minor tweak to fix accidental new feature leak

Typo fix

Basic HRT startup for HVM, plus assorted cleanup

This builds and launches a basic guest environment for an HRT
It does not yet handle ELF load, but it is able to bootstrap
a simple code blob, including with interrupts, on HRT cores
while ROS cores happily run Linux

Support HVM partitioning for APICs

This allows us to treat the APICs as belonging to two
groups:  the "ROS" group and the "HRT" group.   Semantics
for lowest priority, broadcast, etc, are determined by
the HVM logic for an HVM VM.

HVM configuration logic (create mptables, acpi tables, etc, based on ROS config)

This updates the various ways we tell the guest what hardware is available.
In an HVM, we describe only the ROS components of the guest, not the
additional components (e.g., cores, memory, etc) that the HRT can also see.

Add HVM configuration capability, init/deinit, etc

HVM updates to support apic partitioning

Basic HVM data structures and functions

Use page allocation for base memory region array

This allows us to support a much larger number of base regions
than the heap allocation allows.   Important for page-by-page
management, for example for swapping and cache partitioning

Add proper cleanup for a nested VMX guest This also fixes a bug that was preventing such a guest from being freed

IDE/ATA enhancements and bug-fixing:   DMA operation

This makes DMA operation with ATA hard drives work
by fixing multiple issues and making it conform to
the physical hardware model

Remaining issues:
   DMA disabled on CDs due to bad identity info
   UDMA5 not seen (probably not consequential since
     programatic model is identical to all the rest)

PCI Fix: do not let buggy guest turn off I/O bit in an I/O BAR

An example of such a "guest" is the fucking SEABIOS

IDE/ATA enhancements: read/write multiple, lba48 addressing, cleanup

This commit cleans up the code and adds:

- ATA PIO READ/WRITE MULTIPLE support
- LBA48 Addressing (Allowing >128 GB volumes)
- General cleanup of type sizes, and assorted other
  mods to support LBA48

IDE / ATA rewrites (1st step)

This adds functional support for ATA hard drives in PIO mode
giving both read and write access.  It also does a bit of
bugfixing throughout.

FPU stub change to support more recent kernels

Missing user space library

Userspace tool compile fix

More debugging output (APIC, LDT, etc)

- APIC state can now be dumped
- LDT is included
- LDT/GDT/IDT/TSS can now be dumped via v3_debug

 Added guest GDT and IDT printing

- 32bit functionality untested
- LDT printing unsupported

Revert mistakenly overwritten lazy FP change (no functional change)

Initial cut at handling configuration of qemu devices

add ability to load custom BIOS ROMs.

This patch allows you to override the default ROMBIOS and VGABIOS with
your own ROM binaries in the guest pal file.

here's an example overriding the default rombios and vgabios, with
another non-default BIOS rom:

<files>
    <file id="somebios" filename="/path/to/mybios.bin"/>
    <file id="somevgabios" filename="/path/to/myvgabios.bin"/>
    <file id="somerombin" filename="/path/to/myrom.bin"/>
</files>

here's the new PAL syntax:

<bioses>
    <disable_rombios/> <--- kills the default rombios
    <disable_vgabios/> <--- kills the default vgabios
    <bios file="somebios" address="0xf0000"/>
    <bios file="somevgabios" address="0xc0000"/>
    <bios file="somerombin" address="0xe70000"/>
</bioses>

add userspace shared library for QEMU use

This is more or less a wrapper around v3_user_host_dev but
is intended to encompass anything that is QEMU-specific.

changes and fixes to support QEMU integration with pci_front

Most of these changes (in pci.c and pci_front.c) involve properly
directing PCI config space  and BAR reads and writes down to
the host device. Other changes are minor.

prevent oops in generic device when port mode not correctly provided

P-State more detailed hw info from ACPI

P-State control - minor tweaks and change to proc interface

P-State: add notifier block for linux frequency transitions, bug fixes

fix pstate set lockup by setting frequency using linux work queues

P-State (DVFS) Enhancements

- Change of pstate interface to be opaque 64 bit number
- Nearly complete "direct" implementation for Intel

added linux cpufreq interface to dvfs code.

Writes (setting of frequency/governors) currently
occur in sysfs via linux userspace helper API.
Reads occur through the cpufreq policy interface.

DVFS - added forgotten user-space library

Additional functionality for pstate-ctrl

P-State control on Linux - User Utility and Library

P-State control interface - Linux implementation

P-State (DVFS) control host interface

Update host device framework to support PCI and other interrupt types

v3_cpu_mapper_admit_vm function call moved from start_thread to create_thread

Bug fix and cleanup

- fix create/start thread distinction
- clean up distinction to make it clearer what happens throughout vmm and kernel module
- compilation tweak for swapping

Hook for thread creation split into create and start thread

change default guest name in guest config script

since there is a directory in the palacios tree named 'guest',
v3_config_guest shouldn't use this as the default guest directory

Missing commit (compilation with memmory tracking off)

Assorted bug fixes and defensive programming

- Sanity check top-level v3_ calls from host
- Eliminate vm free bug when config of shadow-paging vm terminates before passthrough paging is initialized
- Linux module - avoid v3_stop/free on cleanup for orphaned VMs (guest_map out of sync)

IDE bug fix

- corrected interrupt assignment for secondary channel

Minor cleanup in memory tracking

Visualization and stats scripts for memory access tracking

Better support for dynamic changes to page event callbacks

Add shared-exclusive (readers-writer) locks

Linux user-space tools for memory tracking functionality

Linux front-end for memory tracking interface

Add memory tracking functionality to Palacios

This creates an abstraction for tracking memory references
at the granularity of pages, regardless of the paging mechanism
being used.

Guest control cleanup

Expose swapping and pinning to host + add visibility to linux module

/proc/v3vee/v3-guests-details will now show the swapped or pinned state
of regions

Minor bug fixes and defensive programming

Add swapping and pinning capability to Palacios

This commit adds allows swapping of VMs at the granularity of
base regions.  Since base regions down to the page granularity are
possible, this swapper can swap down to page granularity as well.

The functionality can be selected at compile time, and the use of
swapping is determined at run time with a new "swapping" block, like
this:

  <mem ... >N_MB</mem>             Size of memory in the GPA

  <swapping enable="y">
     <allocated>M_MB</allocated>   Allocated space (M_MB <= N_MB)
     <file>FILENAME</file>         Where to swap to
     <strategy>STRATEGY</strategy> Victim picker to use NEXT_FIT, RANDOM (default), LRU, DEFAULT
  </swapping>

Pinning is also supported

Make newly created files 0600 by default

Minor fixes

- friendlier yield in vtime
- VMM launch observes started vcores (from checkpoint resume with >1 vcores)

Refactoring and additions to direct paging (nested and passthrough)

- SVM and VMX nested paging are better integrated, so there
  is now a single concept of "nested paging" at the "v3_" level
- VMX nested paging now has a parallel interface to SVM nested paging,
  so you can, for example invalidate regions, etc.
- Nested paging now has an event callback mechanism
- Direct paging now has an event callback mechanism
- v3_ functions related to nested and direct paging
  now return the GPA ranges they affect, as do
  the new event callbacks

Convert shadow paging to use 32 PAE (Remove 32 Bit Restrictions)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This patch removes the concept of "Shadow Safe" memory
from Palacios, and it removes all places where it was used,
most importantly, in the allocation of the guest itself.

These patches must be used together.

Convert shadow paging to use 32 PAE (Require Long Mode)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This change requires Palacios to be initialized and
run in long mode.   At minimum, we need PAE to be
available, and ideally, we want the version of PAE
developed for long mode to the one we use, not
the Intel legacy PAE stuff for 32 bit mode.

These patches need to be used together.

Convert shadow paging to use 32 PAE (VMX)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This patch adds support to VMX for this functionality:

- cr4 is read-shadowed to the shadow pager's guest cr4
- PAE is forced on
- vmx assist does not overwrite cr4 control, just masks it
- cleaner activation of passthrough PTs

Note that this is able to boot a BOCHS BIOS and a Linux guest.
It fails to boot the SEABIOS (Trap 0x8), but then that bug
is confirmed to be independent of these patches.

Convert shadow paging to use 32 PAE (SVM)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This patch updates SVM so that the shadow pts are activated
and CR4 reads as well as writes are intercepted.

Note that all patches with this name need to be used together
for this to work.

Convert shadow paging to use 32 PAE (Direct Paging)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This patch converts the direct pager to use 32PAE.
The direct pager is active when the guest has no
installed page tables.   All patches of this name
need to be applied for this to work.

Convert shadow paging to use 32 PAE (Core)

This changes shadow paging to use, at minimum, 32PAE
shadow page tables.   This makes it possible to place
a guest using shadow paging anywhere in host physical
memory instead of just the first 4 GB

This first patch adds core functionality to the VTLB
pager, as well as change to CR4 handling.   The
other patches with this name need to be applied for
this to work.

Corrected corner case in VTLB (shadow paging) handling

Assorted minor fixes to the transactional memory code

don't let PCI BAR updates go through when device IO-space disabled

XEND instruction now correctly generates GPF when not in RTM mode

small fixes in RTM code

RTM code: abort on extern irqs and fixed bug in abort handling

correct XTEST behavior in RTM code

steps toward correct exception emulation in RTM code

RAX is now set with a status code on aborts for RTM, as per Intel spec

expose RTM cap in CPUID

addition of print macros for RTM code

significant refactoring of RTM emulation code

This is the first cut at a refactor of the transactional memory
extension. Most changes have been to reduce large function sizes, and
to reduce footprint in changes to Palacios core files. There are
several bug fixes as well, and this gets us to the point where we
can run thousand-transaction benchmarks on single-core.

At this point our main limitations are yet-to-be implemented
architectural features (coming soon) and limitations in the
quix86 decoder.

Signed-off-by: Maciek Swiech <dotpyfe@u.northwestern.edu>

Add comment

Fix xed build error

Ignore frees of null in all cases (kfree, vfree, pagefree)

add ability to destroy hashtable iterators

doc fix for config_v3vee

HPET does not abort load/save

Minor bug fix

Added HPET (High Precision Event Timer) device

This is an initial implementation of a virtual HPET. Does not support
checkpoint save/restore yet. The HPET is currently defined to run at
1/16th of guest time

Note that a typical guest will check for the existence of the HPET
via an ACPI table.   To force the current SeaBios to build this table
apply the following patch to it.  This will eventually be automatic.

rem diff --git a/bios/seabios/src/acpi.c b/bios/seabios/src/acpi.c
rem index 95575a1..da7c9e9 100644
rem --- a/bios/seabios/src/acpi.c
rem +++ b/bios/seabios/src/acpi.c
rem @@ -673,9 +673,9 @@ acpi_bios_init(void)
rem     ACPI_INIT_TABLE(build_fadt(pci));
rem     ACPI_INIT_TABLE(build_ssdt());
rem     ACPI_INIT_TABLE(build_madt());
rem -   if (pci) {
rem +   //if (pci) {
rem        ACPI_INIT_TABLE(build_hpet());
rem -   }
rem +   //}
rem     ACPI_INIT_TABLE(build_srat());
rem
rem     u16 i, external_tables = qemu_cfg_acpi_additional_tables();

APIC bugfix - corrected MSR read/write behavior

virtio-blk now handles config requests for non-declared config info

Minor cleanups on shadow paging build/debug

Addition of state to checkpoint

- now includes memory and cpu modes and CPL
- CPL sanity check

v3_stream argument number bugfix

Additional sanity-checks for guest configuration (v3_config_guest.pl)

Error checking fixes, minor bug in keyed stream, minor bug in checkpoint

All allocations now zeroed by default

Apic initialization bugfix

Added ATA PIO write, other ide cleanup

arg length bugfix in v3_stream