git clone http://v3vee.org/palacios/palacios.web/palacios.git

  cd palacios
  git checkout --track -b devel origin/devel

Compile fixes for GCC 5.4+  (core VMM only)

- Correct new undefined behavior warning (overflow)
- Correct kconfig tool build (non-static inline function)

Inadvertently missing makefile

Compile fix for Nautilus changes

Extensions to HVM ROS userspace library corresponding to HVM enhancements

- ability to mirror/unmirror GDT and other segment state from ROS process to HRT
- ability to handle HRT events forwarded to ROS (syscalls, page faults, exceptions)
- corrections to stack alignment issue in HRT->ROS signals
- log file selection

HVM Enhancements + Bug Fixes

- a ROS->HRT GDT merger facility is now available
  (this is used by Multiverse)
- upcall mechanisms are now selectable at build-time
- hypercalls are (temporarily) acquiring a lock
- HRT->ROS event (signal) mechanism is enhanced with
  additional state to avoid race conditions between
  an event completion, startup of a new event, and
  fetching the result value from the previous event
- HRT->ROS event injection now starts with a 16-byte
  aligned stack (important for SSE)
- other general cleanup

Enhanced debugging output for GDTs

Further text-mode console client enhancements

- cleanup of color handling in both curses clients
- v3_cons_tc cleanup for function key, etc, handling
- v3_console selects the better of _tc and _sc depending
  on which have been built in the instalation

More Linux 3.19+ kernel compatability fixes

Enhancements to text mode console clients

- v3_cons_sc now does color and arrow keys
- new v3_cons_tc does this and more
- v3_cons_tc is non-default, needs installation of libtermkey

Cleanup and fixes based on Coverity pass

Revised Nautilus Aerokernel Host Functionality

- use of current allocator
- use of enhanced virtual console
- support for multiple VMs

VGA bug fix

Minor VMX NPT bug fix (printing)

Nautilus Host Support (proof of concept)

This is a simple proof-of-concept implementation of the Palacios
host interface on top of the Nautilusi kernel.   It is sufficient to allow
us to boot a guest OS running Linux.  There are several caveats
which can be seen in the comments.

Linux user updates for more recent distros (Ubuntu 14.04 as target)

These are minor compilation tweaks to avoid scary warnings and
to break the assumption that /bin/sh == /bin/bash

Linux kernel compatability enhancements (through 3.19)
and other bug fixes

HVM capability enhancement: asynchronous upcalls to ROS userspace

This adds the ability for the HRT, ROS, or other component of
the VMM to send what looks like a "user interrupt" (e.g. signal)
to a process running in the ROS.

This mechanism looks similar to signals:  the ROS process
installs a handler and stack (our library hides the details), the VMM
then dispatches to the handler by switching stacks, building
what looks like a CPL 3 -> CPL 3 interrupt frame (with error code)
on the selected stack, and then points rip to a userspace wrapper
that handles register save/restore + iret, wrapping around a call
to the user's handler.

Whoever raises the signal supplies the error code, which is then
coerced into an argument for the user's handler.

Only a single process in the ROS can register a handler at a time.
The context includes not only the stack and handler function, but
also the CR3 extant at registration time, and CPL 3 at injection time.

Linux compatibility fixes

This includes some changes for proc, vfs, and IOMMU code to account
for interfaces changes in Linux

Correct VM deallocation on fail before nested paging init

HRT image replacement from ROS application

This adds the capability for a ROS application to dynamically replace
the HRT image within the HVM.  Combined with HRT boot and other
capabilities, this allows the ROS to essentially fork and exec an
HRT that operates over its address space.

Added missing HVM reset function to Linux library...

Linux guest user library and test application for ROS<->HRT interaction in an HVM

update outdated CR4 definitions

fix potential overflow condition in VMX assist

HVM support for forwarding events to ROS

Protocol and hypercall logic to support forwarding
of system calls and page faults from the HRT to the ROS

This allows an HRT with a merged address space to rely on
the ROS for page faults on the shared part of the address
space, and it allows the HRT to make system calls on the
ROS, provided all arguments, directly or indirectly, are
in the shared part of the address space.

More init checks to allow graceful fail out when VM cannot be created

Minor tweak to fix handling of extensions without initializers

Cleanup and sanity-checking of assorted additional issues from second pass (Coverity static analysis)

Cleanup and sanity-checking of unintentional integer overflow, unsigned/zero comparisons, untrusted or tainted data tracking, weird operator choice (Coverity static analysis)

There are a fair number of uses of tainted data (e.g., from user or file) -
I left most of these alone for now.

Cleanup and sanity-checking of endianness, dead code, unchecked returns (Coverity static analysis)

Cleanup and sanity-checking of switch issues, negative array indexes, operand independence (Coverity static analysis)

Cleanup and sanity-checking of integer overflow, null comparisons, dead code (Coverity static analysis)

Cleanup and sanity-checking of explicit null derefs (Coverity static analysis)

Cleanup and sanity-checking of divide-by-zero and floating point use bugs (Coverity static analysis)

Note that varargs use within Palacios itself is problematic
as the varargs implementation used handles floating point as well
as integer.  This means that an innocuous use of a va_list
results in FP register reads.

Cleanup and sanity-checking of before/after null-check and copy+paste errors (Coverity static analysis)

Cleanup and sanity-checking of OOB accesses and pointer-to-local issues (Coverity static analysis)

Cleanup and sanity-checking of use of strncpy/strcpy (Coverity static analysis)

Assorted cleanup of memory-related user-level stuff

- adjust guest memory access library to handle truncated
  output describing VMs with too many base regions (can happen with cache part)
- adjust memory allocation utility to handle fractional amounts
  (tiny chunks are best for cache part) while not allowing
  the amounts to be too tiny
- seperate concept of memory block size and base region size
  when configuring palacios - cachepart needs a base region
  size that is generally smaller than the memory block size
  because there are other page allocations (e.g., vmcb bitmasks)
  that are larger than one page

- removal of debug cruft in cachepart

Cache partitioning support

This is an experimental feature that allows you to map all
of a VM's page allocations such that they map to a partition
of the last level cache.

The syntax is:

  <cachepart
        block_size=BLOCK_SIZE
        num_colors=NUM_COLORS
        min_color=MIN_COLOR
        max_color=MAX_COLOR />

The BLOCK_SIZE needs to be one page, and your base region
size for the VM needs to be one page, and your allocations of
physical memory to Palacios needs to support enough one page
allocations to satisfy the constraints and the amount of memory
you are asking for.

NUM_COLORS is your view of how many colors (distinct pages) the
abstract cache has while MIN_COLOR to MAX_COLOR are the range
of cache pages of the abstract cache you want to use.  The
system will conform this requested color range on your abstract
cache to a real color range on the actual cache, provided it is
possible.

Note that currently this is implemented (on Linux) by having
the allocator (the buddy allocator) filter prospective free
blocks by their color (the color of their first page).  As
a consequence, allocating the VM is slow:  you need to allocate a
lot of separate pages (one page per base region), and each page
needs to be the right color.

Implementation of resource control host os interface for Linux

This associates a pointer to a resource control structure with
each thread created by Palacios.   If this structure exists, its
contents are then used to control resource allocations.  Currently,
the controls are on page allocation: alignment, numa node, and
page allocation filtering.  The latter is what cache partitioning
builds on.

This also changes the /proc/v3vee/v3-guest-info-details output
slightly.  For a guest with too many cores or memory regions to
display, the output is now truncated in a graceful way.

Resource control extensions to host OS interface
plus changes internal to Palacios to use them

The basic idea here is that on creating a thread, Palacios
can hand the host a resource control structure for that thread.
For resource allocations (e.g., page allocations) made by
that thread, the host can then use the resource control
structure to decide which resources will be provided.
This makes it possible for code in Palacios to be
resource aware despite separation of concerns.

This is used by cache partitioning to make any subsequent
page allocations by a core thread (e.g., in nested or shadow
page fault handling) to obey the cache placement constraints.

multiboot memory header corrections

HVM synchronous operation facility

This lets the ROS and HRT synchronize, via the VMM, on a memory
location for for future synchronization indepedent of the VMM

Removal of debugging code from halt code

Minor fix

HVM capability enhancments

- ROS / HRT boot-time interaction protocol enhancements
- ROS / HRT / VMM run-time interaction protocol
- ROS->HRT resets
- ROS->HRT address space merges
- ROS->HRT sequential and parallel function invocations
- More generalized paging environment build for HRT
  including offsets, PIC, etc.
- Refactoring between multiboot and HVM
- More consistent magic numbers
- Descriptor, EFER, and ctrl reg corrections

IDE/ATAPI bug fix - allow sense and other requests to read past
end of transfer length as long as not past the end of the IDE buffer
This is technically correct, and common for modern atapi drivers
talking to old drives

Have unregistered hypercalls fail to guest

Leave a HLT on exception injection

Avoid physical/virtual contiguity assumptions using new guest memory access functions

SVM Bug Fixes and Enhancements (Missing changed file)

Deallocation bug fix in device manager to allow backing out from VM creation failure

if VM creation fails before the device manager is inited, for example on
running out of memory, device manager deinit needs to avoid running

SVM Bug Fixes and Enhancements

- Correct behavior of exit during injection of SW intr / exception / other events (BIG ONE)
- Sanity-checked deallocations
- VMCB, etc, modernized to current versions
- Sanity-check to see if we are on old hardware that doesn't do nrip / SW intr
- Spot interrupt shadows

Cache information interface and implementation for AMD and Intel on Linux

Cleanup of linkage issues for non-Linux hosts

- minor asm fixes to allow -fPIC
- elimination of unneeded global
- conditional compilation of assorted string functions

 Cleanup based on cppcheck pass (Core)

 Cleanup based on cppcheck pass (Devices and Extensions)

 Cleanup based on cppcheck pass (VNET)

 Cleanup based on cppcheck pass (GEARS)

 Cleanup based on cppcheck pass (GEARS)

Cleanup based on cppcheck pass (Linux module and user)

Debugging output changes to pci_front

Expose HVM state to host + Linux host /proc additions for it

VM Reset Bugfixes

- ROS reset does not clobber HRT
- Missing keyboard reset command added
- More debugging output

Minor cleanup (eliminate dead code, correct errno return)

Device File Virtualization Proof of Concept (Host Shadow + Patches)

This is an implementation of device file virtualization in Palacios
for a Linux Host.   Please consult palacios/gears/services/devfile/README
for more information.

Device File Virtualization Proof of Concept (Kernel+Preload)

This is an implementation of device file virtualization in Palacios
for a Linux Host.   Please consult palacios/gears/services/devfile/README
for more information.

Minor bugfix

Multiboot and HVM reset integrated into VMX

Expose VM reset capability to Linux and Linux user

VM reset from keyboard controller

VM reset capability

Allows reset of "normal" VM, a multiboot VM, or either the
ROS or HRT components of an HVM

SVM reset capability + integration with multiboot+hvm reset capability

HVM enhancements

- more integration with multiboot
- init scratch stacks for HRT cores
- reset capability

Multiboot enhancements

- enhancements to HRT info block
- clear of BSS (expected by MB kernel)
- actually included header file
- reset capability

Detailed segmentation output from v3_debug

Guest mem gpa/gva memset functions

Factoring of BIOS setup so that it can be reused during reset

Subset barrier support (counting barriers)

SEABIOS updates to support reset and to simplify

Disallow symbiotic functionality unless a compatible bios is in use

The symspy page is by default mapped at a location that will conflict
with a larger bios.  This is a non-issue when booting a non-symbiotic
kernel or even booting a symbiotic kernel the first time, but leads
to a mess on a VM reset

Avoid strict-aliasing related issues when compiling with optimization

APIC bug fixes and cleanup

- handle access to unsupported registers gracefully (return 0 on read, drop writes)
- correct handling of APIC address MSR write (do not delete memory region twice)
- cleanup of debugging output

pci_front bugfix - do not propagate cmd reg write twice

Ability to add remappable roms for pci front-end devices.

Syntax:

  <file id="file_id" ...>

  <device class="PCI_FRONT" ...>
    <rom file="file_id" />
  </device>

Note that for ROM that is not remappable (fixed address), the <bios> block
can be used to add it.

Cleanup of locking in host device interface

Addition of basic multiboot functionality plus refactor of HVM
functionality to extend multiboot

Minor compile warning fixup and error checks

Generalization of constraints on page allocation and implementation/use

The idea here is to allow Palacios code to request pages that satisfy some
filter function.  For example, a filter function might reject allocations
above the 4GB line, or it might reject allocations that map to undesirable
cache lines.

- it removes the notion of a constraint mask in page allocation
- eliminates the < 4GB flag
- adds the notion of constraints in page allocation as filter
  functions
- modifies the implementation and uses to match

Expose vmalloc-like os interface to Palacios, and updates to use it

The purpose of finally exposing virtually contiguous /
not necessarily physically contiguous allocations to Palacios
is to get around a catch-22.   We support arbitrarily small
base region chunks at this point, down to a page size.  We
also support host kernels that do not provide large contiguous
physical page allocations.    The result is that we can
end up needing to build a base region chunk array that is
larger than the amount of memory we can either malloc or
contiguously page alloc to support it. Yet the base region
array itself does not need to be physically contiguous.

Two places where this currently burns us is:   large memory
VM allocated over linux host that does not support hot remove;
moderate memory VM using tiny chunk size, for example in
cache partitioning

QCOW2 block storage backend for Palacios

This commit adds a new backend, qcowdisk, that allows
the use of QCOW2 format files as the storage for
virtual hard drives, cds, virtio block devices, etc.

- Backing stores are supported
- Snapshots are not supported
- Encryption is not supported

Minor tweak to fix accidental new feature leak

Typo fix

Basic HRT startup for HVM, plus assorted cleanup

This builds and launches a basic guest environment for an HRT
It does not yet handle ELF load, but it is able to bootstrap
a simple code blob, including with interrupts, on HRT cores
while ROS cores happily run Linux

Support HVM partitioning for APICs

This allows us to treat the APICs as belonging to two
groups:  the "ROS" group and the "HRT" group.   Semantics
for lowest priority, broadcast, etc, are determined by
the HVM logic for an HVM VM.

HVM configuration logic (create mptables, acpi tables, etc, based on ROS config)

This updates the various ways we tell the guest what hardware is available.
In an HVM, we describe only the ROS components of the guest, not the
additional components (e.g., cores, memory, etc) that the HRT can also see.

Add HVM configuration capability, init/deinit, etc

HVM updates to support apic partitioning

Basic HVM data structures and functions

Use page allocation for base memory region array

This allows us to support a much larger number of base regions
than the heap allocation allows.   Important for page-by-page
management, for example for swapping and cache partitioning