Palacios Public Git Repository

To checkout Palacios execute

  git clone http://v3vee.org/palacios/palacios.web/palacios.git
This will give you the master branch. You probably want the devel branch or one of the release branches. To switch to the devel branch, simply execute
  cd palacios
  git checkout --track -b devel origin/devel
The other branches are similar.


Minor fix
[palacios.git] / palacios / src / devices / lnx_virtio_nic.c
index 317837d..0f76641 100644 (file)
 #include <palacios/vmm.h>
 #include <palacios/vmm_dev_mgr.h>
 #include <devices/lnx_virtio_pci.h>
-#include <devices/lnx_virtio_nic.h>
 #include <palacios/vm_guest_mem.h>
+#include <palacios/vmm_sprintf.h>
 
 #include <devices/pci.h>
 
 
-#ifndef CONFIG_DEBUG_VIRTIO_BLK
+#ifndef CONFIG_DEBUG_VIRTIO_NET
 #undef PrintDebug
 #define PrintDebug(fmt, args...)
 #endif
 
-#define NIC_STATUS_OK             0
-#define NIC_STATUS_ERR            1
-#define NIC_STATUS_NOT_SUPPORTED  2
-
-
 /* The feature bitmap for virtio net */
 #define VIRTIO_NET_F_CSUM      0       /* Host handles pkts w/ partial csum */
 #define VIRTIO_NET_F_GUEST_CSUM        1       /* Guest handles pkts w/ partial csum */
 /* Maximum packet size we can receive from tap device: header + 64k */
 #define VIRTIO_NET_MAX_BUFSIZE (sizeof(struct virtio_net_hdr) + (64 << 10))
 
-
 struct virtio_net_hdr {
-#define VIRTIO_NET_HDR_F_NEEDS_CSUM    1       /* Use csum_start, csum_offset */
        uint8_t flags;
 
 #define VIRTIO_NET_HDR_GSO_NONE                0       /* Not a GSO frame */
-#define VIRTIO_NET_HDR_GSO_TCPV4       1       /* GSO frame, IPv4 TCP (TSO) */
-#define VIRTIO_NET_HDR_GSO_UDP         3       /* GSO frame, IPv4 UDP (UFO) */
-#define VIRTIO_NET_HDR_GSO_TCPV6       4       /* GSO frame, IPv6 TCP */
-#define VIRTIO_NET_HDR_GSO_ECN         0x80    /* TCP has ECN set */
        uint8_t gso_type;
 
        uint16_t hdr_len;               /* Ethernet + IP + tcp/udp hdrs */
@@ -82,45 +71,72 @@ struct virtio_net_hdr {
 }__attribute__((packed));
 
        
-
-
 #define QUEUE_SIZE 256
 #define CTRL_QUEUE_SIZE 64
-
-
-struct v3_net_ops {
-    int (*send)(uint8_t * buf, uint32_t count, void * private_data);
-    int (*receive)(uint8_t * buf, uint32_t count, void * private_data);
-};
-
-
 #define ETH_ALEN 6
 
 struct virtio_net_config
 {
-    uint8_t mac[ETH_ALEN];
-    // See VIRTIO_NET_F_STATUS and VIRTIO_NET_S_* above
+    uint8_t mac[ETH_ALEN]; //VIRTIO_NET_F_MAC
     uint16_t status;
 } __attribute__((packed));
 
+struct virtio_dev_state {
+    struct vm_device * pci_bus;
+    struct list_head dev_list;
+    struct guest_info * vm;
+};
+
 struct virtio_net_state {
     struct virtio_net_config net_cfg;
     struct virtio_config virtio_cfg;
 
-    struct vm_device * pci_bus;
-    struct pci_device * pci_dev;
+    struct pci_device * pci_dev; 
+    int io_range_size;
     
     struct virtio_queue rx_vq;   //index 0, rvq in Linux virtio driver, handle packet to guest
     struct virtio_queue tx_vq;   //index 1, svq in Linux virtio driver, handle packet from guest
     struct virtio_queue ctrl_vq; //index 2, ctrol info from guest
 
-    struct v3_net_ops * net_ops;
+    struct v3_dev_net_ops * net_ops;
 
-    int io_range_size;
-
-    void *private_data;
+    void * backend_data;
+    struct virtio_dev_state * virtio_dev;
+    struct list_head dev_link;
 };
 
+#if 1
+//Temporarly for debug
+static void print_packet(uchar_t *pkt, int size) {
+    PrintDebug("Vnet: print_data_packet: size: %d\n", size);
+    v3_hexdump(pkt, size, NULL, 0);
+}
+
+static struct virtio_net_state *temp_net_states[3]; 
+static int net_idx = 0;
+
+static int __virtio_dev_send(uchar_t * buf, uint32_t size, void *private_data);
+
+static int send(uint8_t * buf, uint32_t count, void * private_data, struct vm_device *dest_dev)
+{
+   PrintDebug("Virito NIC: In sending stub, guest %p\n", private_data);
+   print_packet(buf, count);
+   struct virtio_net_state *virtio_state = (struct virtio_net_state *)private_data;
+
+   if (virtio_state == temp_net_states[0])
+       __virtio_dev_send(buf, count, temp_net_states[1]);
+   
+   return count;
+}
+
+static int receive(uint8_t * buf, uint32_t count, void * private_data, struct vm_device *src_dev)
+{
+    PrintDebug("Virito NIC: In receiveing stub\n");
+
+    return 0;
+}
+
+#endif
 
 static int virtio_free(struct vm_device * dev) 
 {
@@ -128,10 +144,8 @@ static int virtio_free(struct vm_device * dev)
     return -1;
 }
 
-static int virtio_reset(struct vm_device * dev) 
+static int virtio_reset(struct virtio_net_state * virtio) 
 {
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;
-
     virtio->rx_vq.ring_desc_addr = 0;
     virtio->rx_vq.ring_avail_addr = 0;
     virtio->rx_vq.ring_used_addr = 0;
@@ -150,98 +164,186 @@ static int virtio_reset(struct vm_device * dev)
     virtio->ctrl_vq.pfn = 0;
     virtio->ctrl_vq.cur_avail_idx = 0;
 
-    virtio->virtio_cfg.status = VIRTIO_NET_S_LINK_UP;
+    virtio->virtio_cfg.host_features = 0;
+    //virtio->virtio_cfg.status = VIRTIO_NET_S_LINK_UP;
     virtio->virtio_cfg.pci_isr = 0;
-    virtio->private_data = NULL;
 
     return 0;
 }
 
-static int read_op(struct vm_device * dev, uint8_t * buf, uint32_t len) 
+
+//sending guest's packet to network sink
+static int pkt_write(struct virtio_net_state * virtio, struct vring_desc * buf_desc) 
 {
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data; 
-    int ret = -1;
+    //struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data; 
+    uint8_t * buf = NULL;
+    uint32_t len = buf_desc->length;
 
-    PrintDebug("Receving pkt from guest\n");
+    PrintDebug("Handling Virtio Net write, net_state: %p\n", virtio);
 
-    ret = virtio->net_ops->receive(buf, len, virtio->private_data);
-    return ret;
-}
+    if (guest_pa_to_host_va(virtio->virtio_dev->vm, buf_desc->addr_gpa, (addr_t *)&(buf)) == -1) {
+       PrintError("Could not translate buffer address\n");
+       return -1;
+    }
 
+    PrintDebug("Length=%d\n", buf_desc->length);
+    PrintDebug("Buffer Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d, buf address: %p, send address: %p\n", buf_desc, 
+              (void *)(buf_desc->addr_gpa), buf_desc->length, buf_desc->flags, buf_desc->next, buf, virtio->net_ops->send);
 
-static int write_op(struct vm_device *dev, uint8_t *buf, uint32_t len) 
-{
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data; 
-    int ret = -1;
+    if (virtio->net_ops->send(buf, len, (void *)virtio, NULL) == -1) {
+       return -1;
+    }
+
+    return 0;
+}
 
-    PrintDebug("Receving pkt from guest\n");
 
-    ret = virtio->net_ops->send(buf, len, virtio->private_data);
+static int build_receive_header(struct virtio_net_hdr * hdr, const void * buf, int raw) {
+    hdr->flags = 0;
+
+    if (!raw) {
+        memcpy(hdr, buf, sizeof(struct virtio_net_hdr));
+    } else {
+        memset(hdr, 0, sizeof(struct virtio_net_hdr));
+    }
 
-    return ret;
+    return 0;
 }
 
 
 //sending guest's packet to network sink
-static int handle_pkt_write(struct vm_device *dev, struct virtio_net_hdr *hdr, 
-                          struct vring_desc *buf_desc, uint8_t *status) 
+static int copy_data_to_desc(struct virtio_net_state * virtio_state, struct vring_desc * desc, uchar_t * buf, uint_t buf_len) 
 {
-    //struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;    
-    uint8_t * buf = NULL;
+    uint32_t len;
+    uint8_t * desc_buf = NULL;
 
-    PrintDebug("Handling Virtio Net write\n");
-
-    if (guest_pa_to_host_va(dev->vm, buf_desc->addr_gpa, (addr_t *)&(buf)) == -1) {
+    if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, desc->addr_gpa, (addr_t *)&(desc_buf)) == -1) {
        PrintError("Could not translate buffer address\n");
        return -1;
     }
 
-    PrintDebug("Length=%d\n", buf_desc->length);
+    len = (desc->length < buf_len)?desc->length:buf_len;
 
-    if (write_op(dev, buf, buf_desc->length) == -1) {
-       *status = NIC_STATUS_ERR;
-       return -1;
-    } else {
-       *status = NIC_STATUS_OK;
-    }
+    memcpy(desc_buf, buf, len);
 
-    PrintDebug("Returning Status: %d\n", *status);
+    PrintDebug("Length=%d\n", len);
 
-    return 0;
+    return len;
 }
 
 
-
-//get packet from network, and send to guest
-static int handle_pkt_read(struct vm_device *dev, struct virtio_net_hdr *hdr, 
-                          struct vring_desc *buf_desc, uint8_t *status) 
+//send data to guest
+static int send_pkt_to_guest(struct virtio_net_state * virtio, uchar_t * buf, uint_t size, int raw, void * private_data) 
 {
-    //struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;    
-    uint8_t * buf = NULL;
+    struct virtio_queue * q = &(virtio->rx_vq);
+    struct virtio_net_hdr hdr;
+    uint32_t hdr_len = sizeof(struct virtio_net_hdr);
+    uint32_t data_len = size;
+    uint32_t offset = 0;
 
-    PrintDebug("Handling Virtio Net read\n");
+    PrintDebug("VIRTIO NIC:  Handle RX: cur_index=%d (mod=%d), avail_index=%d\n", 
+              q->cur_avail_idx, q->cur_avail_idx % q->queue_size, q->avail->index);
 
-    if (guest_pa_to_host_va(dev->vm, buf_desc->addr_gpa, (addr_t *)&(buf)) == -1) {
-       PrintError("Could not translate buffer address\n");
-       return -1;
+    PrintDebug("VIRTIO NIC:  sending packet to net_state %p, size:%d", virtio, size);
+
+    if (!raw) {
+       data_len -= hdr_len;
     }
 
-    PrintDebug("Length=%d\n", buf_desc->length);
+    build_receive_header(&hdr, buf, 1);
 
-    if (read_op(dev, buf, buf_desc->length) == -1) {
-       *status = NIC_STATUS_ERR;
+    //queue is not set yet
+    if (q->ring_avail_addr == 0) {
+       PrintError("Queue is not set\n");
        return -1;
-    } else {
-       *status = NIC_STATUS_OK;
     }
 
-    PrintDebug("Returning Status: %d\n", *status);
+    
+    if (q->cur_avail_idx < q->avail->index) {
+       addr_t hdr_addr = 0;
+       uint16_t hdr_idx = q->avail->ring[q->cur_avail_idx % q->queue_size];
+       uint16_t buf_idx = 0;
+       struct vring_desc * hdr_desc = NULL;
 
-    return 0;
+       PrintDebug("Descriptor index=%d\n", q->cur_avail_idx % q->queue_size);
+
+       hdr_desc = &(q->desc[hdr_idx]);
+
+       PrintDebug("Header Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", hdr_desc, 
+                  (void *)(hdr_desc->addr_gpa), hdr_desc->length, hdr_desc->flags, hdr_desc->next);    
+
+       if (guest_pa_to_host_va(virtio->virtio_dev->vm, hdr_desc->addr_gpa, &(hdr_addr)) == -1) {
+           PrintError("Could not translate receive buffer address\n");
+           return -1;
+       }
+
+       //copy header to the header descriptor
+       memcpy((void *)hdr_addr, &hdr, sizeof(struct virtio_net_hdr));
+
+       //Zheng 01/02/2010: zero payload
+       if (offset >= data_len) {
+           hdr_desc->flags &= ~VIRTIO_NEXT_FLAG;
+       }
+
+       //copy data to the next descriptors
+       //Zheng 01/02/2010: put data into the next descriptor, rather than 0! 
+       for (buf_idx = hdr_desc->next; offset < data_len; buf_idx = q->desc[hdr_idx].next) {
+       //      for (buf_idx = 0; offset < data_len; buf_idx = q->desc[hdr_idx].next) {
+           struct vring_desc * buf_desc = &(q->desc[buf_idx]);
+           uint32_t len = 0;
+
+           //Zheng 01/02/2010: commented this - we need to check 
+           //       if there still is some data left
+           //buf_desc->flags = VIRTIO_NEXT_FLAG;
+        
+           len = copy_data_to_desc(virtio, buf_desc, buf + offset, data_len - offset);
+           
+           offset += len;
+
+           //Zheng 01/02/2010: check if there still is some data left 
+           if (offset < data_len) {
+               buf_desc->flags = VIRTIO_NEXT_FLAG;             
+           }
+
+           buf_desc->length = len;  // TODO: do we need this?
+       }
+       
+       q->used->ring[q->used->index % q->queue_size].id = q->avail->ring[q->cur_avail_idx % q->queue_size];
+       q->used->ring[q->used->index % q->queue_size].length = data_len; // What do we set this to????
+
+       q->used->index++;
+       q->cur_avail_idx++;
+    }
+
+    if (!(q->avail->flags & VIRTIO_NO_IRQ_FLAG)) {
+       PrintDebug("Raising IRQ %d\n",  virtio->pci_dev->config_header.intr_line);
+       v3_pci_raise_irq(virtio->virtio_dev->pci_bus, 0, virtio->pci_dev);
+       virtio->virtio_cfg.pci_isr = 0x1;
+    }
+
+    return offset;
 }
 
-static int get_desc_count(struct virtio_queue * q, int index) 
-{
+
+// TODO: 
+int virtio_send(struct guest_info * vm, char *dev_name, uchar_t * buf, uint_t size) {
+    struct vm_device * virtio_dev = v3_find_dev(vm, dev_name);
+
+    // TODO: how to get virtio net state from device??
+    // this is not right now
+    struct virtio_net_state * virtio_state = (struct virtio_net_state *)virtio_dev->private_data;
+       
+    return send_pkt_to_guest(virtio_state, buf, size, 1, NULL);
+}
+
+
+static int __virtio_dev_send(uchar_t * buf, uint32_t size, void *private_data) {
+    struct virtio_net_state *virtio_state = (struct virtio_net_state *)private_data;
+       
+    return send_pkt_to_guest(virtio_state, buf, size, 1, NULL);
+}
+
+static int get_desc_count(struct virtio_queue * q, int index) {
     struct vring_desc * tmp_desc = &(q->desc[index]);
     int cnt = 1;
     
@@ -254,155 +356,117 @@ static int get_desc_count(struct virtio_queue * q, int index)
 }
 
 
-static int handle_ctrl(struct vm_device * dev) {
-
-
-    return 0;
-}
-
-// TODO: handle receiving, not done yet
-//send packet to guest
-static int handle_pkt_rx(struct vm_device * dev) 
-{
-
-    if (handle_pkt_read(dev, NULL, 0, NULL) == -1) {
-               PrintError("Error handling nic operation\n");
-               return -1;
-           }
-
+static int handle_ctrl(struct virtio_net_state * dev) {
     return 0;
 }
 
 //get packet from guest
-static int handle_pkt_tx(struct vm_device * dev) 
+static int handle_pkt_tx(struct virtio_net_state * virtio_state) 
 {
-    struct virtio_net_state *virtio = (struct virtio_net_state *)dev->private_data;    
-    struct virtio_queue *q = &(virtio->rx_vq);
+    //struct virtio_net_state *virtio = (struct virtio_net_state *)dev->private_data;    
+    struct virtio_queue * q = &(virtio_state->tx_vq);
 
-    PrintDebug("VIRTIO NIC KICK: cur_index=%d (mod=%d), avail_index=%d\n", 
-              q->cur_avail_idx, q->cur_avail_idx % QUEUE_SIZE, q->avail->index);
+    PrintDebug("VIRTIO NIC pkt_tx: cur_index=%d (mod=%d), avail_index=%d\n", 
+              q->cur_avail_idx, q->cur_avail_idx % q->queue_size, q->avail->index);
+
+    struct virtio_net_hdr * hdr = NULL;
 
     while (q->cur_avail_idx < q->avail->index) {
        struct vring_desc * hdr_desc = NULL;
-       struct vring_desc * buf_desc = NULL;
-       struct vring_desc * status_desc = NULL;
-       struct virtio_net_hdr hdr;
        addr_t hdr_addr = 0;
-       uint16_t desc_idx = q->avail->ring[q->cur_avail_idx % QUEUE_SIZE];
+       uint16_t desc_idx = q->avail->ring[q->cur_avail_idx % q->queue_size];
        int desc_cnt = get_desc_count(q, desc_idx);
-       int i = 0;
-       uint8_t * status_ptr = NULL;
-       uint8_t status = NIC_STATUS_OK;
        uint32_t req_len = 0;
+       int i = 0;
 
-       PrintDebug("Descriptor Count=%d, index=%d\n", desc_cnt, q->cur_avail_idx % QUEUE_SIZE);
+       PrintDebug("Descriptor Count=%d, index=%d\n", desc_cnt, q->cur_avail_idx % q->queue_size);
 
        hdr_desc = &(q->desc[desc_idx]);
 
        PrintDebug("Header Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", hdr_desc, 
                   (void *)(hdr_desc->addr_gpa), hdr_desc->length, hdr_desc->flags, hdr_desc->next);    
 
-       if (guest_pa_to_host_va(dev->vm, hdr_desc->addr_gpa, &(hdr_addr)) == -1) {
+       if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, hdr_desc->addr_gpa, &(hdr_addr)) == -1) {
            PrintError("Could not translate block header address\n");
            return -1;
        }
 
-       // We copy the block op header out because we are going to modify its contents
-       memcpy(&hdr, (void *)hdr_addr, sizeof(struct virtio_net_hdr));
+       //memcpy(&hdr, (void *)hdr_addr, sizeof(struct virtio_net_hdr));
+       hdr = (struct virtio_net_hdr*)hdr_addr;
        
-       PrintDebug("NIC Op Hdr (ptr=%p) type=%d, sector=%p\n", (void *)hdr_addr, hdr.hdr_len, (void *)hdr.csum_start);
+       PrintDebug("NIC Op Hdr (ptr=%p) header len =%x\n", (void *)hdr_addr, (int)hdr->hdr_len);
 
        desc_idx = hdr_desc->next;
-
-       for (i = 0; i < desc_cnt - 2; i++) {
-           uint8_t tmp_status = NIC_STATUS_OK;
-
-           buf_desc = &(q->desc[desc_idx]);
+       
+       for (i = 0; i < desc_cnt - 1; i++) {    
+           struct vring_desc * buf_desc = &(q->desc[desc_idx]);
 
            PrintDebug("Buffer Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", buf_desc, 
                       (void *)(buf_desc->addr_gpa), buf_desc->length, buf_desc->flags, buf_desc->next);
 
-           if (handle_pkt_write(dev, &hdr, buf_desc, &tmp_status) == -1) {
+           if (pkt_write(virtio_state, buf_desc) == -1) {
                PrintError("Error handling nic operation\n");
                return -1;
            }
 
-           if (tmp_status != NIC_STATUS_OK) {
-               status = tmp_status;
-           }
-
            req_len += buf_desc->length;
            desc_idx = buf_desc->next;
        }
 
-       status_desc = &(q->desc[desc_idx]);
-
-       PrintDebug("Status Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", status_desc, 
-                  (void *)(status_desc->addr_gpa), status_desc->length, status_desc->flags, status_desc->next);
-
-       if (guest_pa_to_host_va(dev->vm, status_desc->addr_gpa, (addr_t *)&(status_ptr)) == -1) {
-           PrintError("Could not translate status address\n");
-           return -1;
-       }
-
-       req_len += status_desc->length;
-       *status_ptr = status;
-
-       q->used->ring[q->used->index % QUEUE_SIZE].id = q->avail->ring[q->cur_avail_idx % QUEUE_SIZE];
-       q->used->ring[q->used->index % QUEUE_SIZE].length = req_len; // What do we set this to????
+       q->used->ring[q->used->index % q->queue_size].id = q->avail->ring[q->cur_avail_idx % q->queue_size];
+       q->used->ring[q->used->index % q->queue_size].length = req_len; // What do we set this to????
 
        q->used->index++;
        q->cur_avail_idx++;
     }
 
     if (!(q->avail->flags & VIRTIO_NO_IRQ_FLAG)) {
-       PrintDebug("Raising IRQ %d\n",  virtio->pci_dev->config_header.intr_line);
-       v3_pci_raise_irq(virtio->pci_bus, 0, virtio->pci_dev);
-       virtio->virtio_cfg.pci_isr = 0x1;
+       PrintDebug("Raising IRQ %d\n",  virtio_state->pci_dev->config_header.intr_line);
+       v3_pci_raise_irq(virtio_state->virtio_dev->pci_bus, 0, virtio_state->pci_dev);
+       virtio_state->virtio_cfg.pci_isr = 0x1;
     }
 
     return 0;
 }
 
 
-static int virtio_setup_queue(struct vm_device * dev, struct virtio_queue *queue, addr_t pfn, addr_t page_addr)
-{
+static int virtio_setup_queue(struct virtio_net_state * virtio_state, struct virtio_queue * queue, addr_t pfn, addr_t page_addr) {
     queue->pfn = pfn;
                
-    queue->ring_desc_addr = page_addr ;
-    queue->ring_avail_addr = page_addr + (QUEUE_SIZE * sizeof(struct vring_desc));
-    queue->ring_used_addr = (queue->ring_avail_addr + \
-                                                sizeof(struct vring_avail)    + \
-                                                (QUEUE_SIZE * sizeof(uint16_t)));
+    queue->ring_desc_addr = page_addr;
+    queue->ring_avail_addr = page_addr + (queue->queue_size * sizeof(struct vring_desc));
+    queue->ring_used_addr = ((queue->ring_avail_addr) + 
+                            (sizeof(struct vring_avail)) + 
+                            (queue->queue_size * sizeof(uint16_t)));
                
     // round up to next page boundary.
     queue->ring_used_addr = (queue->ring_used_addr + 0xfff) & ~0xfff;
 
-    if (guest_pa_to_host_va(dev->vm, queue->ring_desc_addr, (addr_t *)&(queue->desc)) == -1) {
+    if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, queue->ring_desc_addr, (addr_t *)&(queue->desc)) == -1) {
         PrintError("Could not translate ring descriptor address\n");
         return -1;
     }
 
  
-    if (guest_pa_to_host_va(dev->vm, queue->ring_avail_addr, (addr_t *)&(queue->avail)) == -1) {
+    if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, queue->ring_avail_addr, (addr_t *)&(queue->avail)) == -1) {
         PrintError("Could not translate ring available address\n");
         return -1;
     }
 
 
-    if (guest_pa_to_host_va(dev->vm, queue->ring_used_addr, (addr_t *)&(queue->used)) == -1) {
+    if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, queue->ring_used_addr, (addr_t *)&(queue->used)) == -1) {
         PrintError("Could not translate ring used address\n");
         return -1;
     }
 
     PrintDebug("RingDesc_addr=%p, Avail_addr=%p, Used_addr=%p\n",
-                        (void *)(queue->ring_desc_addr),
-                          (void *)(queue->ring_avail_addr),
-                          (void *)(queue->ring_used_addr));
-
+              (void *)(queue->ring_desc_addr),
+              (void *)(queue->ring_avail_addr),
+              (void *)(queue->ring_used_addr));
+    
     PrintDebug("RingDesc=%p, Avail=%p, Used=%p\n", 
-                    queue->desc, queue->avail, queue->used);
-
+              queue->desc, queue->avail, queue->used);
+    
     return 0;
 }
 
@@ -410,12 +474,12 @@ static int virtio_setup_queue(struct vm_device * dev, struct virtio_queue *queue
 
 static int virtio_io_write(uint16_t port, void * src, uint_t length, void * private_data) 
 {
-    struct vm_device * dev = (struct vm_device *)private_data;
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;
+    //struct vm_device * dev = (struct vm_device *)private_data;
+    struct virtio_net_state * virtio = (struct virtio_net_state *)private_data;
     int port_idx = port % virtio->io_range_size;
 
 
-    PrintDebug("VIRTIO NIC Write for port %d (index=%d) len=%d, value=%x\n", 
+    PrintDebug("VIRTIO NIC %p Write for port %d (index=%d) len=%d, value=%x\n", private_data,
               port, port_idx,  length, *(uint32_t *)src);
 
 
@@ -431,29 +495,31 @@ static int virtio_io_write(uint16_t port, void * src, uint_t length, void * priv
 
            break;
        case VRING_PG_NUM_PORT:
-           if (length == 4) {
-               addr_t pfn = *(uint32_t *)src;
-               addr_t page_addr = (pfn << VIRTIO_PAGE_SHIFT);
-
-               uint16_t queue_idx = virtio->virtio_cfg.vring_queue_selector;
-               switch (queue_idx) {
-                   case 0:
-                       virtio_setup_queue(dev, &virtio->rx_vq, pfn, page_addr);
-                       break;
-                  case 1:
-                       virtio_setup_queue(dev, &virtio->tx_vq, pfn, page_addr);
-                        break;
-                   case 2:
-                        virtio_setup_queue(dev, &virtio->ctrl_vq, pfn, page_addr);
-                        break;
-
-                   default:
-                        break;
-               }
-           } else {
+
+           if (length != 4) {
                PrintError("Illegal write length for page frame number\n");
                return -1;
            }
+
+           addr_t pfn = *(uint32_t *)src;
+           addr_t page_addr = (pfn << VIRTIO_PAGE_SHIFT);
+           uint16_t queue_idx = virtio->virtio_cfg.vring_queue_selector;
+
+           switch (queue_idx) {
+               case 0:
+                   virtio_setup_queue(virtio, &virtio->rx_vq, pfn, page_addr);
+                   break;
+               case 1:
+                   virtio_setup_queue(virtio, &virtio->tx_vq, pfn, page_addr);
+                   break;
+               case 2:
+                   virtio_setup_queue(virtio, &virtio->ctrl_vq, pfn, page_addr);
+                   break;
+                   
+               default:
+                   break;
+           }
+           
            break;
        case VRING_Q_SEL_PORT:
            virtio->virtio_cfg.vring_queue_selector = *(uint16_t *)src;
@@ -465,36 +531,37 @@ static int virtio_io_write(uint16_t port, void * src, uint_t length, void * priv
            }
 
            break;
-       case VRING_Q_NOTIFY_PORT:
-           PrintDebug("Handling Kick\n");
-           uint16_t queue_idx = *(uint16_t *)src;
-           if (queue_idx == 0){
-                   if (handle_pkt_rx(dev) == -1) {
-                       PrintError("Could not handle NIC Notification\n");
-                       return -1;
-                   }
-           }else if (queue_idx == 1){
-                   if (handle_pkt_tx(dev) == -1) {
+       case VRING_Q_NOTIFY_PORT: 
+           {
+               uint16_t queue_idx = *(uint16_t *)src;     
+               
+               PrintDebug("Handling Kick\n");
+               
+               if (queue_idx == 0){
+                   PrintError("receive queue notification\n");
+               } else if (queue_idx == 1){
+                   if (handle_pkt_tx(virtio) == -1) {
                        PrintError("Could not handle NIC Notification\n");
                        return -1;
                    }
-           }else if (queue_idx == 2){
-                   if (handle_ctrl(dev) == -1) {
+               } else if (queue_idx == 2){
+                   if (handle_ctrl(virtio) == -1) {
                        PrintError("Could not handle NIC Notification\n");
                        return -1;
                    }
-           }else {
-               PrintError("Virtio NIC device only uses 3 queue, selected %d\n", 
-                          queue_idx);
+               } else {
+                   PrintError("Virtio NIC device only uses 3 queue, selected %d\n", 
+                              queue_idx);
+               }
+               
+               break;          
            }
-           
-           break;
        case VIRTIO_STATUS_PORT:
            virtio->virtio_cfg.status = *(uint8_t *)src;
 
            if (virtio->virtio_cfg.status == 0) {
                PrintDebug("Resetting device\n");
-               virtio_reset(dev);
+               virtio_reset(virtio);
            }
 
            break;
@@ -513,15 +580,14 @@ static int virtio_io_write(uint16_t port, void * src, uint_t length, void * priv
 
 static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * private_data) 
 {
-    struct vm_device * dev = (struct vm_device *)private_data;
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;
+   //struct vm_device * dev = (struct vm_device *)private_data;
+    struct virtio_net_state * virtio = (struct virtio_net_state *)private_data;
     int port_idx = port % virtio->io_range_size;
     uint16_t queue_idx = virtio->virtio_cfg.vring_queue_selector;
 
-
-    PrintDebug("VIRTIO NIC Read  for port %d (index =%d), length=%d\n", 
+    PrintDebug("Virtio NIC %p: Read  for port %d (index =%d), length=%d", private_data,
               port, port_idx, length);
-
+       
     switch (port_idx) {
        case HOST_FEATURES_PORT:
            if (length != 4) {
@@ -530,6 +596,8 @@ static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * priva
            }
 
            *(uint32_t *)dst = virtio->virtio_cfg.host_features;
+
+           PrintDebug("value=0x%x\n", *(uint32_t *)dst);
        
            break;
        case VRING_PG_NUM_PORT:
@@ -541,20 +609,23 @@ static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * priva
 
            switch (queue_idx) {
                case 0:
-                     *(uint32_t *)dst = virtio->rx_vq.pfn;
-                       break;
-                case 1:
-                     *(uint32_t *)dst = virtio->tx_vq.pfn;
-                       break;  
-                case 2:
-                     *(uint32_t *)dst = virtio->ctrl_vq.pfn;
-                       break;
-                default:
-                       break;
-           }
+                   *(uint32_t *)dst = virtio->rx_vq.pfn;
+                   break;
+               case 1:
+                   *(uint32_t *)dst = virtio->tx_vq.pfn;
+                   break;      
+               case 2:
+                   *(uint32_t *)dst = virtio->ctrl_vq.pfn;
+                   break;
+               default:
+                   break;
+           }
+
+           PrintDebug(", value=0x%x\n", *(uint32_t *)dst);
 
            break;
        case VRING_SIZE_PORT:
+
            if (length != 2) {
                PrintError("Illegal read length for vring size\n");
                return -1;
@@ -562,37 +633,45 @@ static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * priva
 
            switch (queue_idx) {
                case 0:
-                     *(uint16_t *)dst = virtio->rx_vq.queue_size;
-                       break;
-                case 1:
-                     *(uint32_t *)dst = virtio->tx_vq.queue_size;
-                       break;  
-                case 2:
-                     *(uint32_t *)dst = virtio->ctrl_vq.queue_size;
-                       break;
-                default:
-                       break;
-           }
+                   *(uint16_t *)dst = virtio->rx_vq.queue_size;
+                   break;
+               case 1:
+                   *(uint16_t *)dst = virtio->tx_vq.queue_size;
+                   break;      
+               case 2:
+                   *(uint16_t *)dst = virtio->ctrl_vq.queue_size;
+                   break;
+               default:
+                   break;
+           }
+
+           PrintDebug("queue index: %d, value=0x%x\n", (int)queue_idx, *(uint16_t *)dst);
 
            break;
        case VIRTIO_STATUS_PORT:
+
            if (length != 1) {
                PrintError("Illegal read length for status\n");
                return -1;
            }
 
            *(uint8_t *)dst = virtio->virtio_cfg.status;
+
+           PrintDebug(", value=0x%x\n", *(uint8_t *)dst);
            break;
 
        case VIRTIO_ISR_PORT:
            *(uint8_t *)dst = virtio->virtio_cfg.pci_isr;
            virtio->virtio_cfg.pci_isr = 0;
-           v3_pci_lower_irq(virtio->pci_bus, 0, virtio->pci_dev);
+           v3_pci_lower_irq(virtio->virtio_dev->pci_bus, 0, virtio->pci_dev);
+
+           PrintDebug(", value=0x%x\n", *(uint8_t *)dst);
+               
            break;
 
        default:
-           PrintError("Read of Unhandled Virtio Read\n");
-           return -1;
+           PrintError("Virtio NIC: Read of Unhandled Virtio Read\n");
+           return -1;
     }
 
     return length;
@@ -601,124 +680,168 @@ static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * priva
 
 static struct v3_device_ops dev_ops = {
     .free = virtio_free,
-    .reset = virtio_reset,
+    .reset = NULL,
     .start = NULL,
     .stop = NULL,
 };
 
 
-int v3_virtio_register_nic(struct vm_device *dev, struct v3_net_ops *ops, void *private_data) {
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;
+static int register_dev(struct virtio_dev_state * virtio, struct virtio_net_state * net_state) 
+{
+    struct pci_device * pci_dev = NULL;
+    struct v3_pci_bar bars[6];
+    int num_ports = sizeof(struct virtio_config);
+    int tmp_ports = num_ports;
+    int i;
+
+    // This gets the number of ports, rounded up to a power of 2
+    net_state->io_range_size = 1; // must be a power of 2
+    
+    while (tmp_ports > 0) {
+       tmp_ports >>= 1;
+       net_state->io_range_size <<= 1;
+    }
+       
+    // this is to account for any low order bits being set in num_ports
+    // if there are none, then num_ports was already a power of 2 so we shift right to reset it
+    if ((num_ports & ((net_state->io_range_size >> 1) - 1)) == 0) {
+       net_state->io_range_size >>= 1;
+    }
+    
+    
+    for (i = 0; i < 6; i++) {
+       bars[i].type = PCI_BAR_NONE;
+    }
+    
+    PrintDebug("Virtio-NIC io_range_size = %d\n", net_state->io_range_size);
+    
+    bars[0].type = PCI_BAR_IO;
+    bars[0].default_base_port = -1;
+    bars[0].num_ports = net_state->io_range_size;
+    
+    bars[0].io_read = virtio_io_read;
+    bars[0].io_write = virtio_io_write;
+    bars[0].private_data = net_state;
+    
+    pci_dev = v3_pci_register_device(virtio->pci_bus, PCI_STD_DEVICE, 
+                                    0, PCI_AUTO_DEV_NUM, 0,
+                                    "LNX_VIRTIO_NIC", bars,
+                                    NULL, NULL, NULL, net_state);
+    
+    if (!pci_dev) {
+       PrintError("Virtio NIC: Could not register PCI Device\n");
+       return -1;
+    }
+
+    PrintDebug("Virtio NIC:  registered to PCI bus\n");
     
-    virtio->net_ops = ops;
+    pci_dev->config_header.vendor_id = VIRTIO_VENDOR_ID;
+    pci_dev->config_header.subsystem_vendor_id = VIRTIO_SUBVENDOR_ID;
+       
 
-    return 0;
-}
+    pci_dev->config_header.device_id = VIRTIO_NET_DEV_ID;
+    pci_dev->config_header.class = PCI_CLASS_NETWORK;
+    pci_dev->config_header.subclass = PCI_NET_SUBCLASS_OTHER;
+    
+    pci_dev->config_header.subsystem_id = VIRTIO_NET_SUBDEVICE_ID;;
 
+    pci_dev->config_header.intr_pin = 1;
 
-static int virtio_init(struct guest_info * vm, void *cfg_data) {
-    struct vm_device * pci_bus = v3_find_dev(vm, (char *)cfg_data);
-    struct virtio_net_state * virtio_state = NULL;
-    struct pci_device * pci_dev = NULL;
+    pci_dev->config_header.max_latency = 1; // ?? (qemu does it...)
 
-    PrintDebug("Initializing VIRTIO Network device\n");
 
-    if (pci_bus == NULL) {
-       PrintError("VirtIO network devices require a PCI Bus");
-       return -1;
-    }
+    net_state->pci_dev = pci_dev;
+    //net_state->pci_bus = pci_bus;
     
-    virtio_state  = (struct virtio_net_state *)V3_Malloc(sizeof(struct virtio_net_state));
-    memset(virtio_state, 0, sizeof(struct virtio_net_state));
+    net_state->virtio_cfg.host_features = 0; //no features support now
 
-    struct vm_device * dev = v3_allocate_device("LNX_VIRTIO_NIC", &dev_ops, virtio_state);
-    if (v3_attach_device(vm, dev) == -1) {
-       PrintError("Could not attach device %s\n", "LNX_VIRTIO_NIC");
-       return -1;
-    }
+    net_state->rx_vq.queue_size = QUEUE_SIZE;
+    net_state->tx_vq.queue_size = QUEUE_SIZE;
+    net_state->ctrl_vq.queue_size = CTRL_QUEUE_SIZE;
 
+    net_state->virtio_dev = virtio;
 
-    // PCI initialization
-    {
-       struct v3_pci_bar bars[6];
-       int num_ports = sizeof(struct virtio_config);
-       int tmp_ports = num_ports;
-       int i;
+    virtio_reset(net_state);
 
-       // This gets the number of ports, rounded up to a power of 2
-       virtio_state->io_range_size = 1; // must be a power of 2
+    return 0;
+}
 
-       while (tmp_ports > 0) {
-           tmp_ports >>= 1;
-           virtio_state->io_range_size <<= 1;
-       }
-       
-       // this is to account for any low order bits being set in num_ports
-       // if there are none, then num_ports was already a power of 2 so we shift right to reset it
-       if ((num_ports & ((virtio_state->io_range_size >> 1) - 1)) == 0) {
-           virtio_state->io_range_size >>= 1;
-       }
 
-       for (i = 0; i < 6; i++) {
-           bars[i].type = PCI_BAR_NONE;
-       }
 
-       PrintDebug("Virtio-NIC io_range_size = %d\n", virtio_state->io_range_size);
+static int connect_fn(struct guest_info * info, 
+                     void * frontend_data, 
+                     struct v3_dev_net_ops * ops, 
+                     v3_cfg_tree_t * cfg, 
+                     void * private_data) {
+    struct virtio_dev_state * virtio = (struct virtio_dev_state *)frontend_data;
+    struct virtio_net_state * net_state  = (struct virtio_net_state *)V3_Malloc(sizeof(struct virtio_net_state));
 
-       bars[0].type = PCI_BAR_IO;
-       bars[0].default_base_port = -1;
-       bars[0].num_ports = virtio_state->io_range_size;
+    memset(net_state, 0, sizeof(struct virtio_net_state));
 
-       bars[0].io_read = virtio_io_read;
-       bars[0].io_write = virtio_io_write;
-       bars[0].private_data = dev;
+    register_dev(virtio, net_state);
 
-       pci_dev = v3_pci_register_device(pci_bus, PCI_STD_DEVICE, 
-                                        0, PCI_AUTO_DEV_NUM, 0,
-                                        "LNX_VIRTIO_NIC", bars,
-                                        NULL, NULL, NULL, dev, NULL);
+    net_state->net_ops = ops;
+    net_state->backend_data = private_data;
+
+    return 0;
+}
 
-       if (!pci_dev) {
-           PrintError("Could not register PCI Device\n");
-           return -1;
-       }
-       
-       pci_dev->config_header.vendor_id = VIRTIO_VENDOR_ID;
-       pci_dev->config_header.subsystem_vendor_id = VIRTIO_SUBVENDOR_ID;
-       
 
-       pci_dev->config_header.device_id = VIRTIO_NET_DEV_ID;
-       pci_dev->config_header.class = PCI_CLASS_NETWORK;
-       pci_dev->config_header.subclass = PCI_NET_SUBCLASS_OTHER;
+static int virtio_init(struct guest_info * vm, v3_cfg_tree_t * cfg) {
+    struct vm_device * pci_bus = v3_find_dev(vm, v3_cfg_val(cfg, "bus"));
+    struct virtio_dev_state * virtio_state = NULL;
+    char * name = v3_cfg_val(cfg, "name");
 
-       // TODO:how to define new one for virtio net device
-       pci_dev->config_header.subsystem_id = VIRTIO_BLOCK_SUBDEVICE_ID;
+    PrintDebug("Virtio NIC: Initializing VIRTIO Network device: %s\n", name);
 
+    if (pci_bus == NULL) {
+       PrintError("Virtio NIC: VirtIO devices require a PCI Bus");
+       return -1;
+    }
 
-       pci_dev->config_header.intr_pin = 1;
+    virtio_state  = (struct virtio_dev_state *)V3_Malloc(sizeof(struct virtio_dev_state));
+    memset(virtio_state, 0, sizeof(struct virtio_dev_state));
 
-       pci_dev->config_header.max_latency = 1; // ?? (qemu does it...)
+    INIT_LIST_HEAD(&(virtio_state->dev_list));
+    virtio_state->pci_bus = pci_bus;
+    virtio_state->vm = vm;
 
+    struct vm_device * dev = v3_allocate_device(name, &dev_ops, virtio_state);
+    if (v3_attach_device(vm, dev) == -1) {
+       PrintError("Virtio NIC: Could not attach device %s\n", name);
+       return -1;
+    }
 
-       virtio_state->pci_dev = pci_dev;
-       virtio_state->pci_bus = pci_bus;
+    if (v3_dev_add_net_frontend(vm, name, connect_fn, (void *)virtio_state) == -1) {
+       PrintError("Virtio NIC: Could not register %s as net frontend\n", name);
+       return -1;
     }
 
-    virtio_state->virtio_cfg.host_features = 0; //no features support now
 
-    virtio_state->rx_vq.queue_size = QUEUE_SIZE;
-    virtio_state->tx_vq.queue_size = QUEUE_SIZE;
-    virtio_state->ctrl_vq.queue_size = CTRL_QUEUE_SIZE;
+    //for temporary testing, add a backend
+    #if 1
    
+    struct virtio_net_state * net_state  = (struct virtio_net_state *)V3_Malloc(sizeof(struct virtio_net_state));
+    memset(net_state, 0, sizeof(struct virtio_net_state));
+
+    net_state->net_ops = (struct v3_dev_net_ops *)V3_Malloc(sizeof(struct v3_dev_net_ops));
 
-    virtio_reset(dev);
+    net_state->net_ops->send = &send;
+    net_state->net_ops->receive = &receive;
 
-// TODO: net ops
-    virtio_state->net_ops = NULL;
+    register_dev(virtio_state, net_state);
+       
+    PrintDebug("Virtio NIC After register Device %s: queue size: %d, %d\n", dev->name,
+              net_state->rx_vq.queue_size, net_state->tx_vq.queue_size);
+
+    temp_net_states[net_idx ++] = net_state;
+
+    PrintDebug("Net_states: 0: %p, 1: %p, 2: %p\n", temp_net_states[0], temp_net_states[1], temp_net_states[2]);
+       
+    #endif
 
     return 0;
 }
 
-
 device_register("LNX_VIRTIO_NIC", virtio_init)
-
+