Palacios Public Git Repository

To checkout Palacios execute

  git clone http://v3vee.org/palacios/palacios.web/palacios.git
This will give you the master branch. You probably want the devel branch or one of the release branches. To switch to the devel branch, simply execute
  cd palacios
  git checkout --track -b devel origin/devel
The other branches are similar.


Update on Vnet and Virtio Nic
[palacios.git] / palacios / src / devices / lnx_virtio_nic.c
index cd7de18..4874b73 100644 (file)
@@ -9,11 +9,13 @@
  *
  * Copyright (c) 2008, Jack Lange <jarusl@cs.northwestern.edu>
  * Copyright (c) 2008, Lei Xia <lxia@northwestern.edu>
+ * Copyright (c) 2008, Cui Zheng <cuizheng@cs.unm.edu>
  * Copyright (c) 2008, The V3VEE Project <http://www.v3vee.org> 
  * All rights reserved.
  *
  * Author: Jack Lange <jarusl@cs.northwestern.edu>
  *               Lei Xia <lxia@northwestern.edu>
+ *             Cui Zheng <cuizheng@cs.unm.edu>
  *              
  *
  * This is free software.  You are permitted to use,
@@ -25,6 +27,7 @@
 #include <devices/lnx_virtio_pci.h>
 #include <palacios/vm_guest_mem.h>
 #include <palacios/vmm_sprintf.h>
+#include <palacios/vmm_vnet.h>
 
 #include <devices/pci.h>
 
@@ -58,7 +61,6 @@
 /* Maximum packet size we can receive from tap device: header + 64k */
 #define VIRTIO_NET_MAX_BUFSIZE (sizeof(struct virtio_net_hdr) + (64 << 10))
 
-
 struct virtio_net_hdr {
        uint8_t flags;
 
@@ -72,17 +74,13 @@ struct virtio_net_hdr {
 }__attribute__((packed));
 
        
-
-
-#define QUEUE_SIZE 256
+#define QUEUE_SIZE 1024
 #define CTRL_QUEUE_SIZE 64
-
 #define ETH_ALEN 6
 
 struct virtio_net_config
 {
-    uint8_t mac[ETH_ALEN];
-    // See VIRTIO_NET_F_STATUS and VIRTIO_NET_S_* above
+    uint8_t mac[ETH_ALEN]; //VIRTIO_NET_F_MAC
     uint16_t status;
 } __attribute__((packed));
 
@@ -96,8 +94,8 @@ struct virtio_net_state {
     struct virtio_net_config net_cfg;
     struct virtio_config virtio_cfg;
 
-    //struct vm_device * pci_bus;
-    struct pci_device * pci_dev;
+    struct pci_device * pci_dev; 
+    int io_range_size;
     
     struct virtio_queue rx_vq;   //index 0, rvq in Linux virtio driver, handle packet to guest
     struct virtio_queue tx_vq;   //index 1, svq in Linux virtio driver, handle packet from guest
@@ -106,28 +104,45 @@ struct virtio_net_state {
     struct v3_dev_net_ops * net_ops;
 
     void * backend_data;
-
     struct virtio_dev_state * virtio_dev;
-
     struct list_head dev_link;
+};
 
-    int io_range_size;
 
-    void *private_data;
-};
+#ifdef CONFIG_DEBUG_VIRTIO_NET
 
-#if 1
-//Temporarly for debug
 static void print_packet(uchar_t *pkt, int size) {
-    PrintDebug("Vnet: print_data_packet: size: %d\n", size);
+    PrintDebug("Virtio Nic: print_data_packet: size: %d\n", size);
     v3_hexdump(pkt, size, NULL, 0);
 }
 
+#endif
+
+#if 0
+//Temporarly for debug
+
+static struct virtio_net_state *temp_net_states[3]; 
+static int net_idx = 0;
+
+static int __virtio_dev_send(uchar_t * buf, uint32_t size, void *private_data);
+
 static int send(uint8_t * buf, uint32_t count, void * private_data, struct vm_device *dest_dev)
 {
-   PrintDebug("Virito NIC: In sending stub\n");
-   print_packet(buf, count);
+   PrintDebug("Virito NIC: In sending stub, guest %p, count %d\n", private_data, count);
 
+#ifdef CONFIG_DEBUG_VIRTIO_NET
+   print_packet(buf, 20);
+#endif
+
+   struct virtio_net_state *virtio_state = (struct virtio_net_state *)private_data;
+
+   if (virtio_state == temp_net_states[0])
+       __virtio_dev_send(buf, count, temp_net_states[1]);
+   if (virtio_state == temp_net_states[1]){ //return a RARP packet
+       __virtio_dev_send(buf, count, temp_net_states[0]);
+   }
+   
    return count;
 }
 
@@ -138,7 +153,6 @@ static int receive(uint8_t * buf, uint32_t count, void * private_data, struct vm
     return 0;
 }
 
-
 #endif
 
 static int virtio_free(struct vm_device * dev) 
@@ -170,20 +184,19 @@ static int virtio_reset(struct virtio_net_state * virtio)
     virtio->virtio_cfg.host_features = 0;
     //virtio->virtio_cfg.status = VIRTIO_NET_S_LINK_UP;
     virtio->virtio_cfg.pci_isr = 0;
-    virtio->private_data = NULL;
 
     return 0;
 }
 
 
 //sending guest's packet to network sink
-static int pkt_write(struct virtio_net_state *virtio,  struct vring_desc *buf_desc) 
+static int pkt_write(struct virtio_net_state * virtio, struct vring_desc * buf_desc) 
 {
     //struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data; 
-    uint8_t *buf = NULL;
+    uint8_t * buf = NULL;
     uint32_t len = buf_desc->length;
 
-    PrintDebug("Handling Virtio Net write\n");
+    PrintDebug("Virtio NIC: Handling Virtio Write, net_state: %p\n", virtio);
 
     if (guest_pa_to_host_va(virtio->virtio_dev->vm, buf_desc->addr_gpa, (addr_t *)&(buf)) == -1) {
        PrintError("Could not translate buffer address\n");
@@ -191,8 +204,8 @@ static int pkt_write(struct virtio_net_state *virtio,  struct vring_desc *buf_de
     }
 
     PrintDebug("Length=%d\n", buf_desc->length);
-    PrintDebug("Buffer Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d, buf address: %p, send address: %p\n", buf_desc, 
-                      (void *)(buf_desc->addr_gpa), buf_desc->length, buf_desc->flags, buf_desc->next, buf, virtio->net_ops->send);
+    //PrintDebug("Buffer Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d, buf address: %p, send address: %p\n", buf_desc, 
+              //(void *)(buf_desc->addr_gpa), buf_desc->length, buf_desc->flags, buf_desc->next, buf, virtio->net_ops->send);
 
     if (virtio->net_ops->send(buf, len, (void *)virtio, NULL) == -1) {
        return -1;
@@ -202,8 +215,7 @@ static int pkt_write(struct virtio_net_state *virtio,  struct vring_desc *buf_de
 }
 
 
-static int build_receive_header(struct virtio_net_hdr *hdr, const void *buf, int raw)
-{
+static int build_receive_header(struct virtio_net_hdr * hdr, const void * buf, int raw) {
     hdr->flags = 0;
 
     if (!raw) {
@@ -217,10 +229,10 @@ static int build_receive_header(struct virtio_net_hdr *hdr, const void *buf, int
 
 
 //sending guest's packet to network sink
-static int copy_data_to_desc(struct virtio_net_state * virtio_state, struct vring_desc *desc, uchar_t *buf, uint_t buf_len) 
+static int copy_data_to_desc(struct virtio_net_state * virtio_state, struct vring_desc * desc, uchar_t * buf, uint_t buf_len) 
 {
     uint32_t len;
-    uint8_t *desc_buf = NULL;
+    uint8_t * desc_buf = NULL;
 
     if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, desc->addr_gpa, (addr_t *)&(desc_buf)) == -1) {
        PrintError("Could not translate buffer address\n");
@@ -228,50 +240,50 @@ static int copy_data_to_desc(struct virtio_net_state * virtio_state, struct vrin
     }
 
     len = (desc->length < buf_len)?desc->length:buf_len;
-
     memcpy(desc_buf, buf, len);
 
-    PrintDebug("Length=%d\n", len);
-
     return len;
 }
 
 
 //send data to guest
-static int send_pkt_to_guest(struct vm_device *dev, uchar_t *buf, uint_t size, int raw, void *private_data) 
+static int send_pkt_to_guest(struct virtio_net_state * virtio, uchar_t * buf, uint_t size, int raw, void * private_data) 
 {
-   // TODO: This should not be like this
-    struct virtio_net_state *virtio = (struct virtio_net_state *)dev->private_data;    
-    struct virtio_queue *q = &(virtio->rx_vq);
-
-    PrintDebug("VIRTIO Handle RX: cur_index=%d (mod=%d), avail_index=%d\n", 
-              q->cur_avail_idx, q->cur_avail_idx % q->queue_size, q->avail->index);
-
+    struct virtio_queue * q = &(virtio->rx_vq);
     struct virtio_net_hdr hdr;
     uint32_t hdr_len = sizeof(struct virtio_net_hdr);
-
     uint32_t data_len = size;
-    if (!raw)
-       data_len -=  hdr_len;
+    uint32_t offset = 0;
+
+    //PrintDebug("VIRTIO NIC:  Handle RX: cur_index=%d (mod=%d), avail_index=%d\n", 
+              //q->cur_avail_idx, q->cur_avail_idx % q->queue_size, q->avail->index);
+
+    PrintError("VIRTIO NIC:  sending packet to net_state %p, size:%d", virtio, size);
+
+    if (!raw) {
+       data_len -= hdr_len;
+    }
 
     build_receive_header(&hdr, buf, 1);
 
     //queue is not set yet
-    if (q->ring_avail_addr == 0)
-               return -1;
+    if (q->ring_avail_addr == 0) {
+       PrintError("Queue is not set\n");
+       return -1;
+    }
 
-\r uint32_t offset = 0;
     if (q->cur_avail_idx < q->avail->index) {
-       struct vring_desc * hdr_desc = NULL;
        addr_t hdr_addr = 0;
        uint16_t hdr_idx = q->avail->ring[q->cur_avail_idx % q->queue_size];
+       uint16_t buf_idx = 0;
+       struct vring_desc * hdr_desc = NULL;
 
-       PrintDebug("Descriptor index=%d\n", q->cur_avail_idx % q->queue_size);
+       //PrintDebug("Descriptor index=%d\n", q->cur_avail_idx % q->queue_size);
 
        hdr_desc = &(q->desc[hdr_idx]);
 
-       PrintDebug("Header Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", hdr_desc, 
-                  (void *)(hdr_desc->addr_gpa), hdr_desc->length, hdr_desc->flags, hdr_desc->next);    
+       //PrintDebug("Header Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", hdr_desc, 
+                  //(void *)(hdr_desc->addr_gpa), hdr_desc->length, hdr_desc->flags, hdr_desc->next);  
 
        if (guest_pa_to_host_va(virtio->virtio_dev->vm, hdr_desc->addr_gpa, &(hdr_addr)) == -1) {
            PrintError("Could not translate receive buffer address\n");
@@ -281,19 +293,41 @@ static int send_pkt_to_guest(struct vm_device *dev, uchar_t *buf, uint_t size, i
        //copy header to the header descriptor
        memcpy((void *)hdr_addr, &hdr, sizeof(struct virtio_net_hdr));
 
-       uint16_t buf_idx = 0;
-       struct vring_desc * buf_desc = NULL;
+       //Zheng 01/02/2010: zero payload
+       if (offset >= data_len) {
+           hdr_desc->flags &= ~VIRTIO_NEXT_FLAG;
+       }
+
        //copy data to the next descriptors
-       for (buf_idx = 0; offset < data_len; buf_idx = q->desc[hdr_idx].next) {
-               q->desc[buf_idx].flags = VIRTIO_NEXT_FLAG;
-               buf_desc = &(q->desc[buf_idx]);
-               uint32_t len = copy_data_to_desc(virtio, buf_desc, buf+offset, data_len - offset);
-               offset += len;
-               buf_desc->length = len;  // TODO: do we need this?
+       //Zheng 01/02/2010: put data into the next descriptor, rather than 0! 
+       for (buf_idx = hdr_desc->next; offset < data_len; buf_idx = q->desc[hdr_idx].next) {
+       //      for (buf_idx = 0; offset < data_len; buf_idx = q->desc[hdr_idx].next) {
+           struct vring_desc * buf_desc = &(q->desc[buf_idx]);
+           uint32_t len = 0;
+
+           //Zheng 01/02/2010: commented this - we need to check 
+           //       if there still is some data left
+           //buf_desc->flags = VIRTIO_NEXT_FLAG;
+        
+           //PrintError("JACK: copying packet to up desc (len = %d)\n", data_len - offset);
+           //v3_hexdump(buf + offset, data_len - offset, NULL, 0);
+
+           len = copy_data_to_desc(virtio, buf_desc, buf + offset, data_len - offset);
+           
+           offset += len;
+
+           //Zheng 01/02/2010: check if there still is some data left 
+           if (offset < data_len) {
+               buf_desc->flags = VIRTIO_NEXT_FLAG;             
+           }
+
+           buf_desc->length = len;  // TODO: do we need this?
+           //PrintError("JACK: setting buffer descriptor length to %d)\n", buf_desc->length);
        }
+
        
        q->used->ring[q->used->index % q->queue_size].id = q->avail->ring[q->cur_avail_idx % q->queue_size];
-       q->used->ring[q->used->index % q->queue_size].length = data_len; // What do we set this to????
+       q->used->ring[q->used->index % q->queue_size].length = data_len + hdr_len; // This should be the total length of data sent to guest (header+pkt_data)
 
        q->used->index++;
        q->cur_avail_idx++;
@@ -309,14 +343,25 @@ static int send_pkt_to_guest(struct vm_device *dev, uchar_t *buf, uint_t size, i
 }
 
 
-int virtio_send(struct vm_device * dev, uchar_t *buf, uint_t size)
-{
-    return send_pkt_to_guest(dev, buf, size, 1, NULL);
+// TODO: 
+int virtio_send(struct guest_info * vm, char *dev_name, uchar_t * buf, uint_t size) {
+    struct vm_device * virtio_dev = v3_find_dev(vm, dev_name);
+
+    // TODO: how to get virtio net state from device??
+    // this is not right now
+    struct virtio_net_state * virtio_state = (struct virtio_net_state *)virtio_dev->private_data;
+       
+    return send_pkt_to_guest(virtio_state, buf, size, 1, NULL);
 }
 
 
-static int get_desc_count(struct virtio_queue * q, int index) 
-{
+static int __virtio_dev_send(uchar_t * buf, uint32_t size, void *private_data) {
+    struct virtio_net_state *virtio_state = (struct virtio_net_state *)private_data;
+       
+    return send_pkt_to_guest(virtio_state, buf, size, 1, NULL);
+}
+
+static int get_desc_count(struct virtio_queue * q, int index) {
     struct vring_desc * tmp_desc = &(q->desc[index]);
     int cnt = 1;
     
@@ -329,10 +374,7 @@ static int get_desc_count(struct virtio_queue * q, int index)
 }
 
 
-static int handle_ctrl(struct virtio_net_state * dev) 
-{
-
-
+static int handle_ctrl(struct virtio_net_state * dev) {
     return 0;
 }
 
@@ -340,46 +382,44 @@ static int handle_ctrl(struct virtio_net_state * dev)
 static int handle_pkt_tx(struct virtio_net_state * virtio_state) 
 {
     //struct virtio_net_state *virtio = (struct virtio_net_state *)dev->private_data;    
-    struct virtio_queue *q = &(virtio_state->tx_vq);
+    struct virtio_queue * q = &(virtio_state->tx_vq);
 
-    PrintDebug("VIRTIO NIC pkt_tx: cur_index=%d (mod=%d), avail_index=%d\n", 
-              q->cur_avail_idx, q->cur_avail_idx % q->queue_size, q->avail->index);
+    //PrintDebug("VIRTIO NIC pkt_tx: cur_index=%d (mod=%d), avail_index=%d\n", 
+             // q->cur_avail_idx, q->cur_avail_idx % q->queue_size, q->avail->index);
 
-    struct virtio_net_hdr *hdr = NULL;
+    struct virtio_net_hdr * hdr = NULL;
 
     while (q->cur_avail_idx < q->avail->index) {
        struct vring_desc * hdr_desc = NULL;
-       struct vring_desc * buf_desc = NULL;
-
        addr_t hdr_addr = 0;
        uint16_t desc_idx = q->avail->ring[q->cur_avail_idx % q->queue_size];
        int desc_cnt = get_desc_count(q, desc_idx);
        uint32_t req_len = 0;
+       int i = 0;
 
-       PrintDebug("Descriptor Count=%d, index=%d\n", desc_cnt, q->cur_avail_idx % q->queue_size);
+       //PrintDebug("Descriptor Count=%d, index=%d\n", desc_cnt, q->cur_avail_idx % q->queue_size);
 
        hdr_desc = &(q->desc[desc_idx]);
 
-       PrintDebug("Header Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", hdr_desc, 
-                  (void *)(hdr_desc->addr_gpa), hdr_desc->length, hdr_desc->flags, hdr_desc->next);    
+       //PrintDebug("Header Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", hdr_desc, 
+                  //(void *)(hdr_desc->addr_gpa), hdr_desc->length, hdr_desc->flags, hdr_desc->next);  
 
        if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, hdr_desc->addr_gpa, &(hdr_addr)) == -1) {
            PrintError("Could not translate block header address\n");
            return -1;
        }
 
-       //memcpy(&hdr, (void *)hdr_addr, sizeof(struct virtio_net_hdr));
        hdr = (struct virtio_net_hdr*)hdr_addr;
        
-       PrintDebug("NIC Op Hdr (ptr=%p) header len =%x\n", (void *)hdr_addr, (int)hdr->hdr_len);
+       //PrintDebug("NIC Op Hdr (ptr=%p) header len =%x\n", (void *)hdr_addr, (int)hdr->hdr_len);
 
-      desc_idx= hdr_desc->next;
-       int i = 0;
+       desc_idx = hdr_desc->next;
+       
        for (i = 0; i < desc_cnt - 1; i++) {    
-           buf_desc = &(q->desc[desc_idx]);
+           struct vring_desc * buf_desc = &(q->desc[desc_idx]);
 
-           PrintDebug("Buffer Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", buf_desc, 
-                      (void *)(buf_desc->addr_gpa), buf_desc->length, buf_desc->flags, buf_desc->next);
+           //PrintDebug("Buffer Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", buf_desc, 
+                      //(void *)(buf_desc->addr_gpa), buf_desc->length, buf_desc->flags, buf_desc->next);
 
            if (pkt_write(virtio_state, buf_desc) == -1) {
                PrintError("Error handling nic operation\n");
@@ -398,7 +438,7 @@ static int handle_pkt_tx(struct virtio_net_state * virtio_state)
     }
 
     if (!(q->avail->flags & VIRTIO_NO_IRQ_FLAG)) {
-       PrintDebug("Raising IRQ %d\n",  virtio_state->pci_dev->config_header.intr_line);
+       //PrintDebug("Raising IRQ %d\n",  virtio_state->pci_dev->config_header.intr_line);
        v3_pci_raise_irq(virtio_state->virtio_dev->pci_bus, 0, virtio_state->pci_dev);
        virtio_state->virtio_cfg.pci_isr = 0x1;
     }
@@ -407,15 +447,14 @@ static int handle_pkt_tx(struct virtio_net_state * virtio_state)
 }
 
 
-static int virtio_setup_queue(struct virtio_net_state *virtio_state, struct virtio_queue *queue, addr_t pfn, addr_t page_addr)
-{
+static int virtio_setup_queue(struct virtio_net_state * virtio_state, struct virtio_queue * queue, addr_t pfn, addr_t page_addr) {
     queue->pfn = pfn;
                
-    queue->ring_desc_addr = page_addr ;
-    queue->ring_avail_addr = page_addr + (queue->queue_size* sizeof(struct vring_desc));
-    queue->ring_used_addr = (queue->ring_avail_addr + \
-                                                sizeof(struct vring_avail)    + \
-                                                (queue->queue_size * sizeof(uint16_t)));
+    queue->ring_desc_addr = page_addr;
+    queue->ring_avail_addr = page_addr + (queue->queue_size * sizeof(struct vring_desc));
+    queue->ring_used_addr = ((queue->ring_avail_addr) + 
+                            (sizeof(struct vring_avail)) + 
+                            (queue->queue_size * sizeof(uint16_t)));
                
     // round up to next page boundary.
     queue->ring_used_addr = (queue->ring_used_addr + 0xfff) & ~0xfff;
@@ -438,13 +477,13 @@ static int virtio_setup_queue(struct virtio_net_state *virtio_state, struct virt
     }
 
     PrintDebug("RingDesc_addr=%p, Avail_addr=%p, Used_addr=%p\n",
-                        (void *)(queue->ring_desc_addr),
-                          (void *)(queue->ring_avail_addr),
-                          (void *)(queue->ring_used_addr));
-
+              (void *)(queue->ring_desc_addr),
+              (void *)(queue->ring_avail_addr),
+              (void *)(queue->ring_used_addr));
+    
     PrintDebug("RingDesc=%p, Avail=%p, Used=%p\n", 
-                    queue->desc, queue->avail, queue->used);
-
+              queue->desc, queue->avail, queue->used);
+    
     return 0;
 }
 
@@ -457,7 +496,7 @@ static int virtio_io_write(uint16_t port, void * src, uint_t length, void * priv
     int port_idx = port % virtio->io_range_size;
 
 
-    PrintDebug("VIRTIO NIC Write for port %d (index=%d) len=%d, value=%x\n", 
+    PrintDebug("VIRTIO NIC %p Write for port %d (index=%d) len=%d, value=%x\n", private_data,
               port, port_idx,  length, *(uint32_t *)src);
 
 
@@ -473,29 +512,31 @@ static int virtio_io_write(uint16_t port, void * src, uint_t length, void * priv
 
            break;
        case VRING_PG_NUM_PORT:
-           if (length == 4) {
-               addr_t pfn = *(uint32_t *)src;
-               addr_t page_addr = (pfn << VIRTIO_PAGE_SHIFT);
-
-               uint16_t queue_idx = virtio->virtio_cfg.vring_queue_selector;
-               switch (queue_idx) {
-                   case 0:
-                       virtio_setup_queue(virtio, &virtio->rx_vq, pfn, page_addr);
-                       break;
-                  case 1:
-                       virtio_setup_queue(virtio, &virtio->tx_vq, pfn, page_addr);
-                        break;
-                   case 2:
-                        virtio_setup_queue(virtio, &virtio->ctrl_vq, pfn, page_addr);
-                        break;
-
-                   default:
-                        break;
-               }
-           } else {
+
+           if (length != 4) {
                PrintError("Illegal write length for page frame number\n");
                return -1;
            }
+
+           addr_t pfn = *(uint32_t *)src;
+           addr_t page_addr = (pfn << VIRTIO_PAGE_SHIFT);
+           uint16_t queue_idx = virtio->virtio_cfg.vring_queue_selector;
+
+           switch (queue_idx) {
+               case 0:
+                   virtio_setup_queue(virtio, &virtio->rx_vq, pfn, page_addr);
+                   break;
+               case 1:
+                   virtio_setup_queue(virtio, &virtio->tx_vq, pfn, page_addr);
+                   break;
+               case 2:
+                   virtio_setup_queue(virtio, &virtio->ctrl_vq, pfn, page_addr);
+                   break;
+                   
+               default:
+                   break;
+           }
+           
            break;
        case VRING_Q_SEL_PORT:
            virtio->virtio_cfg.vring_queue_selector = *(uint16_t *)src;
@@ -507,27 +548,31 @@ static int virtio_io_write(uint16_t port, void * src, uint_t length, void * priv
            }
 
            break;
-       case VRING_Q_NOTIFY_PORT:
-           PrintDebug("Handling Kick\n");
-           uint16_t queue_idx = *(uint16_t *)src;
-           if (queue_idx == 0){
-                   PrintError("receive queue notification\n");
-           }else if (queue_idx == 1){
+       case VRING_Q_NOTIFY_PORT: 
+           {
+               uint16_t queue_idx = *(uint16_t *)src;     
+               
+               //PrintDebug("Handling Kick\n");
+               
+               if (queue_idx == 0){
+                   PrintDebug("receive queue notification 0, packet get by Guest\n");
+               } else if (queue_idx == 1){
                    if (handle_pkt_tx(virtio) == -1) {
                        PrintError("Could not handle NIC Notification\n");
                        return -1;
                    }
-           }else if (queue_idx == 2){
+               } else if (queue_idx == 2){
                    if (handle_ctrl(virtio) == -1) {
                        PrintError("Could not handle NIC Notification\n");
                        return -1;
                    }
-           }else {
-               PrintError("Virtio NIC device only uses 3 queue, selected %d\n", 
-                          queue_idx);
+               } else {
+                   PrintError("Virtio NIC device only uses 3 queue, selected %d\n", 
+                              queue_idx);
+               }
+               
+               break;          
            }
-           
-           break;
        case VIRTIO_STATUS_PORT:
            virtio->virtio_cfg.status = *(uint8_t *)src;
 
@@ -557,7 +602,7 @@ static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * priva
     int port_idx = port % virtio->io_range_size;
     uint16_t queue_idx = virtio->virtio_cfg.vring_queue_selector;
 
-    PrintDebug("VIRTIO NIC Read  for port %d (index =%d), length=%d", 
+    PrintDebug("Virtio NIC %p: Read  for port %d (index =%d), length=%d", private_data,
               port, port_idx, length);
        
     switch (port_idx) {
@@ -569,7 +614,7 @@ static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * priva
 
            *(uint32_t *)dst = virtio->virtio_cfg.host_features;
 
-           PrintDebug("value=0x%x\n", (int)*(uint32_t *)dst);
+           PrintDebug("value=0x%x\n", *(uint32_t *)dst);
        
            break;
        case VRING_PG_NUM_PORT:
@@ -581,21 +626,23 @@ static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * priva
 
            switch (queue_idx) {
                case 0:
-                     *(uint32_t *)dst = virtio->rx_vq.pfn;
-                       break;
-                case 1:
-                     *(uint32_t *)dst = virtio->tx_vq.pfn;
-                       break;  
-                case 2:
-                     *(uint32_t *)dst = virtio->ctrl_vq.pfn;
-                       break;
-                default:
-                       break;
-           }
-           PrintDebug(", value=0x%x\n", (int)*(uint32_t *)dst);
+                   *(uint32_t *)dst = virtio->rx_vq.pfn;
+                   break;
+               case 1:
+                   *(uint32_t *)dst = virtio->tx_vq.pfn;
+                   break;      
+               case 2:
+                   *(uint32_t *)dst = virtio->ctrl_vq.pfn;
+                   break;
+               default:
+                   break;
+           }
+
+           PrintDebug(", value=0x%x\n", *(uint32_t *)dst);
 
            break;
        case VRING_SIZE_PORT:
+
            if (length != 2) {
                PrintError("Illegal read length for vring size\n");
                return -1;
@@ -603,22 +650,23 @@ static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * priva
 
            switch (queue_idx) {
                case 0:
-                     *(uint16_t *)dst = virtio->rx_vq.queue_size;
-                       break;
-                case 1:
-                     *(uint16_t *)dst = virtio->tx_vq.queue_size;
-                       break;  
-                case 2:
-                     *(uint16_t *)dst = virtio->ctrl_vq.queue_size;
-                       break;
-                default:
-                       break;
-           }
-
-           PrintDebug("queue index: %d, value=0x%x\n", (int)queue_idx, (int)(int)*(uint16_t *)dst);
+                   *(uint16_t *)dst = virtio->rx_vq.queue_size;
+                   break;
+               case 1:
+                   *(uint16_t *)dst = virtio->tx_vq.queue_size;
+                   break;      
+               case 2:
+                   *(uint16_t *)dst = virtio->ctrl_vq.queue_size;
+                   break;
+               default:
+                   break;
+           }
+
+           PrintDebug("queue index: %d, value=0x%x\n", (int)queue_idx, *(uint16_t *)dst);
 
            break;
        case VIRTIO_STATUS_PORT:
+
            if (length != 1) {
                PrintError("Illegal read length for status\n");
                return -1;
@@ -626,7 +674,7 @@ static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * priva
 
            *(uint8_t *)dst = virtio->virtio_cfg.status;
 
-           PrintDebug(", value=0x%x\n", (int)*(uint8_t *)dst);
+           PrintDebug(", value=0x%x\n", *(uint8_t *)dst);
            break;
 
        case VIRTIO_ISR_PORT:
@@ -634,13 +682,13 @@ static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * priva
            virtio->virtio_cfg.pci_isr = 0;
            v3_pci_lower_irq(virtio->virtio_dev->pci_bus, 0, virtio->pci_dev);
 
-           PrintDebug(", value=0x%x\n", (int)*(uint8_t *)dst);
+           PrintDebug(", value=0x%x\n", *(uint8_t *)dst);
                
            break;
 
        default:
-           PrintError("Read of Unhandled Virtio Read\n");
-           return -1;
+           PrintError("Virtio NIC: Read of Unhandled Virtio Read\n");
+           return -1;
     }
 
     return length;
@@ -698,11 +746,11 @@ static int register_dev(struct virtio_dev_state * virtio, struct virtio_net_stat
                                     NULL, NULL, NULL, net_state);
     
     if (!pci_dev) {
-       PrintError("Could not register PCI Device\n");
+       PrintError("Virtio NIC: Could not register PCI Device\n");
        return -1;
     }
 
-    PrintDebug("Virtio-NIC registered to PCI bus\n");
+    PrintDebug("Virtio NIC:  registered to PCI bus\n");
     
     pci_dev->config_header.vendor_id = VIRTIO_VENDOR_ID;
     pci_dev->config_header.subsystem_vendor_id = VIRTIO_SUBVENDOR_ID;
@@ -741,11 +789,10 @@ static int connect_fn(struct guest_info * info,
                      void * frontend_data, 
                      struct v3_dev_net_ops * ops, 
                      v3_cfg_tree_t * cfg, 
-                     void * private_data) 
-{
+                     void * private_data) {
     struct virtio_dev_state * virtio = (struct virtio_dev_state *)frontend_data;
-
     struct virtio_net_state * net_state  = (struct virtio_net_state *)V3_Malloc(sizeof(struct virtio_net_state));
+
     memset(net_state, 0, sizeof(struct virtio_net_state));
 
     register_dev(virtio, net_state);
@@ -756,78 +803,88 @@ static int connect_fn(struct guest_info * info,
     return 0;
 }
 
+#if 1 
+//temporary interface between Virtio-NIC and Vnet
+//Treat vnet as backend, and virtio nic as frontend
 
-struct net_frontend {
-    int (*connect)(struct guest_info * info, 
-                   void * frontend_data, 
-                   struct v3_dev_net_ops * ops, 
-                   v3_cfg_tree_t * cfg, 
-                   void * priv_data);
-       
-
-    struct list_head net_node;
+//used when virtio_nic get a packet from guest and send it to the backend
+// send packet to all of the virtio nic devices other than the sender
+static int vnet_send(uint8_t * buf, uint32_t len, void * private_data, struct vm_device *dest_dev){
 
-    void * priv_data;
-};
+    PrintDebug("Virito NIC: In vnet_send: guest net state %p\n", private_data);
 
+#ifdef CONFIG_DEBUG_VIRTIO_NET
+    print_packet(buf, len);
+#endif
 
-int v3_dev_add_net_frontend(struct guest_info * info, 
-                           char * name, 
-                           int (*connect)(struct guest_info * info, 
-                                           void * frontend_data, 
-                                           struct v3_dev_net_ops * ops, 
-                                           v3_cfg_tree_t * cfg, 
-                                           void * private_data), 
-                           void * priv_data)
-{
-    struct net_frontend * frontend = NULL;
+    v3_vnet_send_rawpkt(buf, len, private_data);
+    return 0;
+}
 
-    frontend = (struct net_frontend *)V3_Malloc(sizeof(struct net_frontend));
-    memset(frontend, 0, sizeof(struct net_frontend));
-    
-    frontend->connect = connect;
-    frontend->priv_data = priv_data;
-       
-    list_add(&(frontend->net_node), &(info->dev_mgr.net_list));
-    v3_htable_insert(info->dev_mgr.net_table, (addr_t)(name), (addr_t)frontend);
+//used to send packet to guest by a virtio nic
+static int vnet_receive(uint8_t * buf, uint32_t count, void * private_data, struct vm_device *src_dev){
 
     return 0;
 }
 
+static int virtio_input(uchar_t * buf, uint_t len, void * private_data){
+    PrintDebug("Virito NIC: In virtio_input: guest net state %p\n", private_data);
 
-int v3_dev_connect_net(struct guest_info * info, 
-                      char * frontend_name, 
-                      struct v3_dev_net_ops * ops, 
-                      v3_cfg_tree_t * cfg, 
-                      void * private_data)
-{
-    struct net_frontend * frontend = NULL;
+#ifdef CONFIG_DEBUG_VIRTIO_NET
+    print_packet(buf, len);
+#endif
 
-    frontend = (struct net_frontend *)v3_htable_search(info->dev_mgr.net_table,
-                                                      (addr_t)frontend_name);
-    
-    if (frontend == NULL) {
-       PrintError("Could not find frontend net device %s\n", frontend_name);
-       return 0;
-    }
+    return __virtio_dev_send(buf, len, private_data);
+}
 
-    if (frontend->connect(info, frontend->priv_data, ops, cfg, private_data) == -1) {
-       PrintError("Error connecting to net frontend %s\n", frontend_name);
-       return -1;
-    }
 
-    return 0;
+//register a virtio device to the vnet as backend
+void register_virtio_to_vnet(struct vm_device  *dev, 
+                                               char *dev_name,
+                                               uchar_t mac[6]){
+    struct virtio_net_state * net_state  = (struct virtio_net_state *)V3_Malloc(sizeof(struct virtio_net_state));
+    memset(net_state, 0, sizeof(struct virtio_net_state));
+
+    struct virtio_dev_state *virtio_state =  (struct virtio_dev_state *)dev->private_data;
+
+    net_state->net_ops = (struct v3_dev_net_ops *)V3_Malloc(sizeof(struct v3_dev_net_ops));
+
+    net_state->net_ops->send = &vnet_send;
+    net_state->net_ops->receive = &vnet_receive;
+
+    register_dev(virtio_state, net_state);
+       
+    PrintDebug("Virtio NIC After register Device %s: queue size: %d, %d\n", dev->name,
+              net_state->rx_vq.queue_size, net_state->tx_vq.queue_size);
+
+    PrintDebug("VNET: connect virtio nic state %p to vnet\n", net_state);
+
+    //add a device link to link table
+    int idx = vnet_register_device(dev, dev_name, mac, &virtio_input, net_state);
+
+    uchar_t srcmac[6] = {0x00,0x02,0x55,0x67,0x42,0x39};
+    uchar_t dstmac[6] = {0xff,0xff,0xff,0xff,0xff,0xff};
+    uchar_t zeromac[6] = {0,0,0,0,0,0};
+
+    vnet_add_route_entry(zeromac, dstmac, MAC_ANY, MAC_NONE, idx, LINK_INTERFACE, -1, LINK_INTERFACE);
+    if (idx == 0)
+       vnet_add_route_entry(zeromac, srcmac, MAC_ANY, MAC_NONE, idx, LINK_INTERFACE, -1, LINK_INTERFACE);
+    if (idx == 1)
+       vnet_add_route_entry(srcmac, zeromac, MAC_NONE, MAC_ANY, idx, LINK_INTERFACE, -1, LINK_INTERFACE);
+               
 }
 
+#endif
+
 static int virtio_init(struct guest_info * vm, v3_cfg_tree_t * cfg) {
     struct vm_device * pci_bus = v3_find_dev(vm, v3_cfg_val(cfg, "bus"));
     struct virtio_dev_state * virtio_state = NULL;
     char * name = v3_cfg_val(cfg, "name");
 
-    PrintDebug("Initializing VIRTIO Network device\n");
+    PrintDebug("Virtio NIC: Initializing VIRTIO Network device: %s\n", name);
 
     if (pci_bus == NULL) {
-       PrintError("VirtIO devices require a PCI Bus");
+       PrintError("Virtio NIC: VirtIO devices require a PCI Bus");
        return -1;
     }
 
@@ -840,19 +897,19 @@ static int virtio_init(struct guest_info * vm, v3_cfg_tree_t * cfg) {
 
     struct vm_device * dev = v3_allocate_device(name, &dev_ops, virtio_state);
     if (v3_attach_device(vm, dev) == -1) {
-       PrintError("Could not attach device %s\n", name);
+       PrintError("Virtio NIC: Could not attach device %s\n", name);
        return -1;
     }
 
     if (v3_dev_add_net_frontend(vm, name, connect_fn, (void *)virtio_state) == -1) {
-       PrintError("Could not register %s as net frontend\n", name);
+       PrintError("Virtio NIC: Could not register %s as net frontend\n", name);
        return -1;
     }
 
 
     //for temporary testing, add a backend
-    #if 1
-   
+#if 0
+       
     struct virtio_net_state * net_state  = (struct virtio_net_state *)V3_Malloc(sizeof(struct virtio_net_state));
     memset(net_state, 0, sizeof(struct virtio_net_state));
 
@@ -863,12 +920,22 @@ static int virtio_init(struct guest_info * vm, v3_cfg_tree_t * cfg) {
 
     register_dev(virtio_state, net_state);
        
-    PrintDebug("Virtio NIC After register Device: queue size: %d, %d\n", 
+    PrintDebug("Virtio NIC After register Device %s: queue size: %d, %d\n", dev->name,
               net_state->rx_vq.queue_size, net_state->tx_vq.queue_size);
 
+    temp_net_states[net_idx ++] = net_state;
+
+    PrintDebug("Net_states: 0: %p, 1: %p, 2: %p\n", temp_net_states[0], temp_net_states[1], temp_net_states[2]);
+
+#endif
+
+#if 1  //test interface between vnet & virtio-nic
 
-    #endif
+    uchar_t mac[6] = {0,0,0,0,0,0};
+    register_virtio_to_vnet(dev, name,mac);
 
+#endif
+       
     return 0;
 }