Palacios Public Git Repository

To checkout Palacios execute

  git clone http://v3vee.org/palacios/palacios.web/palacios.git
This will give you the master branch. You probably want the devel branch or one of the release branches. To switch to the devel branch, simply execute
  cd palacios
  git checkout --track -b devel origin/devel
The other branches are similar.


Add lock to vmm_queue
[palacios.git] / palacios / src / devices / lnx_virtio_nic.c
index 317837d..e83a199 100644 (file)
@@ -7,13 +7,13 @@
  * and the University of New Mexico.  You can find out more at 
  * http://www.v3vee.org
  *
- * Copyright (c) 2008, Jack Lange <jarusl@cs.northwestern.edu>
  * Copyright (c) 2008, Lei Xia <lxia@northwestern.edu>
+ * Copyright (c) 2008, Cui Zheng <cuizheng@cs.unm.edu>
  * Copyright (c) 2008, The V3VEE Project <http://www.v3vee.org> 
  * All rights reserved.
  *
- * Author: Jack Lange <jarusl@cs.northwestern.edu>
- *               Lei Xia <lxia@northwestern.edu>
+ * Author: Lei Xia <lxia@northwestern.edu>
+ *             Cui Zheng <cuizheng@cs.unm.edu>
  *              
  *
  * This is free software.  You are permitted to use,
 #include <palacios/vmm.h>
 #include <palacios/vmm_dev_mgr.h>
 #include <devices/lnx_virtio_pci.h>
-#include <devices/lnx_virtio_nic.h>
 #include <palacios/vm_guest_mem.h>
+#include <palacios/vmm_sprintf.h>
+#include <palacios/vmm_vnet.h>
+#include <palacios/vmm_lock.h>
 
 #include <devices/pci.h>
 
 
-#ifndef CONFIG_DEBUG_VIRTIO_BLK
+#ifndef CONFIG_DEBUG_VIRTIO_NET
 #undef PrintDebug
 #define PrintDebug(fmt, args...)
 #endif
 
-#define NIC_STATUS_OK             0
-#define NIC_STATUS_ERR            1
-#define NIC_STATUS_NOT_SUPPORTED  2
-
-
-/* The feature bitmap for virtio net */
-#define VIRTIO_NET_F_CSUM      0       /* Host handles pkts w/ partial csum */
-#define VIRTIO_NET_F_GUEST_CSUM        1       /* Guest handles pkts w/ partial csum */
-#define VIRTIO_NET_F_MAC       5       /* Host has given MAC address. */
-#define VIRTIO_NET_F_GSO       6       /* Host handles pkts w/ any GSO type */
-#define VIRTIO_NET_F_GUEST_TSO4        7       /* Guest can handle TSOv4 in. */
-#define VIRTIO_NET_F_GUEST_TSO6        8       /* Guest can handle TSOv6 in. */
-#define VIRTIO_NET_F_GUEST_ECN 9       /* Guest can handle TSO[6] w/ ECN in. */
-#define VIRTIO_NET_F_GUEST_UFO 10      /* Guest can handle UFO in. */
-#define VIRTIO_NET_F_HOST_TSO4 11      /* Host can handle TSOv4 in. */
-#define VIRTIO_NET_F_HOST_TSO6 12      /* Host can handle TSOv6 in. */
-#define VIRTIO_NET_F_HOST_ECN  13      /* Host can handle TSO[6] w/ ECN in. */
-#define VIRTIO_NET_F_HOST_UFO  14      /* Host can handle UFO in. */
-#define VIRTIO_NET_F_MRG_RXBUF 15      /* Host can merge receive buffers. */
-#define VIRTIO_NET_F_STATUS    16      /* virtio_net_config.status available */
-#define VIRTIO_NET_F_CTRL_VQ   17      /* Control channel available */
-#define VIRTIO_NET_F_CTRL_RX   18      /* Control channel RX mode support */
-#define VIRTIO_NET_F_CTRL_VLAN 19      /* Control channel VLAN filtering */
-#define VIRTIO_NET_F_CTRL_RX_EXTRA 20  /* Extra RX mode control support */
-#define VIRTIO_NET_S_LINK_UP   1       /* Link is up */
+//#define VIRTIO_NIC_PROFILE
 
-/* Maximum packet size we can receive from tap device: header + 64k */
+#define VIRTIO_NET_S_LINK_UP   1       /* Link is up */
 #define VIRTIO_NET_MAX_BUFSIZE (sizeof(struct virtio_net_hdr) + (64 << 10))
 
-
 struct virtio_net_hdr {
-#define VIRTIO_NET_HDR_F_NEEDS_CSUM    1       /* Use csum_start, csum_offset */
        uint8_t flags;
 
 #define VIRTIO_NET_HDR_GSO_NONE                0       /* Not a GSO frame */
-#define VIRTIO_NET_HDR_GSO_TCPV4       1       /* GSO frame, IPv4 TCP (TSO) */
-#define VIRTIO_NET_HDR_GSO_UDP         3       /* GSO frame, IPv4 UDP (UFO) */
-#define VIRTIO_NET_HDR_GSO_TCPV6       4       /* GSO frame, IPv6 TCP */
-#define VIRTIO_NET_HDR_GSO_ECN         0x80    /* TCP has ECN set */
        uint8_t gso_type;
-
        uint16_t hdr_len;               /* Ethernet + IP + tcp/udp hdrs */
        uint16_t gso_size;              /* Bytes to append to hdr_len per frame */
        uint16_t csum_start;    /* Position to start checksumming from */
@@ -82,45 +53,89 @@ struct virtio_net_hdr {
 }__attribute__((packed));
 
        
-
-
-#define QUEUE_SIZE 256
+#define QUEUE_SIZE 4096
 #define CTRL_QUEUE_SIZE 64
-
-
-struct v3_net_ops {
-    int (*send)(uint8_t * buf, uint32_t count, void * private_data);
-    int (*receive)(uint8_t * buf, uint32_t count, void * private_data);
-};
-
-
 #define ETH_ALEN 6
 
 struct virtio_net_config
 {
-    uint8_t mac[ETH_ALEN];
-    // See VIRTIO_NET_F_STATUS and VIRTIO_NET_S_* above
+    uint8_t mac[ETH_ALEN]; //VIRTIO_NET_F_MAC
     uint16_t status;
 } __attribute__((packed));
 
+struct virtio_dev_state {
+    struct vm_device * pci_bus;
+    struct list_head dev_list;
+    struct guest_info * vm;
+};
+
 struct virtio_net_state {
     struct virtio_net_config net_cfg;
     struct virtio_config virtio_cfg;
 
-    struct vm_device * pci_bus;
-    struct pci_device * pci_dev;
+    struct vm_device * dev;
+    struct pci_device * pci_dev; 
+    int io_range_size;
     
     struct virtio_queue rx_vq;   //index 0, rvq in Linux virtio driver, handle packet to guest
     struct virtio_queue tx_vq;   //index 1, svq in Linux virtio driver, handle packet from guest
     struct virtio_queue ctrl_vq; //index 2, ctrol info from guest
 
-    struct v3_net_ops * net_ops;
+    ulong_t pkt_sent, pkt_recv, pkt_drop;
+    struct gen_queue * inpkt_q;
 
-    int io_range_size;
+    struct v3_dev_net_ops * net_ops;
 
-    void *private_data;
+    void * backend_data;
+    struct virtio_dev_state * virtio_dev;
+    struct list_head dev_link;
 };
 
+struct eth_pkt {
+    uint32_t size; //size of data
+    char data[ETHERNET_PACKET_LEN];
+}__attribute__((packed));
+
+//temporary store all of the virtio states
+static struct virtio_net_state *temp_net_states[4]; 
+static int net_idx = 0;
+
+#if 0
+//Temporarly for debug
+
+static struct virtio_net_state *temp_net_states[3]; 
+static int net_idx = 0;
+
+static int __virtio_dev_send(uchar_t * buf, uint32_t size, void *private_data);
+
+static int send(uint8_t * buf, uint32_t count, void * private_data, struct vm_device *dest_dev)
+{
+   PrintDebug("Virito NIC: In sending stub, guest %p, count %d\n", private_data, count);
+
+#ifdef CONFIG_DEBUG_VIRTIO_NET
+   print_packet(buf, 20);
+#endif
+
+   struct virtio_net_state *virtio_state = (struct virtio_net_state *)private_data;
+
+   if (virtio_state == temp_net_states[0])
+       __virtio_dev_send(buf, count, temp_net_states[1]);
+   if (virtio_state == temp_net_states[1]){ //return a RARP packet
+       __virtio_dev_send(buf, count, temp_net_states[0]);
+   }
+   
+   return count;
+}
+
+static int receive(uint8_t * buf, uint32_t count, void * private_data, struct vm_device *src_dev)
+{
+    PrintDebug("Virito NIC: In receiveing stub\n");
+
+    return 0;
+}
+
+#endif
 
 static int virtio_free(struct vm_device * dev) 
 {
@@ -128,10 +143,8 @@ static int virtio_free(struct vm_device * dev)
     return -1;
 }
 
-static int virtio_reset(struct vm_device * dev) 
+static int virtio_init_state(struct virtio_net_state * virtio) 
 {
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;
-
     virtio->rx_vq.ring_desc_addr = 0;
     virtio->rx_vq.ring_avail_addr = 0;
     virtio->rx_vq.ring_used_addr = 0;
@@ -150,98 +163,236 @@ static int virtio_reset(struct vm_device * dev)
     virtio->ctrl_vq.pfn = 0;
     virtio->ctrl_vq.cur_avail_idx = 0;
 
-    virtio->virtio_cfg.status = VIRTIO_NET_S_LINK_UP;
+    virtio->virtio_cfg.host_features = 0;
+    //virtio->virtio_cfg.status = VIRTIO_NET_S_LINK_UP;
     virtio->virtio_cfg.pci_isr = 0;
-    virtio->private_data = NULL;
+
+    virtio->pkt_sent = virtio->pkt_recv = virtio->pkt_drop = 0;
+
+    virtio->inpkt_q = v3_create_queue();
+    v3_init_queue(virtio->inpkt_q);
 
     return 0;
 }
 
-static int read_op(struct vm_device * dev, uint8_t * buf, uint32_t len) 
+
+//sending guest's packet to network sink
+static int pkt_write(struct virtio_net_state * virtio, struct vring_desc * buf_desc) 
 {
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data; 
-    int ret = -1;
+    //struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data; 
+    uint8_t * buf = NULL;
+    uint32_t len = buf_desc->length;
 
-    PrintDebug("Receving pkt from guest\n");
+    PrintDebug("Virtio NIC: Handling Virtio Write, net_state: %p\n", virtio);
 
-    ret = virtio->net_ops->receive(buf, len, virtio->private_data);
-    return ret;
-}
+    if (guest_pa_to_host_va(virtio->virtio_dev->vm, buf_desc->addr_gpa, (addr_t *)&(buf)) == -1) {
+       PrintError("Could not translate buffer address\n");
+       return -1;
+    }
 
+    if (virtio->net_ops->send(buf, len, (void *)virtio, NULL) == -1) {
+       return -1;
+    }
 
-static int write_op(struct vm_device *dev, uint8_t *buf, uint32_t len) 
-{
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data; 
-    int ret = -1;
+    return 0;
+}
 
-    PrintDebug("Receving pkt from guest\n");
 
-    ret = virtio->net_ops->send(buf, len, virtio->private_data);
+static int build_receive_header(struct virtio_net_hdr * hdr, const void * buf, int raw) {
+    hdr->flags = 0;
+
+    if (!raw) {
+        memcpy(hdr, buf, sizeof(struct virtio_net_hdr));
+    } else {
+        memset(hdr, 0, sizeof(struct virtio_net_hdr));
+    }
 
-    return ret;
+    return 0;
 }
 
 
 //sending guest's packet to network sink
-static int handle_pkt_write(struct vm_device *dev, struct virtio_net_hdr *hdr, 
-                          struct vring_desc *buf_desc, uint8_t *status) 
+static int copy_data_to_desc(struct virtio_net_state * virtio_state, struct vring_desc * desc, uchar_t * buf, uint_t buf_len) 
 {
-    //struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;    
-    uint8_t * buf = NULL;
-
-    PrintDebug("Handling Virtio Net write\n");
+    uint32_t len;
+    uint8_t * desc_buf = NULL;
 
-    if (guest_pa_to_host_va(dev->vm, buf_desc->addr_gpa, (addr_t *)&(buf)) == -1) {
+    if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, desc->addr_gpa, (addr_t *)&(desc_buf)) == -1) {
        PrintError("Could not translate buffer address\n");
        return -1;
     }
+    len = (desc->length < buf_len)?desc->length:buf_len;
+    memcpy(desc_buf, buf, len);
+
+    return len;
+}
+
+
+//send data to guest
+static int send_pkt_to_guest(struct virtio_net_state * virtio, uchar_t * buf, uint_t size, int raw, void * private_data) 
+{
+    struct virtio_queue * q = &(virtio->rx_vq);
+    struct virtio_net_hdr hdr;
+    uint32_t hdr_len = sizeof(struct virtio_net_hdr);
+    uint32_t data_len = size;
+    uint32_t offset = 0;
+       
+    PrintDebug("VIRTIO NIC:  sending packet to virtio nic %p, size:%d", virtio, size);
+
+    virtio->pkt_recv ++;
+    if (!raw) {
+       data_len -= hdr_len;
+    }
 
-    PrintDebug("Length=%d\n", buf_desc->length);
+    build_receive_header(&hdr, buf, 1);
 
-    if (write_op(dev, buf, buf_desc->length) == -1) {
-       *status = NIC_STATUS_ERR;
+    if (q->ring_avail_addr == 0) {
+       PrintError("Queue is not set\n");
        return -1;
+    }
+
+    if (q->last_avail_idx > q->avail->index)
+       q->idx_overflow = true;
+    q->last_avail_idx = q->avail->index;
+
+    if (q->cur_avail_idx < q->avail->index || (q->idx_overflow && q->cur_avail_idx < q->avail->index+65536)){
+       addr_t hdr_addr = 0;
+       uint16_t hdr_idx = q->avail->ring[q->cur_avail_idx % q->queue_size];
+       uint16_t buf_idx = 0;
+       struct vring_desc * hdr_desc = NULL;
+
+       hdr_desc = &(q->desc[hdr_idx]);
+       if (guest_pa_to_host_va(virtio->virtio_dev->vm, hdr_desc->addr_gpa, &(hdr_addr)) == -1) {
+           PrintError("Could not translate receive buffer address\n");
+           return -1;
+       }
+
+       memcpy((void *)hdr_addr, &hdr, sizeof(struct virtio_net_hdr));
+       if (offset >= data_len) {
+           hdr_desc->flags &= ~VIRTIO_NEXT_FLAG;
+       }
+
+       for (buf_idx = hdr_desc->next; offset < data_len; buf_idx = q->desc[hdr_idx].next) {
+           struct vring_desc * buf_desc = &(q->desc[buf_idx]);
+           uint32_t len = 0;
+
+           len = copy_data_to_desc(virtio, buf_desc, buf + offset, data_len - offset);     
+           offset += len;
+           if (offset < data_len) {
+               buf_desc->flags = VIRTIO_NEXT_FLAG;             
+           }
+           buf_desc->length = len;
+       }
+       
+       q->used->ring[q->used->index % q->queue_size].id = q->avail->ring[q->cur_avail_idx % q->queue_size];
+       q->used->ring[q->used->index % q->queue_size].length = data_len + hdr_len; // This should be the total length of data sent to guest (header+pkt_data)
+       q->used->index++;
+
+       int last_idx = q->cur_avail_idx;
+       q->cur_avail_idx++;
+       if (q->cur_avail_idx < last_idx)
+           q->idx_overflow = false;
     } else {
-       *status = NIC_STATUS_OK;
+       virtio->pkt_drop++;
+
+#ifdef VIRTIO_NIC_PROFILE
+       PrintError("Virtio NIC: %p, one pkt dropped receieved: %ld, dropped: %ld, sent: %ld curidx: %d, avaiIdx: %d\n", 
+               virtio, virtio->pkt_recv, virtio->pkt_drop, virtio->pkt_sent, q->cur_avail_idx, q->avail->index);
+#endif
     }
 
-    PrintDebug("Returning Status: %d\n", *status);
+    if (!(q->avail->flags & VIRTIO_NO_IRQ_FLAG)) {
+       PrintDebug("Raising IRQ %d\n",  virtio->pci_dev->config_header.intr_line);
+       v3_pci_raise_irq(virtio->virtio_dev->pci_bus, 0, virtio->pci_dev);
+       virtio->virtio_cfg.pci_isr = 0x1;
+    }
 
-    return 0;
+#ifdef VIRTIO_NIC_PROFILE
+    if ((virtio->pkt_recv % 10000) == 0){
+       PrintError("Virtio NIC: %p, receieved: %ld, dropped: %ld, sent: %ld\n", 
+               virtio, virtio->pkt_recv, virtio->pkt_drop, virtio->pkt_sent);
+    }
+#endif
+
+    
+    return offset;
 }
 
 
+// TODO: 
+int virtio_send(struct guest_info * vm, char *dev_name, uchar_t * buf, uint_t size) {
+    struct vm_device * virtio_dev = v3_find_dev(vm, dev_name);
 
-//get packet from network, and send to guest
-static int handle_pkt_read(struct vm_device *dev, struct virtio_net_hdr *hdr, 
-                          struct vring_desc *buf_desc, uint8_t *status) 
-{
-    //struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;    
-    uint8_t * buf = NULL;
+    // TODO: how to get virtio net state from device??
+    struct virtio_net_state * virtio_state = (struct virtio_net_state *)virtio_dev->private_data;
+       
+    return send_pkt_to_guest(virtio_state, buf, size, 1, NULL);
+}
 
-    PrintDebug("Handling Virtio Net read\n");
 
-    if (guest_pa_to_host_va(dev->vm, buf_desc->addr_gpa, (addr_t *)&(buf)) == -1) {
-       PrintError("Could not translate buffer address\n");
-       return -1;
+int __virtio_sendto_buf(struct virtio_net_state * net_state, uchar_t * buf, uint_t size) {
+    struct eth_pkt *pkt;
+
+    pkt = (struct eth_pkt *)V3_Malloc(sizeof(struct eth_pkt));
+    if(pkt == NULL){
+        PrintError("Virtio NIC: Memory allocate fails\n");
+        return -1;
     }
+  
+    pkt->size = size;
+    memcpy(pkt->data, buf, size);
+    v3_enqueue(net_state->inpkt_q, (addr_t)pkt);
+       
+    PrintDebug("Virtio NIC: __virtio_sendto_buf: transmitting packet: (size:%d)\n", (int)pkt->size);
 
-    PrintDebug("Length=%d\n", buf_desc->length);
+    return pkt->size;
+}
 
-    if (read_op(dev, buf, buf_desc->length) == -1) {
-       *status = NIC_STATUS_ERR;
-       return -1;
-    } else {
-       *status = NIC_STATUS_OK;
-    }
 
-    PrintDebug("Returning Status: %d\n", *status);
+static int __virtio_dev_send(uchar_t * buf, uint32_t size, void *private_data) {
+    struct virtio_net_state *virtio_state = (struct virtio_net_state *)private_data;
+       
+    return __virtio_sendto_buf(virtio_state, buf, size);
+}
 
+/*
+  *called in svm/vmx handler
+  *iteative handled the unsent packet in incoming packet queues for
+  *all virtio nic devices in this guest
+  */
+int v3_virtionic_pktprocess(struct guest_info * info)
+{
+    struct eth_pkt *pkt = NULL;
+    struct virtio_net_state *net_state;
+    int i;
+
+    for (i = 0; i < net_idx; i++) {
+        while (1) {
+            net_state = temp_net_states[i];
+            if(net_state->dev->vm != info)
+                break;
+
+            pkt = (struct eth_pkt *)v3_dequeue(net_state->inpkt_q);
+            if(pkt == NULL) 
+                break;
+                       
+            if (send_pkt_to_guest(net_state, pkt->data, pkt->size, 1, NULL)) {
+                PrintDebug("Virtio NIC: %p In pkt_handle: send one packet! pt length %d\n", 
+                               net_state, (int)pkt->size);  
+            } else {
+                PrintDebug("Virtio NIC: %p In pkt_handle: Fail to send one packet, pt length %d, discard it!\n", 
+                               net_state, (int)pkt->size); 
+            }
+       
+            V3_Free(pkt);
+        }
+    }
+    
     return 0;
 }
 
-static int get_desc_count(struct virtio_queue * q, int index) 
-{
+
+static int get_desc_count(struct virtio_queue * q, int index) {
     struct vring_desc * tmp_desc = &(q->desc[index]);
     int cnt = 1;
     
@@ -254,249 +405,189 @@ static int get_desc_count(struct virtio_queue * q, int index)
 }
 
 
-static int handle_ctrl(struct vm_device * dev) {
-
-
-    return 0;
-}
-
-// TODO: handle receiving, not done yet
-//send packet to guest
-static int handle_pkt_rx(struct vm_device * dev) 
-{
-
-    if (handle_pkt_read(dev, NULL, 0, NULL) == -1) {
-               PrintError("Error handling nic operation\n");
-               return -1;
-           }
-
+static int handle_ctrl(struct virtio_net_state * dev) {
     return 0;
 }
 
 //get packet from guest
-static int handle_pkt_tx(struct vm_device * dev) 
+static int handle_pkt_tx(struct virtio_net_state * virtio_state) 
 {
-    struct virtio_net_state *virtio = (struct virtio_net_state *)dev->private_data;    
-    struct virtio_queue *q = &(virtio->rx_vq);
+    struct virtio_queue * q = &(virtio_state->tx_vq);
+    struct virtio_net_hdr * hdr = NULL;
 
-    PrintDebug("VIRTIO NIC KICK: cur_index=%d (mod=%d), avail_index=%d\n", 
-              q->cur_avail_idx, q->cur_avail_idx % QUEUE_SIZE, q->avail->index);
+    if (q->avail->index < q->last_avail_idx)
+       q->idx_overflow = true;
+    q->last_avail_idx = q->avail->index;
 
-    while (q->cur_avail_idx < q->avail->index) {
+    while (q->cur_avail_idx < q->avail->index || 
+                (q->idx_overflow && q->cur_avail_idx < (q->avail->index + 65536))) {
        struct vring_desc * hdr_desc = NULL;
-       struct vring_desc * buf_desc = NULL;
-       struct vring_desc * status_desc = NULL;
-       struct virtio_net_hdr hdr;
        addr_t hdr_addr = 0;
-       uint16_t desc_idx = q->avail->ring[q->cur_avail_idx % QUEUE_SIZE];
+       uint16_t desc_idx = q->avail->ring[q->cur_avail_idx % q->queue_size];
        int desc_cnt = get_desc_count(q, desc_idx);
-       int i = 0;
-       uint8_t * status_ptr = NULL;
-       uint8_t status = NIC_STATUS_OK;
        uint32_t req_len = 0;
-
-       PrintDebug("Descriptor Count=%d, index=%d\n", desc_cnt, q->cur_avail_idx % QUEUE_SIZE);
+       int i = 0;
 
        hdr_desc = &(q->desc[desc_idx]);
-
-       PrintDebug("Header Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", hdr_desc, 
-                  (void *)(hdr_desc->addr_gpa), hdr_desc->length, hdr_desc->flags, hdr_desc->next);    
-
-       if (guest_pa_to_host_va(dev->vm, hdr_desc->addr_gpa, &(hdr_addr)) == -1) {
+       if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, hdr_desc->addr_gpa, &(hdr_addr)) == -1) {
            PrintError("Could not translate block header address\n");
            return -1;
        }
 
-       // We copy the block op header out because we are going to modify its contents
-       memcpy(&hdr, (void *)hdr_addr, sizeof(struct virtio_net_hdr));
-       
-       PrintDebug("NIC Op Hdr (ptr=%p) type=%d, sector=%p\n", (void *)hdr_addr, hdr.hdr_len, (void *)hdr.csum_start);
-
+       hdr = (struct virtio_net_hdr*)hdr_addr;
        desc_idx = hdr_desc->next;
-
-       for (i = 0; i < desc_cnt - 2; i++) {
-           uint8_t tmp_status = NIC_STATUS_OK;
-
-           buf_desc = &(q->desc[desc_idx]);
-
-           PrintDebug("Buffer Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", buf_desc, 
-                      (void *)(buf_desc->addr_gpa), buf_desc->length, buf_desc->flags, buf_desc->next);
-
-           if (handle_pkt_write(dev, &hdr, buf_desc, &tmp_status) == -1) {
+       
+       for (i = 0; i < desc_cnt - 1; i++) {    
+           struct vring_desc * buf_desc = &(q->desc[desc_idx]);
+           if (pkt_write(virtio_state, buf_desc) == -1) {
                PrintError("Error handling nic operation\n");
                return -1;
            }
 
-           if (tmp_status != NIC_STATUS_OK) {
-               status = tmp_status;
-           }
-
            req_len += buf_desc->length;
            desc_idx = buf_desc->next;
        }
+       virtio_state->pkt_sent ++;
 
-       status_desc = &(q->desc[desc_idx]);
-
-       PrintDebug("Status Descriptor (ptr=%p) gpa=%p, len=%d, flags=%x, next=%d\n", status_desc, 
-                  (void *)(status_desc->addr_gpa), status_desc->length, status_desc->flags, status_desc->next);
-
-       if (guest_pa_to_host_va(dev->vm, status_desc->addr_gpa, (addr_t *)&(status_ptr)) == -1) {
-           PrintError("Could not translate status address\n");
-           return -1;
-       }
-
-       req_len += status_desc->length;
-       *status_ptr = status;
-
-       q->used->ring[q->used->index % QUEUE_SIZE].id = q->avail->ring[q->cur_avail_idx % QUEUE_SIZE];
-       q->used->ring[q->used->index % QUEUE_SIZE].length = req_len; // What do we set this to????
-
+       q->used->ring[q->used->index % q->queue_size].id = q->avail->ring[q->cur_avail_idx % q->queue_size];
+       q->used->ring[q->used->index % q->queue_size].length = req_len; // What do we set this to????
        q->used->index++;
-       q->cur_avail_idx++;
+
+       int last_idx = q->cur_avail_idx;
+       q->cur_avail_idx ++;
+       if (q->cur_avail_idx < last_idx)
+           q->idx_overflow = false;
     }
 
     if (!(q->avail->flags & VIRTIO_NO_IRQ_FLAG)) {
-       PrintDebug("Raising IRQ %d\n",  virtio->pci_dev->config_header.intr_line);
-       v3_pci_raise_irq(virtio->pci_bus, 0, virtio->pci_dev);
-       virtio->virtio_cfg.pci_isr = 0x1;
+       v3_pci_raise_irq(virtio_state->virtio_dev->pci_bus, 0, virtio_state->pci_dev);
+       virtio_state->virtio_cfg.pci_isr = 0x1;
     }
 
+#ifdef VIRTIO_NIC_PROFILE
+    if(virtio_state->pkt_sent % 10000 == 0)
+       PrintError("Virtio NIC: %p, pkt_sent: %ld\n", virtio_state, virtio_state->pkt_sent);
+#endif 
+
     return 0;
 }
 
-
-static int virtio_setup_queue(struct vm_device * dev, struct virtio_queue *queue, addr_t pfn, addr_t page_addr)
-{
+static int virtio_setup_queue(struct virtio_net_state * virtio_state, struct virtio_queue * queue, addr_t pfn, addr_t page_addr) {
     queue->pfn = pfn;
                
-    queue->ring_desc_addr = page_addr ;
-    queue->ring_avail_addr = page_addr + (QUEUE_SIZE * sizeof(struct vring_desc));
-    queue->ring_used_addr = (queue->ring_avail_addr + \
-                                                sizeof(struct vring_avail)    + \
-                                                (QUEUE_SIZE * sizeof(uint16_t)));
+    queue->ring_desc_addr = page_addr;
+    queue->ring_avail_addr = page_addr + (queue->queue_size * sizeof(struct vring_desc));
+    queue->ring_used_addr = ((queue->ring_avail_addr) + 
+                            (sizeof(struct vring_avail)) + 
+                            (queue->queue_size * sizeof(uint16_t)));
                
     // round up to next page boundary.
     queue->ring_used_addr = (queue->ring_used_addr + 0xfff) & ~0xfff;
-
-    if (guest_pa_to_host_va(dev->vm, queue->ring_desc_addr, (addr_t *)&(queue->desc)) == -1) {
+    if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, queue->ring_desc_addr, (addr_t *)&(queue->desc)) == -1) {
         PrintError("Could not translate ring descriptor address\n");
         return -1;
     }
-
  
-    if (guest_pa_to_host_va(dev->vm, queue->ring_avail_addr, (addr_t *)&(queue->avail)) == -1) {
+    if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, queue->ring_avail_addr, (addr_t *)&(queue->avail)) == -1) {
         PrintError("Could not translate ring available address\n");
         return -1;
     }
 
-
-    if (guest_pa_to_host_va(dev->vm, queue->ring_used_addr, (addr_t *)&(queue->used)) == -1) {
+    if (guest_pa_to_host_va(virtio_state->virtio_dev->vm, queue->ring_used_addr, (addr_t *)&(queue->used)) == -1) {
         PrintError("Could not translate ring used address\n");
         return -1;
     }
 
     PrintDebug("RingDesc_addr=%p, Avail_addr=%p, Used_addr=%p\n",
-                        (void *)(queue->ring_desc_addr),
-                          (void *)(queue->ring_avail_addr),
-                          (void *)(queue->ring_used_addr));
-
+              (void *)(queue->ring_desc_addr),
+              (void *)(queue->ring_avail_addr),
+              (void *)(queue->ring_used_addr));
+    
     PrintDebug("RingDesc=%p, Avail=%p, Used=%p\n", 
-                    queue->desc, queue->avail, queue->used);
-
+              queue->desc, queue->avail, queue->used);
+    
     return 0;
 }
 
-
-
 static int virtio_io_write(uint16_t port, void * src, uint_t length, void * private_data) 
 {
-    struct vm_device * dev = (struct vm_device *)private_data;
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;
+    //struct vm_device * dev = (struct vm_device *)private_data;
+    struct virtio_net_state * virtio = (struct virtio_net_state *)private_data;
     int port_idx = port % virtio->io_range_size;
 
-
-    PrintDebug("VIRTIO NIC Write for port %d (index=%d) len=%d, value=%x\n", 
+    PrintDebug("VIRTIO NIC %p Write for port %d (index=%d) len=%d, value=%x\n", private_data,
               port, port_idx,  length, *(uint32_t *)src);
 
-
     switch (port_idx) {
        case GUEST_FEATURES_PORT:
            if (length != 4) {
                PrintError("Illegal write length for guest features\n");
                return -1;
-           }
-           
+           }       
            virtio->virtio_cfg.guest_features = *(uint32_t *)src;
            PrintDebug("Setting Guest Features to %x\n", virtio->virtio_cfg.guest_features);
-
            break;
+               
        case VRING_PG_NUM_PORT:
-           if (length == 4) {
-               addr_t pfn = *(uint32_t *)src;
-               addr_t page_addr = (pfn << VIRTIO_PAGE_SHIFT);
-
-               uint16_t queue_idx = virtio->virtio_cfg.vring_queue_selector;
-               switch (queue_idx) {
-                   case 0:
-                       virtio_setup_queue(dev, &virtio->rx_vq, pfn, page_addr);
-                       break;
-                  case 1:
-                       virtio_setup_queue(dev, &virtio->tx_vq, pfn, page_addr);
-                        break;
-                   case 2:
-                        virtio_setup_queue(dev, &virtio->ctrl_vq, pfn, page_addr);
-                        break;
-
-                   default:
-                        break;
-               }
-           } else {
+           if (length != 4) {
                PrintError("Illegal write length for page frame number\n");
                return -1;
            }
+           addr_t pfn = *(uint32_t *)src;
+           addr_t page_addr = (pfn << VIRTIO_PAGE_SHIFT);
+           uint16_t queue_idx = virtio->virtio_cfg.vring_queue_selector;
+           switch (queue_idx) {
+               case 0:
+                   virtio_setup_queue(virtio, &virtio->rx_vq, pfn, page_addr);
+                   break;
+               case 1:
+                   virtio_setup_queue(virtio, &virtio->tx_vq, pfn, page_addr);
+                   break;
+               case 2:
+                   virtio_setup_queue(virtio, &virtio->ctrl_vq, pfn, page_addr);
+                   break;          
+               default:
+                   break;
+           }
            break;
+               
        case VRING_Q_SEL_PORT:
            virtio->virtio_cfg.vring_queue_selector = *(uint16_t *)src;
-
            if (virtio->virtio_cfg.vring_queue_selector > 2) {
                PrintError("Virtio NIC device only uses 3 queue, selected %d\n", 
                           virtio->virtio_cfg.vring_queue_selector);
                return -1;
            }
-
            break;
-       case VRING_Q_NOTIFY_PORT:
-           PrintDebug("Handling Kick\n");
-           uint16_t queue_idx = *(uint16_t *)src;
-           if (queue_idx == 0){
-                   if (handle_pkt_rx(dev) == -1) {
-                       PrintError("Could not handle NIC Notification\n");
-                       return -1;
-                   }
-           }else if (queue_idx == 1){
-                   if (handle_pkt_tx(dev) == -1) {
+               
+       case VRING_Q_NOTIFY_PORT: 
+           {
+               uint16_t queue_idx = *(uint16_t *)src;                  
+               if (queue_idx == 0){
+                   PrintDebug("receive queue notification 0, packet get by Guest\n");
+               } else if (queue_idx == 1){
+                   if (handle_pkt_tx(virtio) == -1) {
                        PrintError("Could not handle NIC Notification\n");
                        return -1;
                    }
-           }else if (queue_idx == 2){
-                   if (handle_ctrl(dev) == -1) {
+               } else if (queue_idx == 2){
+                   if (handle_ctrl(virtio) == -1) {
                        PrintError("Could not handle NIC Notification\n");
                        return -1;
                    }
-           }else {
-               PrintError("Virtio NIC device only uses 3 queue, selected %d\n", 
-                          queue_idx);
+               } else {
+                   PrintError("Virtio NIC device only uses 3 queue, selected %d\n", 
+                              queue_idx);
+               }       
+               break;          
            }
-           
-           break;
+       
        case VIRTIO_STATUS_PORT:
            virtio->virtio_cfg.status = *(uint8_t *)src;
-
            if (virtio->virtio_cfg.status == 0) {
                PrintDebug("Resetting device\n");
-               virtio_reset(dev);
+               virtio_init_state(virtio);
            }
-
            break;
 
        case VIRTIO_ISR_PORT:
@@ -510,89 +601,87 @@ static int virtio_io_write(uint16_t port, void * src, uint_t length, void * priv
     return length;
 }
 
-
 static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * private_data) 
 {
-    struct vm_device * dev = (struct vm_device *)private_data;
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;
+   //struct vm_device * dev = (struct vm_device *)private_data;
+    struct virtio_net_state * virtio = (struct virtio_net_state *)private_data;
     int port_idx = port % virtio->io_range_size;
     uint16_t queue_idx = virtio->virtio_cfg.vring_queue_selector;
 
-
-    PrintDebug("VIRTIO NIC Read  for port %d (index =%d), length=%d\n", 
+    PrintDebug("Virtio NIC %p: Read  for port %d (index =%d), length=%d", private_data,
               port, port_idx, length);
-
+       
     switch (port_idx) {
        case HOST_FEATURES_PORT:
            if (length != 4) {
                PrintError("Illegal read length for host features\n");
                return -1;
            }
-
            *(uint32_t *)dst = virtio->virtio_cfg.host_features;
-       
+           PrintDebug("value=0x%x\n", *(uint32_t *)dst);
            break;
-       case VRING_PG_NUM_PORT:
 
+       case VRING_PG_NUM_PORT:
            if (length != 4) {
                PrintError("Illegal read length for page frame number\n");
                return -1;
            }
-
            switch (queue_idx) {
                case 0:
-                     *(uint32_t *)dst = virtio->rx_vq.pfn;
-                       break;
-                case 1:
-                     *(uint32_t *)dst = virtio->tx_vq.pfn;
-                       break;  
-                case 2:
-                     *(uint32_t *)dst = virtio->ctrl_vq.pfn;
-                       break;
-                default:
-                       break;
-           }
-
+                   *(uint32_t *)dst = virtio->rx_vq.pfn;
+                   break;
+               case 1:
+                   *(uint32_t *)dst = virtio->tx_vq.pfn;
+                   break;      
+               case 2:
+                   *(uint32_t *)dst = virtio->ctrl_vq.pfn;
+                   break;
+               default:
+                   break;
+           }
+           PrintDebug(", value=0x%x\n", *(uint32_t *)dst);
            break;
+
        case VRING_SIZE_PORT:
            if (length != 2) {
                PrintError("Illegal read length for vring size\n");
                return -1;
            }
-
            switch (queue_idx) {
                case 0:
-                     *(uint16_t *)dst = virtio->rx_vq.queue_size;
-                       break;
-                case 1:
-                     *(uint32_t *)dst = virtio->tx_vq.queue_size;
-                       break;  
-                case 2:
-                     *(uint32_t *)dst = virtio->ctrl_vq.queue_size;
-                       break;
-                default:
-                       break;
-           }
-
+                   *(uint16_t *)dst = virtio->rx_vq.queue_size;
+                   break;
+               case 1:
+                   *(uint16_t *)dst = virtio->tx_vq.queue_size;
+                   break;      
+               case 2:
+                   *(uint16_t *)dst = virtio->ctrl_vq.queue_size;
+                   break;
+               default:
+                   break;
+           }
+           PrintDebug("queue index: %d, value=0x%x\n", (int)queue_idx, *(uint16_t *)dst);
            break;
+
        case VIRTIO_STATUS_PORT:
            if (length != 1) {
                PrintError("Illegal read length for status\n");
                return -1;
            }
-
            *(uint8_t *)dst = virtio->virtio_cfg.status;
+           PrintDebug(", value=0x%x\n", *(uint8_t *)dst);
            break;
-
+               
        case VIRTIO_ISR_PORT:
            *(uint8_t *)dst = virtio->virtio_cfg.pci_isr;
            virtio->virtio_cfg.pci_isr = 0;
-           v3_pci_lower_irq(virtio->pci_bus, 0, virtio->pci_dev);
+           v3_pci_lower_irq(virtio->virtio_dev->pci_bus, 0, virtio->pci_dev);
+           PrintDebug(", value=0x%x\n", *(uint8_t *)dst);              
            break;
 
        default:
-           PrintError("Read of Unhandled Virtio Read\n");
-           return -1;
+           PrintError("Virtio NIC: Read of Unhandled Virtio Read\n");
+           return -1;
     }
 
     return length;
@@ -601,124 +690,228 @@ static int virtio_io_read(uint16_t port, void * dst, uint_t length, void * priva
 
 static struct v3_device_ops dev_ops = {
     .free = virtio_free,
-    .reset = virtio_reset,
+    .reset = NULL,
     .start = NULL,
     .stop = NULL,
 };
 
+static int register_dev(struct virtio_dev_state * virtio, struct virtio_net_state * net_state) 
+{
+    struct pci_device * pci_dev = NULL;
+    struct v3_pci_bar bars[6];
+    int num_ports = sizeof(struct virtio_config);
+    int tmp_ports = num_ports;
+    int i;
+
+    // This gets the number of ports, rounded up to a power of 2
+    net_state->io_range_size = 1; // must be a power of 2
+    while (tmp_ports > 0) {
+       tmp_ports >>= 1;
+       net_state->io_range_size <<= 1;
+    }
+       
+    // this is to account for any low order bits being set in num_ports
+    // if there are none, then num_ports was already a power of 2 so we shift right to reset it
+    if ((num_ports & ((net_state->io_range_size >> 1) - 1)) == 0) {
+       net_state->io_range_size >>= 1;
+    }
+    
+    for (i = 0; i < 6; i++) {
+       bars[i].type = PCI_BAR_NONE;
+    }
+    
+    PrintDebug("Virtio-NIC io_range_size = %d\n", net_state->io_range_size);
+    
+    bars[0].type = PCI_BAR_IO;
+    bars[0].default_base_port = -1;
+    bars[0].num_ports = net_state->io_range_size;
+    bars[0].io_read = virtio_io_read;
+    bars[0].io_write = virtio_io_write;
+    bars[0].private_data = net_state;
+    
+    pci_dev = v3_pci_register_device(virtio->pci_bus, PCI_STD_DEVICE, 
+                                    0, PCI_AUTO_DEV_NUM, 0,
+                                    "LNX_VIRTIO_NIC", bars,
+                                    NULL, NULL, NULL, net_state);
+    
+    if (!pci_dev) {
+       PrintError("Virtio NIC: Could not register PCI Device\n");
+       return -1;
+    }
 
-int v3_virtio_register_nic(struct vm_device *dev, struct v3_net_ops *ops, void *private_data) {
-    struct virtio_net_state * virtio = (struct virtio_net_state *)dev->private_data;
+    PrintDebug("Virtio NIC:  registered to PCI bus\n");
     
-    virtio->net_ops = ops;
+    pci_dev->config_header.vendor_id = VIRTIO_VENDOR_ID;
+    pci_dev->config_header.subsystem_vendor_id = VIRTIO_SUBVENDOR_ID;
+       
+
+    pci_dev->config_header.device_id = VIRTIO_NET_DEV_ID;
+    pci_dev->config_header.class = PCI_CLASS_NETWORK;
+    pci_dev->config_header.subclass = PCI_NET_SUBCLASS_OTHER;  
+    pci_dev->config_header.subsystem_id = VIRTIO_NET_SUBDEVICE_ID;
+    pci_dev->config_header.intr_pin = 1;
+    pci_dev->config_header.max_latency = 1; // ?? (qemu does it...)
+
+    net_state->pci_dev = pci_dev;   
+    net_state->virtio_cfg.host_features = 0; //no features support now
+    net_state->rx_vq.queue_size = QUEUE_SIZE;
+    net_state->tx_vq.queue_size = QUEUE_SIZE;
+    net_state->ctrl_vq.queue_size = CTRL_QUEUE_SIZE;
+    net_state->virtio_dev = virtio;
+   
+    virtio_init_state(net_state);
 
     return 0;
 }
 
+static int connect_fn(struct guest_info * info, 
+                     void * frontend_data, 
+                     struct v3_dev_net_ops * ops, 
+                     v3_cfg_tree_t * cfg, 
+                     void * private_data) {
+    struct virtio_dev_state * virtio = (struct virtio_dev_state *)frontend_data;
+    struct virtio_net_state * net_state  = (struct virtio_net_state *)V3_Malloc(sizeof(struct virtio_net_state));
 
-static int virtio_init(struct guest_info * vm, void *cfg_data) {
-    struct vm_device * pci_bus = v3_find_dev(vm, (char *)cfg_data);
-    struct virtio_net_state * virtio_state = NULL;
-    struct pci_device * pci_dev = NULL;
+    memset(net_state, 0, sizeof(struct virtio_net_state));
 
-    PrintDebug("Initializing VIRTIO Network device\n");
+    register_dev(virtio, net_state);
 
-    if (pci_bus == NULL) {
-       PrintError("VirtIO network devices require a PCI Bus");
-       return -1;
-    }
-    
-    virtio_state  = (struct virtio_net_state *)V3_Malloc(sizeof(struct virtio_net_state));
-    memset(virtio_state, 0, sizeof(struct virtio_net_state));
+    net_state->net_ops = ops;
+    net_state->backend_data = private_data;
 
-    struct vm_device * dev = v3_allocate_device("LNX_VIRTIO_NIC", &dev_ops, virtio_state);
-    if (v3_attach_device(vm, dev) == -1) {
-       PrintError("Could not attach device %s\n", "LNX_VIRTIO_NIC");
-       return -1;
-    }
+    return 0;
+}
 
+#if 1 
+//temporary interface between Virtio-NIC and Vnet
+//Treat vnet as backend, and virtio nic as frontend
 
-    // PCI initialization
-    {
-       struct v3_pci_bar bars[6];
-       int num_ports = sizeof(struct virtio_config);
-       int tmp_ports = num_ports;
-       int i;
+//used when virtio_nic get a packet from guest and send it to the backend
+// send packet to all of the virtio nic devices other than the sender
+static int vnet_send(uint8_t * buf, uint32_t len, void * private_data, struct vm_device *dest_dev){
+    PrintDebug("Virito NIC: In vnet_send: guest net state %p\n", private_data);
 
-       // This gets the number of ports, rounded up to a power of 2
-       virtio_state->io_range_size = 1; // must be a power of 2
+    v3_vnet_send_rawpkt(buf, len, private_data);
+    return 0;
+}
 
-       while (tmp_ports > 0) {
-           tmp_ports >>= 1;
-           virtio_state->io_range_size <<= 1;
-       }
-       
-       // this is to account for any low order bits being set in num_ports
-       // if there are none, then num_ports was already a power of 2 so we shift right to reset it
-       if ((num_ports & ((virtio_state->io_range_size >> 1) - 1)) == 0) {
-           virtio_state->io_range_size >>= 1;
-       }
+//used to send packet to guest by a virtio nic
+static int vnet_receive(uint8_t * buf, uint32_t count, void * private_data, struct vm_device *src_dev){
 
-       for (i = 0; i < 6; i++) {
-           bars[i].type = PCI_BAR_NONE;
-       }
+    return 0;
+}
 
-       PrintDebug("Virtio-NIC io_range_size = %d\n", virtio_state->io_range_size);
+static int virtio_input(uchar_t * buf, uint_t len, void * private_data){
+    PrintDebug("Virito NIC: In virtio_input: guest net state %p\n", private_data);
 
-       bars[0].type = PCI_BAR_IO;
-       bars[0].default_base_port = -1;
-       bars[0].num_ports = virtio_state->io_range_size;
+    return __virtio_dev_send(buf, len, private_data);
+}
 
-       bars[0].io_read = virtio_io_read;
-       bars[0].io_write = virtio_io_write;
-       bars[0].private_data = dev;
 
-       pci_dev = v3_pci_register_device(pci_bus, PCI_STD_DEVICE, 
-                                        0, PCI_AUTO_DEV_NUM, 0,
-                                        "LNX_VIRTIO_NIC", bars,
-                                        NULL, NULL, NULL, dev, NULL);
+//register a virtio device to the vnet as backend
+void register_virtio_to_vnet(struct vm_device  *dev, 
+                                               char *dev_name,
+                                               uchar_t mac[6]){
+    struct virtio_net_state * net_state;
+    struct virtio_dev_state *virtio_state =  (struct virtio_dev_state *)dev->private_data;
+    //uchar_t tapmac[6] = {0x00,0x02,0x55,0x67,0x42,0x39}; //for Intel-VT test HW
+    uchar_t tapmac[6] = {0x6e,0xa8,0x75,0xf4,0x82,0x95};
+    uchar_t dstmac[6] = {0xff,0xff,0xff,0xff,0xff,0xff};
+    uchar_t zeromac[6] = {0,0,0,0,0,0};
 
-       if (!pci_dev) {
-           PrintError("Could not register PCI Device\n");
-           return -1;
-       }
-       
-       pci_dev->config_header.vendor_id = VIRTIO_VENDOR_ID;
-       pci_dev->config_header.subsystem_vendor_id = VIRTIO_SUBVENDOR_ID;
+
+    net_state  = (struct virtio_net_state *)V3_Malloc(sizeof(struct virtio_net_state));
+    memset(net_state, 0, sizeof(struct virtio_net_state));
+    net_state->net_ops = (struct v3_dev_net_ops *)V3_Malloc(sizeof(struct v3_dev_net_ops));
+    net_state->net_ops->send = &vnet_send;
+    net_state->net_ops->receive = &vnet_receive;
+    net_state->dev = dev;
+
+    register_dev(virtio_state, net_state);
+
+    PrintDebug("Virtio NIC register Device %s: queue size: %d, %d\n", dev->name,
+              net_state->rx_vq.queue_size, net_state->tx_vq.queue_size);
+    PrintDebug("Virtio NIC: connect virtio device %s, state %p, to vnet\n", dev->name, net_state);
        
+    int idx = vnet_register_device(dev, dev_name, mac, &virtio_input, net_state);
+    vnet_add_route_entry(zeromac, dstmac, MAC_ANY, MAC_NONE, idx, LINK_INTERFACE, -1, LINK_INTERFACE);
+    if (!strcmp(dev_name, "net_virtiodom0"))
+       vnet_add_route_entry(zeromac, tapmac, MAC_ANY, MAC_NONE, idx, LINK_INTERFACE, -1, LINK_INTERFACE);
+    if (!strcmp(dev_name, "net_virtio"))
+       vnet_add_route_entry(tapmac, zeromac, MAC_NONE, MAC_ANY, idx, LINK_INTERFACE, -1, LINK_INTERFACE);
+
+    temp_net_states[net_idx ++] = net_state;
+}
 
-       pci_dev->config_header.device_id = VIRTIO_NET_DEV_ID;
-       pci_dev->config_header.class = PCI_CLASS_NETWORK;
-       pci_dev->config_header.subclass = PCI_NET_SUBCLASS_OTHER;
+#endif
 
-       // TODO:how to define new one for virtio net device
-       pci_dev->config_header.subsystem_id = VIRTIO_BLOCK_SUBDEVICE_ID;
+static int virtio_init(struct guest_info * vm, v3_cfg_tree_t * cfg) {
+    struct vm_device * pci_bus = v3_find_dev(vm, v3_cfg_val(cfg, "bus"));
+    struct virtio_dev_state * virtio_state = NULL;
+    char * name = v3_cfg_val(cfg, "name");
 
+    PrintDebug("Virtio NIC: Initializing VIRTIO Network device: %s\n", name);
 
-       pci_dev->config_header.intr_pin = 1;
+    if (pci_bus == NULL) {
+       PrintError("Virtio NIC: VirtIO devices require a PCI Bus");
+       return -1;
+    }
 
-       pci_dev->config_header.max_latency = 1; // ?? (qemu does it...)
+    virtio_state  = (struct virtio_dev_state *)V3_Malloc(sizeof(struct virtio_dev_state));
+    memset(virtio_state, 0, sizeof(struct virtio_dev_state));
 
+    INIT_LIST_HEAD(&(virtio_state->dev_list));
+    virtio_state->pci_bus = pci_bus;
+    virtio_state->vm = vm;
 
-       virtio_state->pci_dev = pci_dev;
-       virtio_state->pci_bus = pci_bus;
+    struct vm_device * dev = v3_allocate_device(name, &dev_ops, virtio_state);
+    if (v3_attach_device(vm, dev) == -1) {
+       PrintError("Virtio NIC: Could not attach device %s\n", name);
+       return -1;
     }
 
-    virtio_state->virtio_cfg.host_features = 0; //no features support now
+    if (v3_dev_add_net_frontend(vm, name, connect_fn, (void *)virtio_state) == -1) {
+       PrintError("Virtio NIC: Could not register %s as net frontend\n", name);
+       return -1;
+    }
 
-    virtio_state->rx_vq.queue_size = QUEUE_SIZE;
-    virtio_state->tx_vq.queue_size = QUEUE_SIZE;
-    virtio_state->ctrl_vq.queue_size = CTRL_QUEUE_SIZE;
-   
+    //for temporary testing, virtio bridge in Palacios
+#if 0
+       
+    struct virtio_net_state * net_state  = (struct virtio_net_state *)V3_Malloc(sizeof(struct virtio_net_state));
+    memset(net_state, 0, sizeof(struct virtio_net_state));
+
+    net_state->net_ops = (struct v3_dev_net_ops *)V3_Malloc(sizeof(struct v3_dev_net_ops));
+
+    net_state->net_ops->send = &send;
+    net_state->net_ops->receive = &receive;
+
+    register_dev(virtio_state, net_state);
+       
+    PrintDebug("Virtio NIC After register Device %s: queue size: %d, %d\n", dev->name,
+              net_state->rx_vq.queue_size, net_state->tx_vq.queue_size);
 
-    virtio_reset(dev);
+    temp_net_states[net_idx ++] = net_state;
 
-// TODO: net ops
-    virtio_state->net_ops = NULL;
+    PrintDebug("Net_states: 0: %p, 1: %p, 2: %p\n", 
+               temp_net_states[0], 
+               temp_net_states[1], 
+               temp_net_states[2]);
 
+#endif
+
+#if 1  //test interface between vnet & virtio-nic
+    uchar_t mac[6] = {0,0,0,0,0,0};
+    register_virtio_to_vnet(dev, name, mac);
+
+    PrintDebug("Net_states: 0: %p, 1: %p, 2: %p\n", 
+               temp_net_states[0], 
+               temp_net_states[1], 
+               temp_net_states[2]);
+#endif
+       
     return 0;
 }
 
-
 device_register("LNX_VIRTIO_NIC", virtio_init)
-
+