利用linux处理网络流量数据
本文共 2908 字，大约阅读时间需要 9 分钟。
/文 2009.1.15
ablozhou #gmail.com
网络压力测试，需要处理原始数据，将原始的Byte/s 处理为Mbps，并通过直观曲线图表展示出来。
1.统计网卡流量
sar -n DEV 1 100 > net
得到网卡流量，原始数据如下：
10:32:41 IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s10:32:42 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:32:42 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:32:42 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:32:42 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:42 IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s10:32:43 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:32:43 eth0 79164.00 79161.00 8581912.00 8574255.00 0.00 0.00 0.0010:32:43 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:32:43 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 ...10:34:19 IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s10:34:20 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:34:20 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:34:20 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:34:20 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:20 IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s10:34:21 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:34:21 eth0 79657.00 79657.00 8602734.00 8606166.00 0.00 0.00 0.0010:34:21 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:34:21 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/sAverage: lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00Average: eth0 40091.69 40091.51 4329888.64 4331543.93 0.00 0.00 0.00Average: eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00Average: sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
其中rxbyt/s 表示每秒接受的byte数，txbyt/s 表示每秒发送的byte数。我们可以将其加工成Mbps
2. 我们需要处理 eth0网卡的流量，将其余流量去掉
cat net | grep eth0 > net1
我们得到数据如下：
10:32:42 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:32:43 eth0 79164.00 79161.00 8581912.00 8574255.00 0.00 0.00 0.00...
10:34:20 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.0010:34:21 eth0 79657.00 79657.00 8602734.00 8606166.00 0.00 0.00 0.00Average: eth0 40091.69 40091.51 4329888.64 4331543.93 0.00 0.00 0.00
3.我们需要处理rxbyt/s ,txbyt/s 将其余的列去掉
gawk '{print $5,$6}' net1 > net2
gawk 命令的执行格式：
gawk '模式匹配|命令语句 {动作}' 处理文件
我们这里没有模式匹配和语句，直接执行动作，打印第5第6列。
得到数据如下：
0.00 0.008581912.00 8574255.000.00 0.008723086.00 8726654.000.00 0.008718490.00 8721642.000.00 0.008558670.00 8562184.00...
0.00 0.008602734.00 8606166.004329888.64 4331543.93
4.以上的数据，每行代表1秒，但网卡流量每2秒才能取到一次数据。所以是奇偶相间的数据。第0行开始的偶数行都是0. 我们将偶数行的 0 去掉。
这里方法很多。
a.) sed -n '{n;p}' net2 > net3
该命令表示用sed，隔一行打印一行。单引号里大括号的n表示跳到下一行,分号分隔命令，p表示打印命令。 -n表示安静模式，只打印输出。否则会读一行打印一行。
b.) gawk '$1 != 0.00 ' net2 > net3gawk 可以带if表达式，循环，功能很强。因为数据很有规律，我们可以偷点懒，直接将第一列是0.00的数据行删掉。该命令表示第一列不等于0.00就打印出来。
5.将byte/s 处理为Mbps，并求2秒的均值。
gawk 'a=$1*8/(2*1024*1024), b=$2*8/(2*1024*1024){print a,b}' net3 > net4
将每一列的值*8,得到bit数，除以1M，得到Mbps，除以2得到均值，并赋给变量a，b。再打印出a和b的值。
6.将文件处理为csv文件，再通过excel程序来生成统计图表
用vi将最后一行平均值去掉。并可以在vi中用:%s/ /,/g 将空格替换为逗号，:w net.csv
7.用winSCP将net.csv传到windows，用excel 2007打开。
选中这两列数据，点插入，折线图，得到如下的图。可以调整一下标题和坐标说明。
你可能感兴趣的文章
分布式系统理论基础1： 一致性、2PC和3PC
查看>>
分布式系统理论基础2 ：CAP
查看>>
分布式系统理论基础3： 时间、时钟和事件顺序
查看>>
分布式系统理论基础4：Paxos
查看>>
分布式系统理论基础5：选举、多数派和租约
查看>>
分布式系统理论基础6：Raft、Zab
查看>>
分布式系统理论基础8：zookeeper分布式协调服务
查看>>
搞懂分布式技术1：分布式系统的一些基本概念
查看>>
搞懂分布式技术2：分布式一致性协议与Paxos，Raft算法
查看>>
搞懂分布式技术3：初探分布式协调服务zookeeper
查看>>
搞懂分布式技术4：ZAB协议概述与选主流程详解
查看>>
搞懂分布式技术6：Zookeeper典型应用场景及实践
查看>>
搞懂分布式技术10：LVS实现负载均衡的原理与实践
查看>>
搞懂分布式技术11：分布式session解决方案与一致性hash
查看>>
搞懂分布式技术12：分布式ID生成方案
查看>>
搞懂分布式技术13：缓存的那些事
查看>>
搞懂分布式技术14：Spring Boot使用注解集成Redis缓存
查看>>
搞懂分布式技术15：缓存更新的套路
查看>>
搞懂分布式技术16：浅谈分布式锁的几种方案
查看>>
搞懂分布式技术17：浅析分布式事务
查看>>