cowman: DevOps的三板斧

话说这些天电视上正在热映《隋唐英雄》，虽然我并没有看，但是对当年田连元老先生的评书联播《隋唐演义》却是记忆犹新，特别是故事里面讲到的程咬金的三板斧：拍蒜瓣、戳脚指甲盖、胡椒面，每每听来总是让人忍俊不禁，不过这些貌似无厘头的招数在实战中却往往有出奇制胜的效果，由此可以见简单实用永远都是硬道理，在当前这个倡导DevOps的年代，我们这些程序员自然也要学一些运维方面的本事才好安身立命，下面结合一些真实案例说说我在日常工作中常用的三板斧。

第一板斧：AWK

Web服务器负载飙升，猜测是访问量激增造成的，如何验证？

前提：日志已经通过logrotate按天切分，其内容类似下面的样子：

123.123.123.123 - - [01/Jan/2013:00:01:01 +0800] "GET /path HTTP/1.1" 200 123 "-" "Mozilla"

利用AWK，我们可以很方便的计算一天中每分钟的访问量是多少：

shell> awk -F: '{ count[$2":"$3]++ } END { for (minute in count) print minute, count[minute] }' /path/to/log | sort > count.log

下面列出生成的count.log文件中的部分数据，结果一目了然，不多说了：

18:55 14450 18:56 14926 18:57 15645 18:58 16678 18:59 19032 19:00 29134 19:01 34665 19:02 35558 19:03 35545 19:04 35829 19:05 35608

要判断访问量多少，还有一个简易的方法：对比日志文件的大小。

第二板斧：Strace

程序运行很慢，我们如何知道到底慢在哪？此时可以利用strace的「r」选项，不过需要注意的是，strace的结果在标准错误里，使用前最好重定向到标准输出。

下面让我们过滤某个PHP进程中操作时间大于0.001秒的操作：

shell> strace -rp $(pidof -s php) 2>&1 | awk '{ $1 > 0.001 }' 0.001596 lstat64("/var/www", {st_mode=S_IFDIR|0755, st_size=4096, ...}) = 0

如果问题比较简单，通常这样就够了，但如果问题相对复杂，那么我们仅仅过滤出耗时的操作是不够的，最好附上完整的上下文，此时如果用AWK来做的话，代码会变得很复杂，别忘了我们还有grep，通过它的「A」和「B」选项可以很方便的保存上下文，此外利用它的正则功能，可以模拟判断时间的大小。

下面让我们过滤某个PHP进程中操作时间大于0.001秒的操作，并附上前后两行上下文：

shell> strace -rp $(pidof -s php) 2>&1 | grep -E '^[ ]*[0-9]+\.[0-9][0-9]1' -A 2 -B 2 0.000081 getcwd("/var/www/script", 4096) = 32 0.000805 lstat64("/var", {st_mode=S_IFDIR|0755, st_size=4096, ...}) = 0 0.001596 lstat64("/var/www", {st_mode=S_IFDIR|0755, st_size=4096, ...}) = 0 0.000105 lstat64("/var/www/script", {st_mode=S_IFDIR|0755, st_size=4096, ...}) = 0 0.000112 lstat64("/var/www/script/test.php", {st_mode=S_IFREG|0644, st_size=4096, ...}) = 0

顺便说一下，本例中使用的是PHP程序，之所以会出现一堆lstat64操作是因为PHP配置中没有设定合适的realpath_cache_size，具体就不多说了，大家自行查阅相关资料。

第三板斧：Gnuplot

数字总是苍白的，不如图形来得直观，Gnuplot在绘图方面非常简单，就拿文章开头统计访问量的例子来说，以count.log为数据源，代码大致如下：

#!/usr/bin/gnuplot  set terminal png size 500,400 set grid set xdata time set timefmt "%H:%M" set format x '%H' set xlabel "Time" set ylabel "Count" set output "count.png" plot 'count.log' using 1:2 with line notitle

最终生成的图形是不是比数字直观多了：