Linux 测试开发第八期_shell 必备技能实战_20190120

思寒_seveniruby · 2019年01月20日 · 最后由 swjClaire 回复于 2019年04月14日 · 3559 次阅读

基础数据

用自己的帐号登录 ssh 手机号码后 8 位@shell.testing-studio.com
没有账号的可以临时用 ssh hogwarts2019@shell.testing-studio.com
/tmp/nginx.log 保存了一份一天的 nginx 访问 log

awk

sed

#sed 's#正则#结果#g'
echo 123abc456  | sed 's#abc#_#'
echo 123abc456  | sed 's#[2-9]#x#g'

awk  '/00:00:01/,/00:00:04/' /tmp/nginx.log
sed -n '/00:00:01/,/00:00:04/p' /tmp/nginx.log

语法题

1. 找出 log 中的 404 500 的报错
2. 找出 500 错误数据行的前 10 条非 500 的数据
3. 找出访问量最高的 ip
4. 找出访问量最高的页面地址

awk '{print $7}' /tmp/nginx.log |sed -e "s#[0-9]\{1,\}#*#g" -e 's#?.*##' -e 's#/[^/]*\.png.*##'|  sort | uniq -c | sort -nr |head -10

Linux 测试

5. 文件检索在特定目录下找到包含特定 debug 的数据或者代码
6. 网络统计统计当前机器的连接数查看当前开放的端口和进程
7. 性能统计统计某个进程的 cpu 和 mem 的增长情况打印三列数据时间 cpu mem
8. 任务处理使用简易的工具对第三方服务做加压并统计性能

for i in $(seq 1 20);do time=$(date +%H:%M:%S);  info=$(ps -o %cpu -o %mem 9081 | tail -1 );echo $time $info ;sleep 1;done
16:46:50 0.9 0.2
16:46:58 0.9 0.3
16:47:00 0.9 0.2

while true; do count=$(jobs -l | grep Running|wc -l); [ $count -le 5 ] && { time curl https://testerhome.com/topics/17870 &>/dev/null  & } || echo $count waiting ;done

App 测试

9. apk 文件分析分析 app 的文件内容检索特定的 api 调用
10. 分析 api 的调用序列 app 性能分析
11. 统计某个 app 的一段时间内的性能
12. 自动化测试编写一个自动遍历工具

adb shell "uiautomator dump && cat /sdcard/window_dump.xml"
adb shell input tap x y
adb shell input text 123
adb shell "uiautomator dump && cat /sdcard/window_dump.xml" |grep -oE  "<node[^>]*>" | grep -v 'resource-id=""' | grep -oE 'bounds=".*?]"'  | sed 's#[^0-9]\{1,\}# #g'

获取界面结构 xml -> node -> 坐标 -> input

持续集成

可视化

echo '1
3
2
4
6' | gnuplot -e "set terminal dumb;plot '<cat' using 1 with line"

18 个赞

如果觉得我的文章对您有用，请随意打赏。您的支持将鼓励我继续创作！

打赏支持

共收到 58 条回复时间点赞

kenny945 #1 · 2019年01月20日

#1.
cat  /tmp/nginx.log |grep -E "404|500"|head -5
#2.
cat  /tmp/nginx.log |grep -E "500" -C1

2楼已删除

3楼已删除

Red_herring #4 · 2019年01月20日

第一题

less /tmp/nginx.log |grep -E " 404 | 500 "|head -5

守望@天空~ #5 · 2019年01月20日

cat /tmp/nginx.log |grep -E "404|500"|head -5

annylyf #6 · 2019年01月20日

7楼已删除

小叮当猫猫 #8 · 2019年01月20日

less /tmp/nginx.log |grep -Eo "404 |500"

chenyuanli0419 #9 · 2019年01月20日

less \tmp\nignx.log | grep -E "404|500"

hy-dream #10 · 2019年01月20日

作业 1 cat /tmp/nginx.log | grep '404'| head -3

啄木鸟 #11 · 2019年01月20日

$ cat nginx.log |awk '{print $9}'|grep '400\|500'|head -3
500
400
500

zgxlz #12 · 2019年01月20日

cat /tmp/nginx.log | grep -o "404|500"

思寒_seveniruby #13 · 2019年01月20日 Author

以上答案全错

grep -E " 404 | 500 " /tmp/nginx.log
awk '$9=="404"' /tmp/nginx.log

wenlywenly #14 · 2019年01月20日

awk '$9=="404"' /tmp/nginx.log | grep -B 10

jiaxiong #15 · 2019年01月20日

作业 2

grep -B 10 "500" /tmp/nginx.log | less

hub #16 · 2019年01月20日

grep -10h " 500 " /tmp/nginx.log

17楼已删除

li #18 · 2019年01月20日

grep -C 10 -E " 500 " nginx.log | less

ChangeM佚名 #19 · 2019年01月20日

grep -B 10 " 500 " /tmp/nginx.log|less

子非鱼 #20 · 2019年01月20日

grep -b10 ^C " 500 " /tmp/nginx.log

21楼已删除

梦梦GO #22 · 2019年01月20日

grep ' 500 ' -B 10 nginx.log |less

zgxlz #23 · 2019年01月20日

grep -B 10 "500 " /tmp/nginx.log

归云乡 #24 · 2019年01月20日

作业 3：

awk '{print $1}' /tmp/nginx.log | sort | uniq -c | sort -r | head -1

wuyu #25 · 2019年01月20日

awk '{print $1}' nginx.log | sort | uniq -c | sort -rn | head -5

li #26 · 2019年01月20日

awk '{print $1}' nginx.log | sort | uniq -c | head -5

liyinglong #27 · 2019年01月20日

grep -B 5 /tmp/nginx.log|awk '{print $1}' | sort | uniq -c

KevinWang #28 · 2019年01月20日

awk '{print $1}' /tmp/nginx.log |sort |uniq -c |sort -n |tail -5

思寒_seveniruby #29 · 2019年01月20日 Author

作业 3
head -10000 /tmp/nginx.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -5

守望@天空~ #30 · 2019年01月20日

作业 4

awk '{print $7}' /tmp/nginx.log |sed "s#[1-9]#*#g"|sort |uniq -c |sort -nr|head -5

wuyu #31 · 2019年01月20日

作业 4：
awk '{print $7}' nginx.log |sed 's/[0-9]//g' | sed 's/?.*//g' | sort | uniq -c | sort -rn | head -5

2396 /cable
1812 /topics/
1218 /topics//replies//edit
818 /topics//replies//reply_suggest
442 /

Z #32 · 2019年01月20日

作业 4：awk '{print $7}' /tmp/nginx.log | sed 's#[0-9]#xxx#g'|sort |uniq -c|sort -nr |head -1

taozitao #33 · 2019年01月20日

awk '{print $7}' /tmp/nginx.log | sed 's#[0-9]#x#g' | sort | uniq -c | sort -nr | head -5

cookie #34 · 2019年01月20日

awk '{print $7}' nginx.log|sed 's#/[0-9]*/#/x/#g'|sort|uniq -c|sort -nr|head -1

梦梦GO #35 · 2019年01月20日

作业 4、awk '{print $7}' nginx.log | sed 's#[0-9]#*#g' |sort |uniq -c |sort -nr|head -5

Yvan #36 · 2019年01月20日

作业 4：

awk '{print $7}' /tmp/nginx.log |sed 's#/[0-9].*#_#g'|sort|uniq -c|sort -nr |less

li #37 · 2019年01月20日

作业 4：
awk '{print $7}' nginx.log | sed 's#/[0-9]*/#/ID/#g' | sort | uniq -c | sort -nr | head -5

whaly #38 · 2019年01月20日

作业 4：
awk '{print $7}' /tmp/nginx.log | sed 's#[0-9]#_#g' | sort | uniq -c | sort -nr | head -5

杉娅 #39 · 2019年01月20日

awk '{print $7}' /tmp/nginx.log | sed 's#[0-9]#x#g'| sort | uniq -c | sort -nr |head -5

liyinglong #40 · 2019年01月20日

作业 4 awk '{print $7}' /tmp/nginx.log|sort|uniq -c | sort -nr|sed 's#[0-9]#*#g'|head -5

41楼已删除

守望@天空~ #42 · 2019年01月20日

netstat|grep ":ssh"|awk '{print $5}'|uniq -c|wc -l

归云乡 #43 · 2019年01月20日

netstat -ntp | grep 22 | sort | uniq -c | wc -l

芳菲菲兮满堂 #44 · 2019年01月20日

作业 5：
netstat -ltnp | sed 1,2d | grep 22 | sort | uniq -c

45楼已删除

hy-dream #46 · 2019年01月20日 1 个赞

while true;do cpu=`ps -o %cpu 10125 |tail -1`;mem=`ps -o %mem 10125|tail -1`;time=`date +%H%M%s`;echo $time,$cpu,$mem;sleep 1;done

OZMA #47 · 2019年01月20日

while true;do date +%H%M%S; ps -o %CPU -o %mem;sleep 0.2;done

48楼已删除

cookie #49 · 2019年01月20日

echo date cpu mem;for ((i=0;i<20;i++));do date=$(date +%H%M%S);cpu=$(ps -o %cpu $$|awk 'NR==2');mem=$(ps -o %mem $$|awk 'NR==2');echo $date $cpu $mem;done;sleep 1

思寒_seveniruby 在测试开发第八期_shell 必备技能实战_20190120 中提及了此贴 01月20日 17:00

MaisieHu8891 #51 · 2019年01月20日

工作中遇到 tail -f xxx.log >> test.txt，追加保存到 txt 文件，但想要这个文件只存最新的 50 条 log 数据，不知道怎么做比较好

思寒_seveniruby #52 · 2019年01月20日 Author 8 个赞

看了下调查结果，有部分同学反映没学会，下周我找个时间给大家加课。重点讲下 Linux 三剑客的语法和应用场景。

jor_蓝国庆 #53 · 2019年01月21日

对

MaisieHu8891 回复

tail -n 50 >> test.txt

Tesla Lau #54 · 2019年01月21日

这些我感觉我永远也记不住，只能需要时 Google 了。

🌀鸣人❤️一樂🍜 在 [該主題已被刪除] 中提及了此贴 01月22日 10:33

刘晓光 #56 · 2019年01月22日

黄老师越来越赞了。缺少的就是这些基本功。

木头 #57 · 2019年01月22日

第一题的附加（同时打印出 404 和 500 的前三条，是在想不出来，也没查到，才用了这个弱鸡办法）

awk '$9=="500"' nginx.log |head -3;echo -e "\n================================================\n";awk '$9=="404"' nginx.log |head -3

MaisieHu8891 #58 · 2019年01月22日

对

jor_蓝国庆回复

这样的话是给日志最后 50 条追加进来吧，我想保持 test.txt 文件只有 50 条数据

詹姆斯 · #59 · 2019年01月23日

僅樓主可見

灵动 #60 · 2019年01月24日

电脑连接 Android 真机，adb shell 后，输入 ps -ef ，结果是，如何解决？

小九 #61 · 2019年01月26日

while true;do count=$(jobs -l |grep Running| wc -l);[ $count -le 5 ] && { time curl https://www.baidu.com &>/dev/null & };echo $count waiting;sleep 0.5;done

问题:
思寒老师，小括号是定义变量，中括号里面是判断语句，后面 { time curl https://www.baidu.com &>/dev/null & } 这里为啥是花括号？
然后花括号前面为什么是&& 与呢？

我的理解:
先定义一个 count 变量统计当前进程总数，如果 count 小于 5 ，那么把访问的地址放到后台执行；大于 5 时输出 waiting .写了下面的语句，貌似也是可以的。盼回复，不知道我的理解对不对。

while true;do count=$(jobs -l |grep Running| wc -l);if [ $count -le 5 ];then { time curl https://www.baidu.com &>/dev/null & };else echo $count waiting;sleep 0.5;fi;done

灵动 · #62 · 2019年01月31日

僅樓主可見

翁小杰 #63 · 2019年03月18日

作业 3：
awk '{print $1}' nginx.log | sort | uniq -c | sort -nr | head -5

swjClaire #64 · 2019年04月14日

cat nginx.log | head -n 5
cat nginx.log | awk '$9~/404|500/{print $0}'

swjClaire #65 · 2019年04月14日

作业 2

找出 500 错误数据行的前 10 条非 500 的数据 cat nginx.log | grep ' 500 ' -B 10

swjClaire #66 · 2019年04月14日

作业三
找出访问量最高的 ip
cat nginx.log | awk '{print $1}' | sort |uniq -c | sort -nr -k 1 | head -1

swjClaire #67 · 2019年04月14日

作业四
找出访问量最高的页面地址
cat nginx.log | awk -F ' |?' '{print $7}' | sed -E 's#/[0-9]+#/xxx#g' | sort | uniq -c | sort -nr -k 1 | head -1

68楼已删除

需要登录後方可回應，如果你還沒有帳號按這裡注册。