Cygwin统计日志常用代码，欢迎各位大神补全

Cygwin统计日志常用代码，欢迎各位大神补全

文件操作

 

help——列出cygwin支持的所有命令

pwd——显示当前的路径

ls——显示当前文件夹中的所有文件

mkdir——建立目录

rmdir——删除目录

rm——删除文件

cat bj.log ——打开文件

-----------------------------------------------------------------------------------------------------------------------

grep 查找命令

 

cat bj.log grep Baiduspider >xin.log——查找包含Baiduspider的数据并导入到xin.log文件中

-----------------------------------------------------------------------------------------------------------------------

wc 统计命令

 

wc -l log.log  ——统计文件行数

wc -c log.log  ——统计文件字节数

wc -w log.log  ——统计文件单词数

-----------------------------------------------------------------------------------------------------------------------

综合查询

 

cat baidu.log|awk '{if($9 ~"200") print $7}'|wc -l    ——查询日志文件中200状态码的行数

 

cat baidu.log|grep 'Baiduspider'|awk '{if($9 ~"200") print $7}'|wc -l    ——查询日志文件中包含Baiduspider且状态码为200的行数

 

cat baidu.log | awk '{if ($9 ~"200") print $4}'|awk -F ":" '{print $2}'|sort|uniq -c|sort -nrk 1,1|less     ——查询日志文件中200状态码的访问时间排行

 

cat baidu.log|awk '{if ($9~ "200") print $7}'||sort|uniq -c|sort -nrk 1,1|less    ——查看网站访问最多的链接

 

cat baidu.txt|awk ‘{print $9}’|sort|uniq -c   ——判断404情况：统计状态码的指令

 

cat 404.txt|awk ‘{print $7}’>>baidu404.txt  ——导出链接

 

cat baidu.txt|awk ‘{print $7}’|sort|uniq -c    ——查看一个链接被重复抓取的次数

 

cat sougou.log|awk '{print $9}'|sort|uniq -c    ——统计所有状态码数量

 

cat spz.log awk '{print $1}' |sort |uniq|wc -l   ——统计有多少IP访问

 

cat baidu.log | awk ‘{print $1}’ | sort | uniq -c | sort -k1r   ——每个IP访问次数