今天群里有個(gè)伙計(jì)問(wèn),怎么用python統(tǒng)計(jì)Nginx日志訪問(wèn)次數(shù)前十的IP才能快一些,他表示自己使用的方式是將日志前面的IP全部放在列表中,然后通過(guò)列表的count方法來(lái)統(tǒng)計(jì)的,起初都還好,但是當(dāng)日志量一大就很慢,問(wèn)有沒(méi)有啥好的方法可以解決!
當(dāng)然有,可以使用python的字典來(lái)加快速度,下面的日志文件是我用代碼模擬生成的:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2019/5/22 10:27
# @Author : Cooleyes
# @File : get_top10.py
# @Software: PyCharm
# 舞臺(tái)再大,你不表演,你永遠(yuǎn)都是觀眾!
# 創(chuàng)建一個(gè)空字典用來(lái)統(tǒng)計(jì)IP出現(xiàn)的次數(shù)
ip_count = {}
with open('nginx.log') as f:
lines = f.readlines()
for line in lines:
# 通過(guò)spilt取得ip
ip = line.strip().split()[0]
# 如果ip在字典中那么值+1否則在字段中添加ip并賦值為1
if ip in ip_count:
ip_count[ip] += 1
else:
ip_count[ip] = 1
# 最后使用items方法將字段轉(zhuǎn)成元組的形式,進(jìn)行排序,取出前十位
# [('192.168.1.1',11), ('192.168.1.2',10), ......]
for ip, count in sorted(ip_count.items(), key=lambda x:x[1], reverse=True)[:10]:
print(f'{ip} -- {count}')
以上代碼中基本都使用的是基礎(chǔ)的一些知識(shí)相信大家都能看懂,難一點(diǎn)的地方應(yīng)該在最后排序那里,sorted函數(shù)排序時(shí)可以指定一個(gè)key參數(shù),key參數(shù)必須是一個(gè)函數(shù),其中key = lambda x:x[1] 表示使用元組中索引為1的值進(jìn)行排序,也就是統(tǒng)計(jì)出來(lái)的次數(shù),我測(cè)試的時(shí)候使用代碼生成了1000 0000條模擬的日志記錄,最后大概能在8~9秒內(nèi)統(tǒng)計(jì)出來(lái)
當(dāng)然聰明的朋友可以把這些代碼寫成一個(gè)函數(shù),方便以后使用!
?
后來(lái)發(fā)現(xiàn)linux下可以使用一些命令組合實(shí)現(xiàn)這個(gè)功能,只是不知道效率如何
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr -k1 | head -n 10
?
第一篇博客,如有不足請(qǐng)見(jiàn)諒
?
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
