我目前能想到的方法:
awk分析日誌 條件求和,更新資料庫(kù)。
但當(dāng)日誌體積龐大時(shí),效率會(huì)受到影響。
有沒(méi)有更簡(jiǎn)潔的方式?
小伙看你根骨奇佳,潛力無(wú)限,來(lái)學(xué)PHP伐。
說(shuō)一下我們的方案,流量1.9kw
1. 前臺(tái)以 方式記錄傳輸日誌
2. ningx
單獨(dú)記錄 tj.html
的訪問(wèn)日誌
3. syslog
定時(shí) 1分鐘分割一次
4. cronjob
定時(shí)1
分鐘 處理分析分割好的日誌
現(xiàn)在我們採(cǎi)用的是1分鐘更新一次mysql
數(shù)據(jù)庫(kù),正在打算將當(dāng)天的數(shù)據(jù)存儲(chǔ)方式放到redis上,而將歷史記錄放到mongodb
上
只要定時(shí)做好日誌切割,每次處理的檔案不會(huì)很大。
然後自己寫個(gè)小程式統(tǒng)計(jì),效率比較高。
如果有比較靈活的查詢需求,還可以把日誌資訊記錄到資料庫(kù)裡頭去,根據(jù)時(shí)間和必要的欄位建立好索引,用SQL直接查詢就好了。