1 #@+leo-ver=4
   2 #@+node:@file cvsanalyser.py
   3 #@verbatim
   4 #@ignore
   5 #@verbatim
   6 #@language python
   7 #@<< cvsanalyser declarations >>
   8 #@+node:<< cvsanalyser declarations >>
   9 # -*- coding: UTF-8 -*-
  10 """cvsanalyser CVS History analyser
  11     - 直接分析CVS History 记录
  12     - 取得统计数据!
  13 特别的 203 中的自动执行:
  14     - #su -l sinaop
  15     - 专门的用户中的 来维护
  16     - %crontab -e
  17     
  18 @version: $Id: cvsanalyser.py,v 1.10 2005/01/05 07:13:36 zhouqi Exp $
  19 @author: U{Zoom.Quiet<mailto:Zoom.Quiet@gmail.com>}
  20 @see: U{cvsdelta by Limodou<http://pyrecord.freezope.org/articles/doc2001082801/show>}
  21 """
  22 import sys,os,string
  23 import time,datetime
  24 from elementtree import ElementTree
  25 from elementtree.ElementTree import Element, SubElement, tostring
  26 
  27 import getopt
  28 import ConfigParser
  29 
  30 #@-node:<< cvsanalyser declarations >>
  31 #@nl
  32 #@+others
  33 #@+node:class CvsAnalyser
  34 class CvsAnalyser:
  35     """主类,集成所有处理
  36     """
  37     #@  @+others
  38     #@+node:__init__
  39     def __init__(self):
  40         """初始化参数
  41             - 通过 /var/log/cron 的据错邮件发现目录的严格性
  42             - 当前除了.conf 文件,要需要配置cfg 文件的读取路径!
  43         """    
  44         self.cfg = ConfigParser.ConfigParser()
  45         try:
  46             # 必须正确指定配置文件路径在此
  47             self.cfg.read("/home/zoomq/share/statcvs/cvsanalyser.conf")        
  48             #=============================
  49             #以下是运行脚本不需要修改
  50             self.cvsroot = self.cfg.get('Path','cvsroot')        
  51             self.cvs = self.cfg.get('Target','cvs').split()
  52             self.tarea = int(self.cfg.get('Target','time'))
  53             self.viewcvs = self.cfg.get('Target','viewcvs')
  54             self.xml = self.cfg.get('Target','xml')
  55             self.xmlhead = """<?xml version='1.0' encoding='UTF-8'?>
  56             <!-- edited with elementtree (http://effbot.org/zone/element-index.htm) by Zoom.Quiet  -->
  57             <?xml-stylesheet type='text/xsl' href='historystat.xsl'?>
  58             """
  59             #self.cfg.get('Target','xmlhead')
  60             
  61             self.finder = "find %s -mtime -7 -type f | wc -l | awk '{print $1}'"
  62         except:
  63             print """config files:\n cvsanalyser.conf 
  64             not exist or bad!!!
  65             please check it....and try again!
  66             """
  67             return
  68         self.report = {}
  69         self.stime = (datetime.date.today()-datetime.timedelta(self.tarea)).isoformat()
  70         self.etime = datetime.date.today().isoformat()
  71         #print self.etime
  72     #@-node:__init__
  73     #@+node:__repr__
  74     def __repr__(self):
  75         """类自述定义,记录手册等等信息
  76         """
  77         return """
  78         使用手册:
  79         设置 cvsanalyser.conf 指定对应的 CVS root 的目录,和输出的XML文件,以及文件的编码约定
  80         cvsanalyser.py 将自动追查所有CVS模块的更新信息
  81         """
  82     #@nonl
  83     #@-node:__repr__
  84     #@+node:chkFiles
  85     def chkFiles(self):
  86         """逐一搜索有效目录获得History 文件列表
  87             - 好象没有必要? CVSROOT 目录是每个库的唯一!
  88         """
  89         files = []
  90         for key in self.cvs:
  91             files.append(key)
  92         return files
  93     #@nonl
  94     #@-node:chkFiles
  95     #@+node:analyseAll
  96     def analyseAll(self):
  97         """逐一处理所有模块
  98             - 使用Python 内建结构先建立数据映射
  99             - self.report{}:
 100                 - cvs 仓库名称:{}
 101                     - commits: ; files: ;
 102                     - mods:{}
 103                         - 模块名:{}
 104                         - commits: ; files: ;
 105                         - viewcvs:{} 链接到 ViewCVS 各文件的 下载,查看
 106         # 本地单一文件测试
 107             his = open("history","r")        
 108             hislis = his.readlines()
 109             print "-------------"
 110             print len(hislis)
 111             cvs="scm"
 112             self.report[cvs]=self.analyseDate(hislis)
 113             print "==============="
 114             #print self.report
 115             self.put2xml()
 116             return
 117         """
 118         cvsli = self.chkFiles()    
 119         for cvs in cvsli:
 120             #print hisfile
 121             his = open(self.cvsroot+cvs+"/CVSROOT/history","r")        
 122             hislis = his.readlines()
 123             print "-------------"
 124             print len(hislis)
 125             self.report[cvs]=self.analyseDate(hislis)
 126             
 127         #print self.report
 128         """成功的数据实例
 129         {'scm': {'files': 9, 'commits': 20
 130         , 'mods': {'scm': {'files': 9, 'commits': 20
 131         ,'viewcvs': {
 132             'CVSanalyser.leo': ('M', '41d50d27', 'zhouqi', 'scm/statcvs', '1.3',
 133      'CVSanalyser.leo')
 134             , 'weeklystat.py': ('M', '41d50d27', 'zhouqi', 'scm/statcvs',
 135      '1.4', 'weeklystat.py')
 136             , 'weeklystat.xsl': ('M', '41d4ec4c', 'zhouqi', 'scm/sta
 137     tcvs', '1.3', 'weeklystat.xsl')
 138             , 'cvsanalyser.conf': ('M', '41d50d27', 'zhouqi',
 139      'scm/statcvs', '1.2', 'cvsanalyser.conf')
 140             , 'statcvs.sh.py': ('M', '41d4ec4c', '
 141     zhouqi', 'scm/statcvs', '1.6', 'statcvs.sh.py')
 142             , 'weeklystat.xml': ('A', '41d0f6
 143     92', 'zhouqi', 'scm/statcvs', '1.1', 'weeklystat.xml')
 144             , 'style.css': ('A', '41d0
 145     f7b3', 'zhouqi', 'scm/statcvs', '1.1', 'style.css')
 146             , 'cvsanalyser.py': ('M', '41
 147     d50d27', 'zhouqi', 'scm/statcvs', '1.2', 'cvsanalyser.py')
 148             , 'sinaeye.ico': ('A',
 149      '41d0f7b3', 'zhouqi', 'scm/statcvs', '1.1', 'sinaeye.ico')
 150             }
 151         }
 152     }
 153     }}
 154         """
 155             
 156             
 157             
 158     #@nonl
 159     #@-node:analyseAll
 160     #@+node:analyseDate
 161     def analyseDate(self,historic):
 162         """根据日期进行统计
 163             - 是每个CVS 的针对性分析
 164         """
 165         rep = []
 166         #stat = 0
 167         for line in historic:
 168             info = self.analyseLine(line)
 169             #'%Y-%m-%d %H:%M:%S'
 170             sdate=time.strftime('%Y-%m-%d', time.localtime(int(info[1], 16)))
 171             if(sdate>=self.stime):            
 172                 if(info[0]in"AMT"):
 173                     #stat+=1
 174                     rep.append(info)
 175         # 数组长度就是CVS 的总提交修改数!commits
 176         
 177         print "<<history in date right"
 178         print len(rep)    
 179         return self.analyseAct(rep)
 180     #@-node:analyseDate
 181     #@+node:analyseAct
 182     def analyseAct(self,list):
 183         """根据行为分析
 184             - 关注 M|A 作为更新
 185             - T 作为版本标记行为
 186             - 统计不同模块中的更新情况!
 187                 - 变更次数
 188                 - 文件数            
 189             - 统计整个库的修改文件数
 190         """
 191         rep = {}
 192         rep["commits"]=0
 193         rep["files"]=0
 194         modict={}   #记录有更新的模板信息
 195         fdict={}   #记录有更新的文件    
 196         for line in list:
 197             if(line[0] in "AMT"):
 198                 rep["commits"]+=1
 199                 #print line
 200                 #模块处理
 201                 moudle = line[3].split("/")[0]
 202                 if(moudle in modict):
 203                     modict[moudle]["commits"]+=1
 204                     fdict=self.analyseFile(fdict,moudle,line)
 205                 else:
 206                     #新发现的模块
 207                     print "moudle:::"+moudle
 208                     modict[moudle]={}
 209                     modict[moudle]["commits"]=1
 210                     modict[moudle]["files"]=1                    
 211                     # 文件处理
 212                     fdict=self.analyseFile(fdict,moudle,line)
 213             else:
 214                 pass
 215         rep["mods"]=modict
 216         for mod in rep["mods"]:
 217             # 统计每模块的文件信息
 218             rep["mods"][mod]["viewcvs"]=fdict[mod]
 219             rep["mods"][mod]["files"]=len(fdict[mod])
 220             # 统计整个库的文件信息
 221             rep["files"]+=rep["mods"][mod]["files"]
 222         #rep["viewcvs"]=self.viewcvsFiles(fdict)
 223         
 224         """"
 225         for m in fdict:
 226             print len(fdict[m])
 227             for f in fdict[m]:
 228                 print fdict[m][f]
 229         """
 230         return rep
 231         
 232     #@nonl
 233     #@-node:analyseAct
 234     #@+node:analyseFile
 235     def analyseFile(self,fdict,mod,hisline):
 236         """使用专门的容器,累计分析文件信息
 237             - fdict 上级的文件统计容器
 238             - 当前的模块信息
 239             - 当前的文件History 行信息
 240         """
 241         file = hisline[5]
 242         if mod in fdict:
 243             if file in fdict[mod]:
 244                 fdict[mod][file]=hisline
 245             else:
 246                 fdict[mod][file]=hisline
 247         else:
 248             #创建新的模块文件信息容器
 249             fdict[mod]={}
 250             fdict[mod][file]=hisline
 251             
 252         return fdict
 253     #@nonl
 254     #@-node:analyseFile
 255     #@+node:viewcvsFiles
 256     def viewcvsFiles(self,hisline):
 257         """根据行为列表组合 ViewCVS 链接
 258             - 在线观看
 259             - 下载
 260         仅仅在输出XML等等其它文件时调用
 261         """
 262         url=""
 263         
 264         
 265         return url
 266                 
 267         
 268     
 269     #@-node:viewcvsFiles
 270     #@+node:analyseLine
 271     def analyseLine(self,line):
 272         """分析日志行,分解得到信息元组
 273             - 操作类型 
 274             - 操作日期
 275             - 提交人
 276             - 模块
 277             - 版本
 278             - 文件名
 279         """
 280         fields=line.split('|')
 281         return (fields[0][0], fields[0][1:], fields[1],fields[3], fields[4], fields[5][:-1])
 282     #@-node:analyseLine
 283     #@+node:put2xml
 284     def put2xml(self):
 285         """汇出数据为XML文件!
 286             - 使用轻型XML操作库 Elements and Element Trees
 287             - @see: U{Elements<http://effbot.org/zone/element.htm>}
 288         """
 289         re = self.report
 290         zday = time.strftime("%Y-%m-%d",time.localtime(time.time()))
 291         print zday
 292         ztime = time.strftime("%X",time.localtime(time.time()))
 293         # 必须使用系统的绝对路径!否则无法 cron 自动执行
 294         tree = ElementTree.parse(self.xml).getroot()
 295         week = tree.findall("week")
 296         # 先判定是否要覆盖记录
 297         done = 0
 298         for node in week:
 299             if(zday==node.attrib["date"]):            
 300                 #print node.attrib["date"]
 301                 done = 1
 302                 tree.remove(node)
 303                 break
 304         #tree.SubElement(tree, "week")
 305         if(1==done):        
 306             print "recorded xml! new upgrade it!"        
 307         else:
 308             print "need recording...will exp. as xml file" 
 309         neweek = Element("week")
 310         neweek.set("date", zday)     
 311         neweek.set("time", ztime)       
 312         statcount = {'files':0
 313             ,'commits':0
 314             }                
 315         for proj in re:
 316             #print self.report[proj]
 317             #print proj
 318             newcvs = SubElement(neweek, "cvs")            
 319             newcvs.set("name", proj)
 320             newcvs.set("files", str(re[proj]["files"])) 
 321             newcvs.set("commits", str(re[proj]["commits"]))
 322             statcount["files"]+=re[proj]["files"]
 323             statcount["commits"]+=re[proj]["commits"]
 324             for mod in re[proj]["mods"]:
 325                 module = SubElement(newcvs, "module")
 326                 module.set("name", mod)
 327                 module.set("files", str(re[proj]["mods"][mod]["files"])) 
 328                 module.set("commits", str(re[proj]["mods"][mod]["commits"]))    
 329                 for view in re[proj]["mods"][mod]["viewcvs"]:
 330                     file = Element("file")
 331                     #ViewCVS 处理
 332                     his = re[proj]["mods"][mod]["viewcvs"][view] 
 333                     #print re[proj]["mods"][mod]["viewcvs"][view]        
 334                     file.set("name", view) 
 335                     # 小心谨慎的拼合!
 336                     file.set("view", self.viewcvs+his[3]+"/"+his[5]+"?root="+proj+"&rev="+his[4]+"&view=auto")
 337                     file.set("load", self.viewcvs+"*checkout*/"+his[3]+"/"+his[5]+"?rev="+his[4])
 338                     module.append(file)
 339                 #print re[proj]["mods"][mod]
 340             neweek.set("commits", str(statcount["commits"]))
 341             neweek.set("files", str(statcount["files"]))     
 342         tree.append(neweek)
 343         #ElementTree.ElementTree(tree).write("out.xml")
 344         code = tostring(tree)
 345         #print code
 346         print self.xml
 347         open(self.xml,"w").write(self.xmlhead+code)
 348     #@nonl
 349     #@-node:put2xml
 350     #@-others
 351 #@-node:class CvsAnalyser
 352 #@-others
 353         
 354 
 355 if __name__ == '__main__':
 356     """基本运行模式
 357     """
 358     week = CvsAnalyser()
 359     week.analyseAll()
 360     week.put2xml()
 361 #@nonl
 362 #@-node:@file cvsanalyser.py
 363 #@-leo

CvsWeeklyStat/WeeklycvsHow/cvsanalyser.py (last edited 2009-12-25 07:17:57 by localhost)