含有章节索引的中文 文章模板 -- dreamingk [2004-08-09 01:46:12]

1. 题面

HD hdcola at gmail.com 
Mon Jul 26 09:30:37 HKT 2004

这两天在做流的识别与传输,遇到一个小小问题,与大家一起讨论。 :)

另外我将邮件的名命名为[日期][本周代码分析],希望以后我们每周讨论一段有价值的代码,以加深大家对python、twisted、网络开发、开发技巧方面的了解。 :)

我先提出本周的代码分析,是我在twisted中使用时遇到的问题。希望我们这周能分析出它的机制来。 :) 了解清它内部的机理会有利于我们将来的应用。

我在自己的protocol中有如下代码:

   1     def dataReceived(self, data):
   2         """ 接收数据报头,判断报文大小,接收报文数据"""
   3         self.__buffer = self.__buffer + data
   4         (length,) = struct.unpack('>I', self.__buffer[:4])

在系统运行时间长一点时会发现python报出一个Exception,说是format不一至。

这时仔细考虑了问题的原因是在于对方发送tcp流的速度不快,
导致data中(也就是__buffer中)的数据没有4个字节,这时使用struct.unpack会出现解不出一个I的情况来。

于是,我对代码做了如下改动:

   1     def dataReceived(self, data):
   2         """ 接收数据报头,判断报文大小,接收报文数据"""
   3         self.__buffer = self.__buffer + data
   4 
   5         while len(self.__buffer):
   6             trynum = 0
   7             while True:
   8                 try:
   9                     (length,) = struct.unpack('>I', self.__buffer[:4])
  10                     break
  11                 except Exception :
  12                     print "unpack error"
  13                     trynum += 1
  14                     if (trynum > 10):
  15                         break

呵呵,办法显的不是哪么的巧妙,但是通常10次之内真的能将正确的报头(头四个字节)收下来,以让程序正确的运行下去。但是这个东东让我感觉很是不爽,为什么呢?因为占用太多的cpu,即使加入了sleep,也违反了异步工作的机理。但是这个方法已经让我出现了疑惑,它怎么可能就成功了呢?

self.__buffer = self.__buffer + data
怎么就会让__buffer能在try 10次的过程中加足了四个字节呢?

我非常有兴趣的将代码改了一下,因为我想看看twisted是不是真的会很"神奇":

   1     def dataReceived(self, data):
   2         """ 接收数据报头,判断报文大小,接收报文数据"""
   3         self.__buffer = self.__buffer + data
   4 
   5         while len(self.__buffer):
   6                 try:
   7                     (length,) = struct.unpack('>I', self.__buffer[:4])
   8                     break
   9                 except Exception :
  10                     print "unpack error"
  11                     return

这时我又发现,这段代码还可以成功运行。不但一个客户壘

1.1. “流”这个概念


一个读者的冒昧发言(看完请您删掉):

恕我冒昧,这篇文章虽未写完,但我已经不忍心看您写下去了。

我想您对于“流”这个概念理解还不够,恰好我刚完成一个python的服务器项目,用的就是twisted,虽然理解还不够深刻,但多多少少还是有些了解的。

您在dataReceived函数中的处理不合常理,要知道网络数据流没人保证它一次传递几个字节过来,然后调用一次你的处理函数。所以有可能一个数据包的接收要多次调用你的处理函数,也可能只调用一次,也可能一次调用里面有多个数据包,所以这时处理要仔细了。

我根据您的代码稍做了一下修改:

   1 import struct
   2 
   3 class Test:
   4 
   5     def __init__ (self):
   6         self.__buffer = ''
   7 
   8     def dataReceived(self, data):
   9         self.__buffer = self.__buffer + data
  10 
  11         while len(self.__buffer) >= 4:
  12             (length,) = struct.unpack('I', self.__buffer[:4])
  13             body = self.__buffer[4:4+length]
  14             if len (body) == length:
  15                 self.onMessage (body)
  16                 self.__buffer = self.__buffer[4+length:]
  17             elif len(body) < length:
  18                 print 'Pack length not enough, wait for next receive'
  19                 break
  20             else:
  21                 print 'Error! Error! Error!'
  22                 assert False
  23         print 'Buffer length:', len (self.__buffer)
  24 
  25     def onMessage (self, msg):
  26         print 'onMessage:', msg
  27 
  28 t = Test ()
  29 str = 'People\'s Republic of China'
  30 data = struct.pack ('I', len(str))
  31 data += str[:3]
  32 t.dataReceived (data[:2])    # line A
  33 t.dataReceived (data[2:])    # line B
  34 data = str[3:]
  35 str = 'Python world'
  36 data += struct.pack ('I', len(str))
  37 data += str
  38 str = 'Twisted network framework'
  39 data += struct.pack ('I', len(str))
  40 data += str
  41 t.dataReceived (data)    # line C

上面代码中,最后面几行是测试代码,line A处发送了一个不完整的包头,line B处补全了包头但这个包还是没发完整,line C处不但补全了这个包,还把另2个包一起发过去了,网络数据流经常会有这种情况。经测试,上面代码很好地完成了功能。

不过还需要注意的是,上面的数据包处理代码没有经过校验,可能存在重大问题。比如包格式错误(网络上传输的数据谁能保证没有出错呢),如果解出一个很大的长度值,则程序将分不出其它包的间隔了,这些都要单独处理,最好在每个包后面再附加一个分隔符,包分解时判断一下是不是从分隔符处分开的(长度前缀也应保留,可提高效率,2个相互补充)。不要因为一个不重要的坏包影响了整个系统的运行。

当然上面提到的这个问题不在本文讨论之列,不再详述了。

2. 反馈

  • 最后说声对不起。我对WIKI这个东东还不会用,不知道怎么跟个帖子,所以直接编辑了您的帖子,但没有修改您所发的内容,望见谅。
  • 哈哈哈!谢谢!Wiki 的本质就是公共写作!谁都可以编辑他人的文章!只要是正确的思想!不过应该留下网名,或是邮箱,以便大家进一步交流 -- ZoomQuiet

3. 联系方式

  • 我就是上面那个冒昧的读者,很有兴趣和大家一起探讨python,我最近才开始用心学python的,不知道大家经常在哪里讨论呢? -- LiJie

  • 你从首页就应该发现我们的讨论中心