bianbian coding life

便便代码人生: 关注技术, 翻译文档, 偶尔动动手

[原] php读取二进制流（C语言结构体struct数据文件）

Posted by bianbian on 2008-04-20 01:08


本文Tags: , , , , , , , ,

尽管php是用C语言开发的，不过令我不解的是php没有提供对结构体struct的直接支持。
不过php提供了pack和unpack函数，用来进行二进制数据（binary data）和php内部数据的互转：

  1. string pack ( string $format [, mixed $args [, mixed $...]] )
  2. //Pack given arguments into binary string according to format.
  3.  
  4. array unpack ( string $format, string $data )
  5. //Unpacks from a binary string into an array according to the given format.

其中，$format跟perl里的pack格式类似，有如下一些（中文是我加的，有不准确的欢迎提出）：
a NUL-padded string，即“\0”作为“空字符”的表示形式
A SPACE-padded string，空格作为“空字符”的表示形式
h Hex string, low nibble first，升序位顺序
H Hex string, high nibble first，降序位顺序
c signed char，有符号单字节
C unsigned char，无符号单字节
s signed short (always 16 bit, machine byte order)
S unsigned short (always 16 bit, machine byte order)
n unsigned short (always 16 bit, big endian byte order)
v unsigned short (always 16 bit, little endian byte order)
i signed integer (machine dependent size and byte order)
I unsigned integer (machine dependent size and byte order)
l signed long (always 32 bit, machine byte order)
L unsigned long (always 32 bit, machine byte order)
N unsigned long (always 32 bit, big endian byte order)
V unsigned long (always 32 bit, little endian byte order)
f float (machine dependent size and representation)
d double (machine dependent size and representation)
x NUL byte，实际使用的时候作为跳过多少字节用，很有用
X Back up one byte，后退1字节
@ NUL-fill to absolute position，实际使用的时候作为从开头跳到某字节用，很有用

实际使用发现：C里的“\0”（即字符串终止符）在php里并不是终止符，而是作为了字符串的一部分。因此，必须对“\0”进行特殊处理，才能进行struct和php内部数据的完美互转。比如 char name[10]; 如果实际数据是“62 69 61 6E 00 62 69 61 6E 00”，在C语言里第5个位置有终止符，name应该是“bian”；而用了unpack转换以后在php里的name却是“bian\0bian\0”。
一开始我用了strpos函数找到“\0”的位置，然后进行substr截取：

  1. $name = substr($name, 0, strpos($name, "\0"));

不过很Faint的事情发生了，不知道是strpos的bug还是substr的bug（其实测试一下就知道，懒得试），有些字符串没问题，有些字符串却只能得到空值（即$name == ”）。很是郁闷，后来找了个strtok函数，这下没有问题了：

  1. $name = strtok($name, "\0");

难为大家看了那么多，下面写个完整的php读取二进制数据流（C语言结构体struct数据）文件的示例代码：
首先是C的struct定义示例，为了演示，我就写个简单点的，实际对照上面那个$format格式表应该没有问题：

  1. struct BIANBIAN {
  2.     char name[10];
  3.     char pass[33];
  4.     int  age;
  5.     unsigned char flag;
  6. };

比如有个“bianbian.org”文件，内容就是上面的N个BIANBIAN结构体构成的。读取的php代码：

  1. //下面根据struct确定$format，注意int类型跟机器环境有关，我的32位Linux是4个长度
  2. $format = 'a10name/a33pass/iage/Cflag';
  3. //确定一个struct占用多少长度字节，如果只是读取单个结构体这是不需要的
  4. $length = 10 + 33 + 4 + 1;
  5. //也可以用fopen + fread + fclose，不过file_get_contents因为可以mmap，效率更高
  6. $data = file_get_contents('bianbian.org', 'r');
  7. for ($i = 0, $c = strlen($data); $i < $c; $i += $length) {
  8.     $bianbian = unpack("@$i/$format", $data);
  9.     //reference传递是php 5才支持的，如果用php4，得用其他办法
  10.     foreach ($bianbian as &$value) {
  11.         if (is_string($value)) {
  12.             $value = strtok($value, "\0");
  13.         }
  14.     }
  15.     print_r($bianbian);
  16. }
  17. //输出为array，即类似：
  18. Array
  19. (
  20.     [name] => 'bianbian'
  21.     [pass] => 'bianbian.org'
  22.     [age]  => 100
  23.     [flag] => 0
  24. )
  25. ...

pack应该跟unpack相反。

标签: , , , , , , , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Technology, php | 4 Comments »

[译] JavaScript (XMLHttpRequest) 读取二进制数据流

Posted by bianbian on 2008-04-06 01:36


本文Tags: , , , , ,

译者注：原来想用JS直接处理C丢过来的struct数据，具体可以查看：[原] C的struct和JSON交互。
经过千辛万苦的查找，找到了这篇文章（作者应该比我更辛苦）：Downloading Binary Streams with Javascript XMLHttpRequest
把关键点翻译如下（不过我还没有测试）：
利用XMLHttpRequest的overrideMimeType方法设置charset为x-user-defined。

  1. //fetches BINARY FILES synchronously using XMLHttpRequest
  2. load_url = function(url) { 
  3.   netscape.security.PrivilegeManager.enablePrivilege("UniversalBrowserRead");
  4.   var req = new XMLHttpRequest();
  5.   req.open('GET',url,false);
  6.   //XHR binary charset opt by Marcus Granado 2006 [http://mgran.blogspot.com]
  7.   req.overrideMimeType('text/plain; charset=x-user-defined');
  8.   req.send(null);
  9.   if (req.status != 200) return '';
  10.   return req.responseText;
  11. }
  12.  
  13. var filestream = load_url(url);
  14. var abyte = filestream.charCodeAt(x) & 0xff;

IE不支持overrideMimeType方法，不过有评论者说VBScript可以实现：

  1. Dim xhr
  2. Set xhr = CreateObject("Microsoft.XMLHTTP")
  3. xhr.Open "GET", "folder.bin", False
  4. xhr.setRequestHeader "Accept-Charset", "x-user-defined"
  5. xhr.setRequestHeader "Content-Type", "application/pdf"
  6. xhr.send Null
标签: , , , , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in JavaScript, Technology | No Comments »

[原]涂鸦板oekakibbs和Shi-PainterPRO数据格式分析

Posted by bianbian on 2006-12-19 06:33


本文Tags: ,

去年用C语言实现的涂鸦板：http://bbs.nju.edu.cn/pntmain
想当年，一夜没睡，不停地debug、截获网络数据，分析涂鸦板oekakibbs和Shi-PainterPRO的数据格式。
最后保存成功带给我的喜悦我是终身难忘。这也是我喜欢编程的部分原因吧。呵呵
oekakibbs和Shi-PainterPRO是比较有名的涂鸦板程序（实际是Java Applet程序），通过http协议和自定义的数据格式往后台提交数据。解析数据网络上比较多的是php和asp的代码，但是因为和彼此自己的系统结合，所以看起来比较费尽。不过从来没有数据格式说明文档。
今天偶然又翻了一下这些代码，顺便在blog里记一下。要是能给其他人省点力气，也算功德一件。呵呵

  1. /*
  2. 解析涂鸦板传过来的数据并保存图片
  3. Net@Lilybbs, 2005-11-14 7:18
  4. /////////////////////////////
  5. 参数传递：pntupload?临时key_工具名
  6. ====================================
  7. oekakibbs数据格式：
  8. -------------------------------
  9. ...Content-type:string
  10.  
  11. Content-type:string
  12.  
  13. Content-type:image/0
  14.  
  15. {PNG图片数据}
  16. Content-type:animation/
  17.  
  18. {oekakibbs动画数据}
  19. ====================================
  20. Shi-PainterPRO数据格式：
  21. -------------------------------
  22. S0000000000{当前PNG图片的字节数}
  23. {PNG图片数据}{pch长度}{pch文件内容}
  24. -------------------------------
  25. //以下是pch文件内容:
  26. layer_count=3
  27. layer_max=35
  28. layer_last=35
  29. image_width=300
  30. image_height=300
  31. count_lines=25
  32. quality=1
  33.  
  34. {其他信息}
  35. -------------------------------
  36. */
  37. #include "www.h"
  38.  
  39. int pntupload_main()
  40. {
  41.     int n, i, j, key=0;
  42.     char tmp[80], *buf, tool[30], *p;
  43.     FILE *fp;
  44.  
  45.     chdir(BBSHOME);
  46.     http_header(200);
  47.     printf("Content-type: text/html; charset=gb2312\n\n");
  48.     n = atoi(getsenv("CONTENT_LENGTH"));
  49.     if (n<0 || n>3000000)
  50.         http_fatal("too big");
  51.     buf = malloc(n);
  52.     if(buf==0) http_fatal("out of memory");
  53.     fread(buf, 1, n, stdin); //读入buf
  54. /*
  55.     fp = fopen("paint/data", "w");
  56.     fwrite(buf, 1, n, fp);
  57.     fclose(fp);
  58. */
  59.     //-------- 获得_U_KEY
  60.     key = atoi(getsenv("QUERY_STRING"));
  61.     //-------- 获得tool
  62.     p = strchr(getsenv("QUERY_STRING"), '_');
  63.     strsncpy(tool, p+1, 20);
  64.  
  65.     //-------- 根据不同tool, 不同处理数据
  66.     //oekakibbs和oekakibbs2的处理是一样的
  67.     if(!strncmp("oekakibbs", tool, 9))
  68.     {
  69.         //-------- 获得图片
  70.         i = memstr(buf, n, "Content-type:image/0");
  71.         j = memstr(buf+i+24, n, "Content-type:animation/"); //24是"Content-type:image/0\r\n\r\n"的长度
  72.         sprintf(tmp, "paint/tmp/%d.png", key);
  73.         fp = fopen(tmp, "w");
  74.         fwrite(buf + i + 24, 1, j, fp); //j实际是png的长度
  75.         fclose(fp);
  76.         //-------- 获得动画
  77.         j += i+24; //j现在是从buf开始指向Content-type:animation的偏移量
  78.         sprintf(tmp, "paint/tmp/%d.oeb", key);
  79.         fp = fopen(tmp, "w");
  80.         fwrite(buf+j+27, 1, n - j - 27, fp); //p2-buf是长度，27是"Content-type:animation/\r\n\r\n"的长度
  81.         fclose(fp);
  82.         //需要输出success告诉applet保存成功
  83.         printf("success");
  84.     }
  85.     else if(!strcmp("Shi-Painter", tool))
  86.     {
  87.         //png 头：HEX 89 50 4E 47 0D 0A
  88.         //png 尾：HEX 49 45 4E 44 AE 42 60 82
  89.         //unsigned char pngend[] = {0x49, 0x45, 0x4E, 0x44, 0xAE, 0x42, 0x60, 0x82};
  90.         i = memstr(buf, n, "\r\n"); //第2行开始就是PNG图片
  91.         j = atoi(buf+1); //buf[0]固定是S，之后就是PNG的长度
  92.         sprintf(tmp, "paint/tmp/%d.png", key);
  93.         fp = fopen(tmp, "w");
  94.         fwrite(buf+i+2, 1, j, fp);
  95.         fclose(fp);
  96.         //-------- 获得动画
  97.         j += i+2; //j现在是从buf开始指向PNG末尾的偏移量
  98.         i = memstr(buf+j, n, "layer_count="); //这里的i就相当于oekakibbs里面的27:就是PNG末尾到layer_count的长度
  99.         sprintf(tmp, "paint/tmp/%d.oeb", key);
  100.         fp = fopen(tmp, "w");
  101.         fwrite(buf+j+i, 1, n-j-i, fp);
  102.         fclose(fp);
  103.     }
  104.     exit(0);
  105. }
标签: ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in C/C++, Technology | 1 Comment »