bianbian coding life

便便代码人生: 关注技术, 翻译文档, 偶尔动动手

[原] ftp4j的解析list的bug及解决

Posted by bianbian on 2008-06-19 08:08


本文Tags: , , ,

上次推荐的ftp4j在解析部分FTP站点的目录list的时候遇到了FTPListParseException（也怪FTP协议没有对LIST格式作出标准）。查看源码发现，主要是两个问题：
1）文件权限不只rwx这三个，附加了s、t（详见http://en.wikipedia.org/wiki/File_system_permissions）
2）部分ftpd似乎直接调用的“ls -l”输出目录，第一行是“total xxx”
给作者写信了，说不定下个版本就有Sepcial Thanks to bianbian 了。嘿嘿嘿嘿。。。
修正后的代码（省略后面没有变化的部分）：

  1. public class UnixListParser implements FTPListParser {
  2.     // bianbian.org: Pattern有问题，修正
  3.     private static final Pattern PATTERN = Pattern
  4.             .compile("^([dlcbsp\\-])[r\\-][w\\-][xsS\\-][r\\-][w\\-][xsS\\-][r\\-][w\\-][xtT\\-]\\s+"
  5.                     + "(?:\\d+\\s+)?\\S+\\s*\\S+\\s+(\\d+)\\s+(?:(\\w{3})\\s+(\\d{1,2}))\\s+"
  6.                     + "(?:(\\d{4})|(?:(\\d{1,2}):(\\d{1,2})))\\s+"
  7.                     + "([^\\\\/*?\"<>|]+)(?: -> ([^\\\\*?\"<>|]+))?$");
  8.     private static final DateFormat DATE_FORMAT = new SimpleDateFormat(
  9.             "MMM dd yyyy HH:mm", Locale.US);
  10.     public FTPFile[] parse(String[] lines) throws FTPListParseException {
  11.         int currentYear = new GregorianCalendar().get(Calendar.YEAR);
  12.         int i, jump = 0, size = lines.length;
  13.         //bianbian.org: glftpd 的第一行和 ls -l 一样，会丢个"total N"过来，先去掉
  14.         if (size > 0 && lines[0].startsWith("total")) {
  15.             size--;
  16.             jump = 1;
  17.         }
  18.         FTPFile[] ret = new FTPFile[size];
  19.         for (i = 0; i < size; i++) {
  20.             Matcher m = PATTERN.matcher(lines[i + jump]);
  21.             if (m.matches()) {
  22.                 ret[i] = new FTPFile();
  23.                 // Retrieve the data.
  24.                 char typeChar = m.group(1).charAt(0);
  25.                 String sizeString = m.group(2);
  26.                 String monthString = m.group(3);
  27.                 String dayString = m.group(4);
  28.                 String yearString = m.group(5);
  29.                 String hourString = m.group(6);
  30.                 String minuteString = m.group(7);
  31.                 String nameString = m.group(8);
  32.                 String linkedString = m.group(9);
  33.                 // Parse the data.
  34.                 if ("-cbsp".indexOf(typeChar) > -1) {
  35.                     ret[i].setType(FTPFile.TYPE_FILE);
  36.                 } else if (typeChar == 'd') {
  37.                     ret[i].setType(FTPFile.TYPE_DIRECTORY);
  38.                 } else if (typeChar == 'l') {
  39.                     ret[i].setType(FTPFile.TYPE_LINK);
  40.                     ret[i].setLink(linkedString);
  41.                 } else {
  42.                     throw new FTPListParseException();
  43.                 }
  44.     ...
标签: , , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Java, Technology | 3 Comments »

[原] 强烈推荐一个纯java的FTP Client库：ftp4j

Posted by bianbian on 2008-04-15 11:08


本文Tags: , ,

ftp4j是个很年轻的开源项目，但是试用后发现很好很强大，如果你找一个纯java的FTP库，要支持socks4，socks4a，socks5，http代理，就是他了！
比apache的FTPClient（不支持代理）、半商业的edtFTPj（PRO支持代理，但是要$，而且是系统变量级的代理，不能单个指定）等好用多了，而且是LGPL协议，源码质量很高。（不过如果你需要FTPS及SFTP，那ftp4j不支持）
jar包只有50多k，地址在这里：ftp4j
使用代理的代码：

  1. import java.util.ArrayList;
  2. import it.sauronsoftware.ftp4j.FTPClient;
  3. import it.sauronsoftware.ftp4j.FTPFile;
  4. import it.sauronsoftware.ftp4j.connectors.SOCKS4Connector;
  5. ......
  6. //ftp4j使用socks4代理连接FTP示例，by http://bianbian.org
  7. FTPClient ftp = new FTPClient();
  8. SOCKS4Connector socks4 = new SOCKS4Connector("127.0.0.1", 1080);
  9. ftp.setConnector(socks4);
  10. ftp.connect("an.ip.or.host", 21);
  11. ftp.login("anonymous", "bianbian@bianbian.org");
  12. ftp.setCharset("gbk");
  13. //list files
  14. FTPFile[] list = ftp.list();
  15. for(FTPFile file : list) {
  16.     System.out.println(file);
  17. }
  18. ftp.disconnect(true);
标签: , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Java, Technology | 2 Comments »

[原]关于Indy组件(Delphi)实现FTP上传断点续传的方法 (upload resume)

Posted by bianbian on 2008-01-15 09:00


本文Tags: , , ,

Indy不仅支持下载断点续传，也支持上载断点续传，而且不需要对Indy做出改造。
在Blues的blog，他提到可以“通过IDFTP得到服务端已经上传的部分的SIZE，然后通过文件流在本地建立剩余部分的临时文件，然后以APPEND方式上传，传完后删除临时文件，达到上传断点续传的效果”。原文在此：DELPHI ftp 上传断点续传的实现。
我再仔细看了Indy的源码，发现不需要临时文件。可以对Blues的方法作出重大改进：
Put()方法第一个参数可以是TStream（实际上，如果是文件名的话Indy会建立Stream，然后再调用Stream的Put方法）。而且如果Append设为True的话，Indy不会去动Stream的Position：

  1. procedure TIdFTP.Put(const ASource: TStream; const ADestFile: string = '';
  2.  const AAppend: boolean = false);
  3. ...
  4. procedure TIdTCPConnection.WriteStream(AStream: TStream; const AAll: boolean = true;
  5.   const AWriteByteCount: Boolean = False; const ASize: Integer = 0);
  6. ...
  7.   if AAll then begin //bianbian注：如果Append，AAll是false
  8.     AStream.Position := 0;
  9.   end;
  10.   // This is copied to a local var because accessing .Size is very inefficient
  11.   if ASize = 0 then begin
  12.     LStreamEnd := AStream.Size;
  13.   end else begin
  14.     LStreamEnd := ASize + AStream.Position;
  15.   end;
  16.   LSize := LStreamEnd - AStream.Position;
  17. ...

也就是说，先把原文件的Stream Seek到Size位置，丢给Indy即可，实现也很简单：

  1. var
  2.   fs: TFileStream;
  3. ...
  4.   fs := TFileStream.Create(FullFileName, fmOpenRead or fmShareDenyWrite);
  5.   fs.Seek(size, 0); //偏移
  6.   FTP.Put(fs, ExtractFileName(FullFileName), True);
  7.   fs.Free;
标签: , , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Delphi, Technology | 1 Comment »