bianbian coding life

便便代码人生: 关注技术, 翻译文档, 偶尔动动手

Archive for the 'Java' Category

Java….

« Previous Entries

[原] ftp4j的解析list的bug及解决

Posted by bianbian on 2008-06-19 08:08


本文Tags: , , ,

上次推荐的ftp4j在解析部分FTP站点的目录list的时候遇到了FTPListParseException（也怪FTP协议没有对LIST格式作出标准）。查看源码发现，主要是两个问题：
1）文件权限不只rwx这三个，附加了s、t（详见http://en.wikipedia.org/wiki/File_system_permissions）
2）部分ftpd似乎直接调用的“ls -l”输出目录，第一行是“total xxx”
给作者写信了，说不定下个版本就有Sepcial Thanks to bianbian 了。嘿嘿嘿嘿。。。
修正后的代码（省略后面没有变化的部分）：

  1. public class UnixListParser implements FTPListParser {
  2.     // bianbian.org: Pattern有问题，修正
  3.     private static final Pattern PATTERN = Pattern
  4.             .compile("^([dlcbsp\\-])[r\\-][w\\-][xsS\\-][r\\-][w\\-][xsS\\-][r\\-][w\\-][xtT\\-]\\s+"
  5.                     + "(?:\\d+\\s+)?\\S+\\s*\\S+\\s+(\\d+)\\s+(?:(\\w{3})\\s+(\\d{1,2}))\\s+"
  6.                     + "(?:(\\d{4})|(?:(\\d{1,2}):(\\d{1,2})))\\s+"
  7.                     + "([^\\\\/*?\"<>|]+)(?: -> ([^\\\\*?\"<>|]+))?$");
  8.     private static final DateFormat DATE_FORMAT = new SimpleDateFormat(
  9.             "MMM dd yyyy HH:mm", Locale.US);
  10.     public FTPFile[] parse(String[] lines) throws FTPListParseException {
  11.         int currentYear = new GregorianCalendar().get(Calendar.YEAR);
  12.         int i, jump = 0, size = lines.length;
  13.         //bianbian.org: glftpd 的第一行和 ls -l 一样，会丢个"total N"过来，先去掉
  14.         if (size > 0 && lines[0].startsWith("total")) {
  15.             size--;
  16.             jump = 1;
  17.         }
  18.         FTPFile[] ret = new FTPFile[size];
  19.         for (i = 0; i < size; i++) {
  20.             Matcher m = PATTERN.matcher(lines[i + jump]);
  21.             if (m.matches()) {
  22.                 ret[i] = new FTPFile();
  23.                 // Retrieve the data.
  24.                 char typeChar = m.group(1).charAt(0);
  25.                 String sizeString = m.group(2);
  26.                 String monthString = m.group(3);
  27.                 String dayString = m.group(4);
  28.                 String yearString = m.group(5);
  29.                 String hourString = m.group(6);
  30.                 String minuteString = m.group(7);
  31.                 String nameString = m.group(8);
  32.                 String linkedString = m.group(9);
  33.                 // Parse the data.
  34.                 if ("-cbsp".indexOf(typeChar) > -1) {
  35.                     ret[i].setType(FTPFile.TYPE_FILE);
  36.                 } else if (typeChar == 'd') {
  37.                     ret[i].setType(FTPFile.TYPE_DIRECTORY);
  38.                 } else if (typeChar == 'l') {
  39.                     ret[i].setType(FTPFile.TYPE_LINK);
  40.                     ret[i].setLink(linkedString);
  41.                 } else {
  42.                     throw new FTPListParseException();
  43.                 }
  44.     ...
标签: , , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Java, Technology | 3 Comments »

[原] Shibboleth 2.0 Identity Provider (IdP) LDAP认证配置指南

Posted by bianbian on 2008-05-14 01:15


本文Tags: , , , ,

首先佩服老外：1）把简单的东西搞得很复杂 2）很会创造标准和协议
这次遇到的Shibboleth就是这么个东西，看了两天英文，对人为复杂、创造协议痛恨中。简单写个配置指南，给其他人做个参考，少走弯路。

注意：
1) 系统时间必须设置正确
2) apache 需要 mod_ssl mod_proxy_ajp，假设安装在 /etc/httpd
3) 必须使用 tomcat-5.5.x+，假设安装在 /opt/apache-tomcat-5.5.26
4) 如果需要改变安装目录重新安装，必须退到解压那步（否则很多和目录有关的代码不会重新编译，导致严重错误–啊！我整整一天的痛苦啊！）

# 取消tomcat的AJP身份认证
vi /opt/apache-tomcat-5.5.26/conf/server.xml
# 找到 Define an AJP 1.3 Connector 那，初始为：

  1. <Connector port="8009" 
  2.                enableLookups="false" redirectPort="8443" protocol="AJP/1.3" />

# 修改为（端口改变没有特殊目的，只是我系统上跑了好几个tomcat，防止冲突）：

  1. <Connector port="8019" 
  2.                enableLookups="false" redirectPort="8443" protocol="AJP/1.3"
  3.                request.tomcatAuthentication="false" address="127.0.0.1" />

# apache httpd 配置AJP反向代理
vi /etc/httpd/conf.d/proxy_ajp.conf
# 添加：
LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
ProxyPass /idp/ ajp://localhost:8019/idp/

# 安装Shibboleth 2.0 Identity Provider (IdP)
unzip shibboleth-idp-2.0.0-bin.zip
cd identityprovider
cp endorsed/*.jar /opt/apache-tomcat-5.5.26/common/endorsed/
sh ant.sh install
# 提示是否新安装，yes
# 提示选择安装目录，/opt/idp
# 提示hostname，根据实际填写
# 提示加密密匙，随便写

# 部署war
vi /opt/apache-tomcat-5.5.26/conf/Catalina/localhost/idp.xml
# 内容：

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <Context docBase="/opt/idp/war/idp.war"
  3.          privileged="true"
  4.          antiResourceLocking="false"
  5.          antiJARLocking="false"
  6.          unpackWAR="false" />

# 测试：应该能看到“ok”
httpd -k restart
links http://127.0.0.1/idp/profile/Status

# 配置用户名/密码认证方式
vi /opt/idp/conf/handler.xml
# 找到 Login Handlers 那，注释掉”RemoteUser”认证方式，启用UsernamePassword方式。修改为：

  1. <LoginHandler xsi:type="UsernamePassword" 
  2.                   jaasConfigurationLocation="file:///opt/idp/conf/login.config">
  3.         <AuthenticationMethod>urn:oasis:names:tc:SAML:2.0:ac:classes:unspecified</AuthenticationMethod>
  4.         <AuthenticationMethod>urn:oasis:names:tc:SAML:2.0:ac:classes:PasswordProtectedTransport</AuthenticationMethod>
  5.     </LoginHandler>

# 配置LDAP连接方式
vi /opt/idp/conf/login.config

  1. ShibUserPassAuth {
  2.    edu.vt.middleware.ldap.jaas.LdapLoginModule required
  3.       host="ldap.bianbian.org"
  4.       base="dc=test,dc=bianbian,dc=org"
  5.       serviceUser="cn=Directory Manager"
  6.       serviceCredential="11111111"
  7.       subtreeSearch="true"
  8.       userField="uid";
  9. };

# 配置SP（关键！加入SP的Metadata描述）
vi /opt/idp/conf/relying-party.xml
# 找到 MetadataProvider 那，注意修改id和backingFile要不同
# 假设某通过apache模块工作的SP位于 http://bianbian.org/

  1. <MetadataProvider id="URLMD" xsi:type="FileBackedHTTPMetadataProvider" xmlns="urn:mace:shibboleth:2.0:metadata"
  2.                metadataURL="http://bianbian.org/Shibboleth.sso/Metadata" 
  3.                backingFile="/opt/idp/metadata/bianbian.org-metadata.xml" />

# 配置传递属性，这跟每个SP有关，要与SP联合配置

标签: , , , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Java, Technology | No Comments »

[原] solr 1.3 multicore使用指南

Posted by bianbian on 2008-05-05 10:42


本文Tags: , ,

尽管solr 1.3还是dev版，目前还没release，它比1.2多的很多特性（特别是multicore的支持）还是让我选择了1.3（1.2用了一段时间，多个索引要复制多份，非常麻烦）。
使用基本和solr 1.2差不多，几乎没什么难度就切换到1.3了。只是多了multicore的配置：
solr/home比如设为/opt/solrs
在/opt/solrs下新建multicore.xml

  1. <?xml version="1.0" encoding="UTF-8" ?>
  2. <multicore adminPath="/admin/multicore" persistent="true" sharedLib="lib">
  3.  <core name="core0" instanceDir="core0" default="true"/>
  4.  <core name="core1" instanceDir="core1" />
  5. </multicore>

默认跑了，发现索引数据存放目录dataDir全跑到web-app容器的./solr/data目录下去了。。。。要知道multicore最关键的就是dataDir要不同。。。
参考wiki：MultiCore
上面说可以在core里加dataDir属性，于是加上，测试。ft，还是没用。
于是看solr源码，发现上面dataDir的部分根本没有读取（至少今天我svn check出来的代码里面没有，汗）。
于是跟踪源码，发现new SolrCore的时候dataDir为null，如果为null，则从SolrConfig中读取。
看到这里，知道原来得在SolrConfig中设置dataDir才行。那么SolrConfig是什么呢，就是对应到配置文件conf/solrconfig.xml：
第29行：

  1. <!-- Used to specify an alternate directory to hold all index data
  2.        other than the default ./data under the Solr home.
  3.        If replication is in use, this should match the replication configuration. -->
  4.   <dataDir>${solr.data.dir:./solr/data}</dataDir>

终于发现居然在这里设置。把这行注释掉，就默认在core/data下了。。。。
配置方式比较汗，我觉得应该支持直接在multicore.xml里设置dataDir（按wiki说明，solr 1.3也是这样想的，不过目前的dev版本未实现）。

标签: , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Java, Technology | No Comments »

[原] spring的事件监听和java反射及IoC注入还是很强大的

Posted by bianbian on 2008-04-25 09:16


本文Tags: , ,

这几天做了一个东西：在DAO上往数据库插入一个bean的时候，用java反射机制自动产生SQL语句，同时publishEvent触发bean更新事件，事件监听类根据配置文件处理bean并自动提交到Lucene（Solr）全文检索（主要是bean的属性跟Solr字段的对应）进行准实时的索引更新（当然bean有缓冲）；反过来，检索结果有望自动转成bean丢给用户callback。
danny这个巨牛完成的基于spring的再次开发框架除了自动controller Action绑定、ResultSet自动转成bean、自动分页、自动View视图等等快捷开发功能外（Orz），现在支持自动全文检索了，而且整个过程对其他开发人员是无缝过渡的，建立全文索引不需要修改任何一处代码（其实概念上用AOP比事件监听更适合：“可热插拔”的全文检索切面，但是事件监听最大的优势是异步的，全文检索准实时索引更新这种需求用AOP同步包装一层实在是太不实际了）：只要在配置文件里指定哪些数据表的bean哪些字段需要全文检索，OK。。。添加或者全记录更新的时候索引都会准实时更新——而且几乎近似热插拔。

标签: , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Java, Technology | No Comments »

[原] 强烈推荐一个纯java的FTP Client库：ftp4j

Posted by bianbian on 2008-04-15 11:08


本文Tags: , ,

ftp4j是个很年轻的开源项目，但是试用后发现很好很强大，如果你找一个纯java的FTP库，要支持socks4，socks4a，socks5，http代理，就是他了！
比apache的FTPClient（不支持代理）、半商业的edtFTPj（PRO支持代理，但是要$，而且是系统变量级的代理，不能单个指定）等好用多了，而且是LGPL协议，源码质量很高。（不过如果你需要FTPS及SFTP，那ftp4j不支持）
jar包只有50多k，地址在这里：ftp4j
使用代理的代码：

  1. import java.util.ArrayList;
  2. import it.sauronsoftware.ftp4j.FTPClient;
  3. import it.sauronsoftware.ftp4j.FTPFile;
  4. import it.sauronsoftware.ftp4j.connectors.SOCKS4Connector;
  5. ......
  6. //ftp4j使用socks4代理连接FTP示例，by http://bianbian.org
  7. FTPClient ftp = new FTPClient();
  8. SOCKS4Connector socks4 = new SOCKS4Connector("127.0.0.1", 1080);
  9. ftp.setConnector(socks4);
  10. ftp.connect("an.ip.or.host", 21);
  11. ftp.login("anonymous", "bianbian@bianbian.org");
  12. ftp.setCharset("gbk");
  13. //list files
  14. FTPFile[] list = ftp.list();
  15. for(FTPFile file : list) {
  16.     System.out.println(file);
  17. }
  18. ftp.disconnect(true);
标签: , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Java, Technology | 2 Comments »

« Previous Entries