bianbian coding life

便便代码人生: 关注技术, 翻译文档, 偶尔动动手

Archive for the 'Technology' Category

IT

« Previous Entries

[原] ftp4j的解析list的bug及解决

Posted by bianbian on 2008-06-19 08:08


本文Tags: , , ,

上次推荐的ftp4j在解析部分FTP站点的目录list的时候遇到了FTPListParseException（也怪FTP协议没有对LIST格式作出标准）。查看源码发现，主要是两个问题：
1）文件权限不只rwx这三个，附加了s、t（详见http://en.wikipedia.org/wiki/File_system_permissions）
2）部分ftpd似乎直接调用的“ls -l”输出目录，第一行是“total xxx”
给作者写信了，说不定下个版本就有Sepcial Thanks to bianbian 了。嘿嘿嘿嘿。。。
修正后的代码（省略后面没有变化的部分）：

  1. public class UnixListParser implements FTPListParser {
  2.     // bianbian.org: Pattern有问题，修正
  3.     private static final Pattern PATTERN = Pattern
  4.             .compile("^([dlcbsp\\-])[r\\-][w\\-][xsS\\-][r\\-][w\\-][xsS\\-][r\\-][w\\-][xtT\\-]\\s+"
  5.                     + "(?:\\d+\\s+)?\\S+\\s*\\S+\\s+(\\d+)\\s+(?:(\\w{3})\\s+(\\d{1,2}))\\s+"
  6.                     + "(?:(\\d{4})|(?:(\\d{1,2}):(\\d{1,2})))\\s+"
  7.                     + "([^\\\\/*?\"<>|]+)(?: -> ([^\\\\*?\"<>|]+))?$");
  8.     private static final DateFormat DATE_FORMAT = new SimpleDateFormat(
  9.             "MMM dd yyyy HH:mm", Locale.US);
  10.     public FTPFile[] parse(String[] lines) throws FTPListParseException {
  11.         int currentYear = new GregorianCalendar().get(Calendar.YEAR);
  12.         int i, jump = 0, size = lines.length;
  13.         //bianbian.org: glftpd 的第一行和 ls -l 一样，会丢个"total N"过来，先去掉
  14.         if (size > 0 && lines[0].startsWith("total")) {
  15.             size--;
  16.             jump = 1;
  17.         }
  18.         FTPFile[] ret = new FTPFile[size];
  19.         for (i = 0; i < size; i++) {
  20.             Matcher m = PATTERN.matcher(lines[i + jump]);
  21.             if (m.matches()) {
  22.                 ret[i] = new FTPFile();
  23.                 // Retrieve the data.
  24.                 char typeChar = m.group(1).charAt(0);
  25.                 String sizeString = m.group(2);
  26.                 String monthString = m.group(3);
  27.                 String dayString = m.group(4);
  28.                 String yearString = m.group(5);
  29.                 String hourString = m.group(6);
  30.                 String minuteString = m.group(7);
  31.                 String nameString = m.group(8);
  32.                 String linkedString = m.group(9);
  33.                 // Parse the data.
  34.                 if ("-cbsp".indexOf(typeChar) > -1) {
  35.                     ret[i].setType(FTPFile.TYPE_FILE);
  36.                 } else if (typeChar == 'd') {
  37.                     ret[i].setType(FTPFile.TYPE_DIRECTORY);
  38.                 } else if (typeChar == 'l') {
  39.                     ret[i].setType(FTPFile.TYPE_LINK);
  40.                     ret[i].setLink(linkedString);
  41.                 } else {
  42.                     throw new FTPListParseException();
  43.                 }
  44.     ...
标签: , , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Java, Technology | 3 Comments »

[原] gmail真是太强悍了！！！

Posted by bianbian on 2008-05-16 12:30


本文Tags: ,

今天偶然又发现一个gmail强悍的功能：
把exe文件改名为doc，比如cmd.exe.doc，然后当附件上载。（因为不允许直接上载exe）
然后收到以后因为是doc结尾，会列出“在 HTML 格式下查看 以 Google 文档打开 下载”功能，这时候点了“在HTML格式下查看”。我想出个乱码应该是常理。
结果，强悍的gmail取出了exe里的格式信息（exe由几个段构成，详细请查询exe文件格式，此不赘述）：
WINDOWS EXECUTABLE
32bit for Windows 95 and Windows NT
Technical File Information:
Image File Header
….
Image Optional Header
….
Import Table
….
Section Table
….
Header Information
….
太强悍了~~~一个email系统能做到这个份上，google怎能不强大~~~

标签: ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Technology | 3 Comments »

[原] Shibboleth 2.0 Identity Provider (IdP) LDAP认证配置指南

Posted by bianbian on 2008-05-14 01:15


本文Tags: , , , ,

首先佩服老外：1）把简单的东西搞得很复杂 2）很会创造标准和协议
这次遇到的Shibboleth就是这么个东西，看了两天英文，对人为复杂、创造协议痛恨中。简单写个配置指南，给其他人做个参考，少走弯路。

注意：
1) 系统时间必须设置正确
2) apache 需要 mod_ssl mod_proxy_ajp，假设安装在 /etc/httpd
3) 必须使用 tomcat-5.5.x+，假设安装在 /opt/apache-tomcat-5.5.26
4) 如果需要改变安装目录重新安装，必须退到解压那步（否则很多和目录有关的代码不会重新编译，导致严重错误–啊！我整整一天的痛苦啊！）

# 取消tomcat的AJP身份认证
vi /opt/apache-tomcat-5.5.26/conf/server.xml
# 找到 Define an AJP 1.3 Connector 那，初始为：

  1. <Connector port="8009" 
  2.                enableLookups="false" redirectPort="8443" protocol="AJP/1.3" />

# 修改为（端口改变没有特殊目的，只是我系统上跑了好几个tomcat，防止冲突）：

  1. <Connector port="8019" 
  2.                enableLookups="false" redirectPort="8443" protocol="AJP/1.3"
  3.                request.tomcatAuthentication="false" address="127.0.0.1" />

# apache httpd 配置AJP反向代理
vi /etc/httpd/conf.d/proxy_ajp.conf
# 添加：
LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
ProxyPass /idp/ ajp://localhost:8019/idp/

# 安装Shibboleth 2.0 Identity Provider (IdP)
unzip shibboleth-idp-2.0.0-bin.zip
cd identityprovider
cp endorsed/*.jar /opt/apache-tomcat-5.5.26/common/endorsed/
sh ant.sh install
# 提示是否新安装，yes
# 提示选择安装目录，/opt/idp
# 提示hostname，根据实际填写
# 提示加密密匙，随便写

# 部署war
vi /opt/apache-tomcat-5.5.26/conf/Catalina/localhost/idp.xml
# 内容：

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <Context docBase="/opt/idp/war/idp.war"
  3.          privileged="true"
  4.          antiResourceLocking="false"
  5.          antiJARLocking="false"
  6.          unpackWAR="false" />

# 测试：应该能看到“ok”
httpd -k restart
links http://127.0.0.1/idp/profile/Status

# 配置用户名/密码认证方式
vi /opt/idp/conf/handler.xml
# 找到 Login Handlers 那，注释掉”RemoteUser”认证方式，启用UsernamePassword方式。修改为：

  1. <LoginHandler xsi:type="UsernamePassword" 
  2.                   jaasConfigurationLocation="file:///opt/idp/conf/login.config">
  3.         <AuthenticationMethod>urn:oasis:names:tc:SAML:2.0:ac:classes:unspecified</AuthenticationMethod>
  4.         <AuthenticationMethod>urn:oasis:names:tc:SAML:2.0:ac:classes:PasswordProtectedTransport</AuthenticationMethod>
  5.     </LoginHandler>

# 配置LDAP连接方式
vi /opt/idp/conf/login.config

  1. ShibUserPassAuth {
  2.    edu.vt.middleware.ldap.jaas.LdapLoginModule required
  3.       host="ldap.bianbian.org"
  4.       base="dc=test,dc=bianbian,dc=org"
  5.       serviceUser="cn=Directory Manager"
  6.       serviceCredential="11111111"
  7.       subtreeSearch="true"
  8.       userField="uid";
  9. };

# 配置SP（关键！加入SP的Metadata描述）
vi /opt/idp/conf/relying-party.xml
# 找到 MetadataProvider 那，注意修改id和backingFile要不同
# 假设某通过apache模块工作的SP位于 http://bianbian.org/

  1. <MetadataProvider id="URLMD" xsi:type="FileBackedHTTPMetadataProvider" xmlns="urn:mace:shibboleth:2.0:metadata"
  2.                metadataURL="http://bianbian.org/Shibboleth.sso/Metadata" 
  3.                backingFile="/opt/idp/metadata/bianbian.org-metadata.xml" />

# 配置传递属性，这跟每个SP有关，要与SP联合配置

标签: , , , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Java, Technology | No Comments »

[原] 给LilyBBS新增源代码语法高亮功能

Posted by bianbian on 2008-05-06 09:12


本文Tags: ,

原文：[公告] WEB新增源代码语法高亮功能

使用方法：
[code]
代码
[/code]

目前支持：C/C++、Java、Python、Bash、SQL、HTML、XML、CSS、Javascript、Makefile、Ruby、PHP、Awk、Perl

效果示例：

#include <stdio.h>
int main() {
    printf(“Many people think they are full of niubility,”);
}

import org.bianbian.code;
class CodeTest() {
    public static void main(String[] args) {
        System.out.println(“and like to play zhuangbility,”);
    }
}

<?php
    echo ‘which only reflect their shability.’;
?>

采用的是prettify，为LilyBBS的客户端解析UBB做了点修改。推荐一下，还是挺好用的。

标签: ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in JavaScript, Technology | No Comments »

[原] solr 1.3 multicore使用指南

Posted by bianbian on 2008-05-05 10:42


本文Tags: , ,

尽管solr 1.3还是dev版，目前还没release，它比1.2多的很多特性（特别是multicore的支持）还是让我选择了1.3（1.2用了一段时间，多个索引要复制多份，非常麻烦）。
使用基本和solr 1.2差不多，几乎没什么难度就切换到1.3了。只是多了multicore的配置：
solr/home比如设为/opt/solrs
在/opt/solrs下新建multicore.xml

  1. <?xml version="1.0" encoding="UTF-8" ?>
  2. <multicore adminPath="/admin/multicore" persistent="true" sharedLib="lib">
  3.  <core name="core0" instanceDir="core0" default="true"/>
  4.  <core name="core1" instanceDir="core1" />
  5. </multicore>

默认跑了，发现索引数据存放目录dataDir全跑到web-app容器的./solr/data目录下去了。。。。要知道multicore最关键的就是dataDir要不同。。。
参考wiki：MultiCore
上面说可以在core里加dataDir属性，于是加上，测试。ft，还是没用。
于是看solr源码，发现上面dataDir的部分根本没有读取（至少今天我svn check出来的代码里面没有，汗）。
于是跟踪源码，发现new SolrCore的时候dataDir为null，如果为null，则从SolrConfig中读取。
看到这里，知道原来得在SolrConfig中设置dataDir才行。那么SolrConfig是什么呢，就是对应到配置文件conf/solrconfig.xml：
第29行：

  1. <!-- Used to specify an alternate directory to hold all index data
  2.        other than the default ./data under the Solr home.
  3.        If replication is in use, this should match the replication configuration. -->
  4.   <dataDir>${solr.data.dir:./solr/data}</dataDir>

终于发现居然在这里设置。把这行注释掉，就默认在core/data下了。。。。
配置方式比较汗，我觉得应该支持直接在multicore.xml里设置dataDir（按wiki说明，solr 1.3也是这样想的，不过目前的dev版本未实现）。

标签: , ,

遵守创作共用协议，转载请链接形式注明来自http://bianbian.org 做人要厚道

相关日志

Posted in Java, Technology | No Comments »

« Previous Entries