プログラム jrobotx.sf.net

標準のWebロボット排除プロトコル、ロボット.txtに準拠するためのJavaライブラリ。