プログラム websphinx.sf.net

WebSPHINXは、もともとカーネギーメロン大学のロバート・ミラーによって開発されたウェブクローラ(ロボット、クモ)Javaクラスライブラリです。マルチスレッド、有料 HTML 解析、URL フィルタリングとページ分類、パターン マッチング、ミラーリングなど。