プログラム cwlr.sf.net

perlで書かれたウェブ(http)のための非常に単純なシングルスレッドクローラ。ルールおよびコレクションに従ってリンクをサポートし、訪問したページの情報を取得します (regexp ベース)。