プログラム larbin.sf.net/

Larbin は、Linux で実行される簡単なインターフェイスを持つ HTTP Web クローラーです。標準PC(良好なネットワーク)上で1日に500万ページ以上をフェッチできます。