プログラム blogs.ibibo.com/hackdaweb/How-to-get-anything-from-the-Web.html

Larbinは多数のWebページを取得することを意図したウェブクローラであり、多くのu/ dを持つ標準PC上で1億ページ以上をフェッチできるはずです。この一連の PHP および Perl スクリプトは、ウェブツール4ラービンと呼ばれ、ラービンと p の出力を処理できます。