プログラム Dustgem Co.,Ltd

無料のウェブクローラは、検索エンジンビルダー -lexst-SEA と一緒に使用する場合、100億ページのインデックスを作成できます。インターネットとインターネットの両方のためのマルチスレッドと分散された無料のウェブクローラ。スパイダーがページをクロールする頻度を制御したり、ページをローカルに保存したり、検索エンジンの申請者に送信したりできます。