Web クローラーは、ページをダウンロードし、ページ間のリンクをたどることによって、自動的に Web を走査するプログラムです。Web クローラの一般的な目的は、リンクからアクセスできる Web ページをダウンロードすることです。 このプロセスは、ウェブクロールまたはスパイダーと呼ばれます。多くのサイト、特に検索エンジンは、最新のデータを提供する手段としてスパイダーリングを使用しています。Web クローラは、主に、ダウンロードしたページにインデックスを付けて高速検索を行う検索エンジンによって後で処理するために、すべての訪問されたページのコピーを作成するために使用されます。クローラは、リンクのチェックや HTML コードの検証など、Web サイトのメンテナンス タスクを自動化するためにも使用できます。また、クローラを使用して、電子メール アドレスの収集 (通常はスパム) などの特定の種類の情報を Web ページから収集できます。 Web クローラーは、ボットまたはソフトウェア エージェントの 1 つのタイプです。一般的に、シードと呼ばれる訪問する URL のリストから始まります。クローラがこれらの URL を訪問すると、ページ内のすべてのハイパーリンクが識別され、クロールフロンティアと呼ばれる訪問する URL のリストに追加されます。フロンティアからの URL は、一連のポリシーに従って再帰的にアクセスされます。
バージョン履歴
- バージョン 3.19 に転記 2012-01-15
最初の公開リリース
プログラムの詳細
- カテゴリ: システム ユーティリティ > オートメーションツール
- パブリッシャー: VietSpider
- ライセンス: 無料
- 価格: N/A
- バージョン: 3.19
- プラットフォーム: windows