クロール・クローリング（IT用語）

2024年8月2日 2024年10月18日

クロール・クローリング
- クロール・クローリングとは
会話で学ぼ
- 基礎知識編
SNSで発信
あとがき

クロール・クローリング

クロール・クローリングとは

ウェブサイトの情報を自動的に収集するためのプログラム

クローラーがインターネットを巡回することをクローリングというよ

会話で学ぼ

基礎知識編

【クロール】って何？

ウェブサイトの情報を自動的に収集するプログラムのことなんだ。

例えば、
検索エンジンが新しいウェブページを見つけて、
その内容をデータベースに追加するために使うよ。

どうやってそんなことができるの？

例えば、
検索エンジンの「クローラー」というプログラムが、
ウェブページのリンクをたどって次々にページを訪問するんだ。

これを「クローリング」と呼ぶよ。

なるほど！
それで、検索結果に新しいページが表示されるんだね。

そうだね。
クローラーがウェブページの内容を読み取り、
検索エンジンのデータベースに保存することで、
新しい情報が検索結果に反映されるんだ。

それは便利だね。
クローリングにデメリットはあるの？

うん、例えば、
クローラーがウェブサイトに過剰にアクセスすると、
サーバーに負荷がかかってしまうことがあるよ。

だから、ウェブサイトの管理者は「robots.txt」というファイルを使って、
クローラーのアクセスを制御することができるよ。

SNSで発信

X（元Twitter）

【やっぱり見てほしいョね】がんばったmyブログやホームページは、「クローラーがクロール」し、「検索エンジンが解析」をして、検索結果が決まる。少しでも上位に表示されたいョネ（笑）デジナンIT用語【クロール、クローリング】検索エンジンがインターネット上の情報を収集すること。一緒に学ぼッ♡ pic.twitter.com/w6g4XbrLhO
— ばそら@もに隊長プロジェクト (@baabaandsora) December 2, 2023