網絡爬蟲是什麼意思 什麼是網絡爬蟲

1、網絡爬蟲（又稱爲網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱爲網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

2、隨着網絡的迅速發展，萬維網成爲大量信息的載體，如何有效地提取並利用這些信息成爲一個巨大的挑戰。搜索引擎（Search Engine），例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作爲一個輔助人們檢索信息的工具成爲用戶訪問萬維網的入口和指南。