爬山虎采集器是一款新一代智能化的網(wǎng)頁(yè)采集工具，智能分析、可視化界面，一鍵采集無(wú)需編程，支持自動(dòng)生成采集腳本，可以采集互聯(lián)網(wǎng)99%的網(wǎng)站。軟件簡(jiǎn)單易學(xué)，通過智能算法+可視化界面，隨心所欲，抓取自己想到的數(shù)據(jù)。只要輕松點(diǎn)擊鼠標(biāo)，就能采集網(wǎng)頁(yè)上的數(shù)據(jù)。

【軟件特色】

　　一鍵提取數(shù)據(jù)

　　簡(jiǎn)單易學(xué)，通過可視化界面，鼠標(biāo)點(diǎn)擊即可抓取數(shù)據(jù)

　　快速高效

　　內(nèi)置一套高速瀏覽器內(nèi)核，加上HTTP引擎模式，實(shí)現(xiàn)快速采集數(shù)據(jù)

　　適用各種網(wǎng)站

　　能夠采集互聯(lián)網(wǎng)99%的網(wǎng)站,包括單頁(yè)應(yīng)用Ajax加載等等動(dòng)態(tài)類型網(wǎng)站

【功能介紹】

　　向?qū)Ｊ?/p>

　　簡(jiǎn)單易用，輕松通過鼠標(biāo)點(diǎn)擊自動(dòng)生成

　　腳本定時(shí)運(yùn)行

　　可按照計(jì)劃定時(shí)運(yùn)行，無(wú)需人工

　　獨(dú)創(chuàng)高速內(nèi)核

　　自研的瀏覽器內(nèi)核，速度飛快，遠(yuǎn)超對(duì)手

　　智能識(shí)別

　　對(duì)于網(wǎng)頁(yè)中的列表、表單結(jié)構(gòu)（多選框下拉列表等）能夠智能識(shí)別

　　廣告屏蔽

　　定制的廣告屏蔽模塊，兼容AdblockPlus語(yǔ)法，可添加自定義規(guī)則

　　多種數(shù)據(jù)導(dǎo)出

　　支持Txt 、Excel、MySQL、SQLServer、SQlite、Access、網(wǎng)站等

【使用流程】

　　輸入采集網(wǎng)址

　　打開軟件，新建任務(wù)，輸入需要采集的網(wǎng)站地址。

　　智能分析，全程自動(dòng)化提取數(shù)據(jù)

　　進(jìn)入到第二步后，爬山虎采集器全自動(dòng)智能分析網(wǎng)頁(yè)，并且從中提取出列表數(shù)據(jù)。

　　導(dǎo)出數(shù)據(jù)到表格、數(shù)據(jù)庫(kù)、網(wǎng)站等

　　運(yùn)行任務(wù)，將采集到的數(shù)據(jù)導(dǎo)出為Csv、Excel以及各種數(shù)據(jù)庫(kù)，支持api導(dǎo)出。

【常見問題】

　　問：如何過濾列表中的前N個(gè)數(shù)據(jù)？

　　1、有時(shí)我們需要對(duì)采集到的列表進(jìn)行過濾，比如過濾掉第一組數(shù)據(jù)（在采集表格時(shí)，過濾掉表格列名）

　　2、點(diǎn)擊列表模式菜單中的，設(shè)置列表xpath

　　問：如何抓包獲取Cookie，并且手動(dòng)設(shè)置？

　　1、首先，使用谷歌瀏覽器打開要采集的網(wǎng)站，并且登陸。

　　2、然后按下 F12,會(huì)出現(xiàn)開發(fā)者工具，選擇 Network

　　3、然后按下F5，刷新下頁(yè)面， 選擇其中一個(gè)請(qǐng)求。

　　4、復(fù)制完成后，在爬山虎采集器中，編輯任務(wù)，進(jìn)入第三步，指定HTTP Header。

【更新日志】

　　優(yōu)化網(wǎng)頁(yè)表格數(shù)據(jù)的識(shí)別，可按照表格列名自動(dòng)命名字段

　　優(yōu)化時(shí)間提取

　　修復(fù)當(dāng)有自定義字段，沒有匹配到不保存數(shù)據(jù)的問題

　　添加時(shí)間戳變量

　　計(jì)劃任務(wù)，每間隔分鐘增加開始秒