带有循环的iMacros网络刮刀

时间:2013-06-10 22:46:08

标签: loops web-scraping scrape scraper imacros

我正在尝试使用iMacros构建数据抓取器,首先在yelp上搜索邮政编码中的类别,然后浏览每个页面上的每个配置文件并抓取某些信息并将其保存到csv文件中,并且之间有换行符每个档案。当宏到达该搜索的最后一页中的最后一个配置文件的结尾时,它会返回并一遍又一遍地搜索新邮政编码中的相同内容,直到完成我的邮政编码列表。我的问题是我无法弄清楚如何让它从提取部分循环而不是整个事情,以及如何使它在完成时转到下一个邮政编码并开始全部直到while邮政编码文件完成。我使用的是iMacros的付费版本9.00.2379。

这是我到目前为止所得到的任何帮助..

SET !EXTRACT_TEST_POPUP NO
SET !ERRORIGNORE YES
TAB T=1
URL GOTO=http://www.yelp.com/
TAG POS={{!loop}} TYPE=TD FORM=ID:form1 ATTR=TXT:*
TAG POS=1 TYPE=INPUT:TEXT FORM=ACTION:/search ATTR=NAME:find_desc CONTENT=italian<SP>restaurant
TAG POS=1 TYPE=INPUT:TEXT FORM=ACTION:/search ATTR=NAME:find_loc CONTENT=11234
TAG POS=1 TYPE=BUTTON:SUBMIT FORM=ACTION:/search ATTR=ID:header-search-submit
TAG POS=1 TYPE=H3 ATTR=CLASS:search-result-title EXTRACT=TXT
TAG POS=1 TYPE=DIV ATTR=CLASS:secondary-attributes EXTRACT=TXT
SAVEAS TYPE=EXTRACT FOLDER=S:\imacro-extract FILE=Extract-test1.csv
TAG POS=2 TYPE=H3 ATTR=CLASS:search-result-title EXTRACT=TXT
TAG POS=2 TYPE=DIV ATTR=CLASS:secondary-attributes EXTRACT=TXT
SAVEAS TYPE=EXTRACT FOLDER=S:\imacro-extract FILE=Extract-test1.csv
TAG POS=3 TYPE=H3 ATTR=CLASS:search-result-title EXTRACT=TXT
TAG POS=3 TYPE=DIV ATTR=CLASS:secondary-attributes EXTRACT=TXT
SAVEAS TYPE=EXTRACT FOLDER=S:\imacro-extract FILE=Extract-test1.csv
TAG POS=4 TYPE=H3 ATTR=CLASS:search-result-title EXTRACT=TXT
TAG POS=4 TYPE=DIV ATTR=CLASS:secondary-attributes EXTRACT=TXT
SAVEAS TYPE=EXTRACT FOLDER=S:\imacro-extract FILE=Extract-test1.csv
TAG POS=5 TYPE=H3 ATTR=CLASS:search-result-title EXTRACT=TXT
TAG POS=5 TYPE=DIV ATTR=CLASS:secondary-attributes EXTRACT=TXT
SAVEAS TYPE=EXTRACT FOLDER=S:\imacro-extract FILE=Extract-test1.csv
TAG POS=6 TYPE=H3 ATTR=CLASS:search-result-title EXTRACT=TXT
TAG POS=6 TYPE=DIV ATTR=CLASS:secondary-attributes EXTRACT=TXT
SAVEAS TYPE=EXTRACT FOLDER=S:\imacro-extract FILE=Extract-test1.csv
TAG POS=7 TYPE=H3 ATTR=CLASS:search-result-title EXTRACT=TXT
TAG POS=7 TYPE=DIV ATTR=CLASS:secondary-attributes EXTRACT=TXT
SAVEAS TYPE=EXTRACT FOLDER=S:\imacro-extract FILE=Extract-test1.csv
TAG POS=8 TYPE=H3 ATTR=CLASS:search-result-title EXTRACT=TXT
TAG POS=8 TYPE=DIV ATTR=CLASS:secondary-attributes EXTRACT=TXT
SAVEAS TYPE=EXTRACT FOLDER=S:\imacro-extract FILE=Extract-test1.csv
TAG POS=9 TYPE=H3 ATTR=CLASS:search-result-title EXTRACT=TXT
TAG POS=9 TYPE=DIV ATTR=CLASS:secondary-attributes EXTRACT=TXT
SAVEAS TYPE=EXTRACT FOLDER=S:\imacro-extract FILE=Extract-test1.csv
TAG POS=10 TYPE=H3 ATTR=CLASS:search-result-title EXTRACT=TXT
TAG POS=10 TYPE=DIV ATTR=CLASS:secondary-attributes EXTRACT=TXT
SAVEAS TYPE=EXTRACT FOLDER=S:\imacro-extract FILE=Extract-test1.csv
WAIT SECONDS=60
TAG POS=1 TYPE=A ATTR=TXT:→

我现在需要弄清楚的是如何提取类别&amp;来自csv文件的邮政编码,运行每个搜索,直到完成每个配置文件和每个页面可用,并保持循环,直到每个类别的每个邮政编码完成

注意:此版本只会从实际列表页面中获取信息,而不是信息本身,下一个版本将实际进入每个配置文件并进行抓取,而不是仅仅搜索搜索结果列表。

再次感谢任何可以帮助这个noob的人让他的宏工作:)

0 个答案:

没有答案