我正在使用Apify爬行大约一百个页面,我希望将访问的所有页面的HTML文件下载到一个保管箱文件夹中。如何在我的jQuery Ajax代码中指定它?
对不起,我对Javascript和与网络相关的所有事物都是陌生的。
我已经尝试遵循以下教程:https://forum.apify.com/t/data-download-from-within-crawler/48和https://www.dropbox.com/developers/documentation/http/documentation#files-save_url,但是,我只能下载我访问的第二页的HTML文件。我知道我的搜寻器可以很好地工作并且可以访问它需要的所有站点,因为我从这些页面中获得了所需的结果,所以问题似乎是我没有指定要下载所有HTML文件。我该怎么做呢?
(在我的实际代码中,我用正确的誓言令牌编写了,我只是不希望它可以在线提供给所有人观看)
var html = $('html').html();
var url = "https://content.dropboxapi.com/2/files/upload";
$.ajax({
url: url,
contentType: "application/octet-stream",
headers: {
"Authorization": 'Bearer ' + 'My Oath-token',
"Dropbox-API-Arg": "{\"mode\":\"add\",\"path\":\"/a.txt\"}",
},
type: 'POST',
data: html,
autoRename: true,
max_results: 1000
});
我要解决的是在我的保管箱中将一个文件另存为a.txt,这就是我想要的,只是这个文件仅包含一个HTML文件,而不是包含我的搜寻器访问过的所有文件的文件。
此代码是我的搜寻器对其每次访问的新页面所遇到的第一件事。