Question

基本上，我想从以下URL下载历史数据文件：https://pselookup.vrymel.com/

它包含一个简单的日期字段和一个下载按钮。我想下载可能跨越多年的数据。

我创建了一个Javascript，但是它会不断下载相同的文件。

$dateField = document.getElementsByClassName('csv_download_input__Input-encwx-1 dDiqPH')[2]

$dlButton = document.getElementsByClassName('csv_download_input__Button-encwx-0 KLfyv')[2]

var now = new Date();
var daysOfYear = [];
for (var d = new Date(2016, 0, 1); d <= now; d.setDate(d.getDate() + 1)) {
    daysOfYear.push(new Date(d).toISOString().substring(0,10));
}

(function theLoop (i) {
  setTimeout(function () {
    $dlButton.click()
    $dateField.value = daysOfYear[i]
    if (--i) {          // If i > 0, keep going
      theLoop(i);       // Call the loop again, and pass it the current value of i
    }
  }, 3000);
})(daysOfYear.length-1);

Answer 1

首先，客户端中的javascript可能不是执行此操作的最佳语言，也不是实现此目标的最佳方法。它可能会起作用，但是最好选择哪种方法来解决问题最好。而且，它可以避免您在弹出窗口中单击〜800次以接受下载。

您可以通过编程的方式来获取文件，只需了解您的浏览器在获取文件时所做的操作，然后尝试将其打包复制即可。

检查完呼叫后，您可以看到它正在呼叫一个端点，并且该端点正在返回一个包含可以下载的文件的链接。

这很容易，所以现在您只需使用任何语言制作脚本即可检索它们。

我选择了javascript而不是客户端，但是选择了nodejs，这意味着它必须在您的计算机上运行。

您可以使用bash，python或任何其他语言来做同样的事情。

要执行此操作，请执行以下操作：

转到新的空目录
运行npm install axios
使用我粘贴的代码创建文件，我们将其称为crawler.js
运行node crawler.js

已使用node v8.15.0

对此进行了测试

// NOTE: Require this to make a request and save the link as file 20190813:Alevale
const axios = require('axios');
const fs = require('fs');

let now = new Date();
let daysOfYear = [];
const baseUrl = 'https://a4dzytphl9.execute-api.ap-southeast-1.amazonaws.com/prod/eod/'

for (var d = new Date(2016, 0, 1); d <= now; d.setDate(d.getDate() + 1)) {
    daysOfYear.push(new Date(d).toISOString().substring(0,10));
}

const waitFor = (time) => {
    return new Promise((resolve => setTimeout(resolve, time)))
}

const getUrls = async () =>{
    let day
    for (day of daysOfYear) {
        console.log('getting day', baseUrl + day)
        // NOTE: Throttle the calls to not overload the server 20190813:Alevale
        await waitFor(4000)

        await axios.get(baseUrl + day)
            .then(response => {
                console.log(response.data);
                console.log(response);
                if (response.data && response.data.download_url) {
                    return response.data.download_url
                }
                return Promise.reject('Could not retrieve response.data.download_url')
            })
            .then((url) =>{
                axios({
                    method: 'get',
                    url,
                    responseType: 'stream'
                })
                    .then(function (response) {
                        // NOTE: Save the file as 2019-08-13 20190813:Alevale
                        response.data.pipe(fs.createWriteStream(`${day}.csv`))
                    })
                    .catch(console.error)

            })
            .catch(error => {
                console.log(error);
            });
    }
}

getUrls()

Answer 2

您可以代替仿真用户，而从以下位置获取下载链接： https://a4dzytphl9.execute-api.ap-southeast-1.amazonaws.com/prod/eod/2019-08-07 只需将末尾的日期更改为要下载的文件的日期即可。并使用axios获取此URL。

这将节省您一些时间（以防您真的不需要模拟用户的点击等）

然后您将收到如下响应：

{
   download_url":"https://d3u9ukmkxau9he.cloudfront.net/eod/2019-08-07.csv?Expires=1566226156&Signature=QRUk3tstuNX5KYVPKJSWrXsSXatkWS-eFBIGUufaTEMJ~rgpVi0iPCe1AXl5pbQVdBQxOctpixCbyNz6b9ycDgYNxEdZqPr2o2pDe8cRL655d3zXdICnEGt~dU6p35iMAJkMpPSH~jbewhRSCPUwWXQBfOiEzlHwxru9lPnDfsdSnk3iI3GyR8Oc0ZP50EdUMHF7MjWSBRbCIwnu6wW4Jh0bPmZkQDQ63ms5QxehsmtuGLOgcrC6Ky1OffVQj~ihhmBt4LGhZTajjK4WO18hCP3urKt03qpC4bOvYvJ3pxvRkae0PH1f-vbTWMDkaWHHVCrzqZhkAh3FlvMTWj8D4g__&Key-Pair-Id=APKAIAXOVAEOGN2AYWNQ"
}

and then you can use axios to GET this url and download your file.

如何自动多次从站点下载excel文件？

2 个答案: