我已经设置了一个Import.io批量提取，可以说是50个URL。它可以在几秒钟内完成所有这些操作。但是，当我尝试提取40,000个URL时，提取器会在前一千个左右快速启动，然后逐渐增加每个增量URL的速度。到5,000时，每个URL大约需要4-5秒。
一个似乎有用的解决方案是一次将它们分成1,000个URL的块，并为每个URL分别进行批量提取。但是，这非常耗时，并且需要在最后将所有数据拼接在一起。
有没有人经历过这个，如果有的话，他们有更优雅的解决方案吗？
谢谢， 麦克
答案 0 :(得分：0)
可能40k仍然太多，在这种情况下你可能会尝试拆分，但我确实在一次运行中运行了5k +
让我知道它是怎么回事！