import.io如何实时将已爬网数据写入文件

Question

我目前在import.io中设置了一个爬虫程序，它可以抓取大量页面（数万个）。一旦这个爬虫完成，我试图查看数据只是为了看到它已经全部丢失，我认为这是由于纯粹的数量。有没有办法设置我的爬虫，以便在收集数据时将数据实时写入硬盘上的文件？

Answer 1

是的，您可以在开始抓取之前在链接区下方有一个选项

1 - 保存流是您选择文件名和保存位置的地方，也可以将.csv或.json添加到文件名

2 - 流类型您从下拉列表中选择输出类型。