从亚马逊下载数据集

Question

我想知道是否可以下载公共AWS数据集的一部分以及如何执行此操作。

具体来说，我想从Common Crawl Corpus下载一部分进行本地测试。

Answer 1

看起来你可以。如果您将浏览器指向public URL provided by Amazon，则可以看到整个集以及子集的链接。

您可以使用浏览器或任何S3客户端工具或库下载它。