我可以使用spark来解析html文件吗？

Question

我遇到了一个问题：

我想在 HDFS 中解析一堆html文件，我想使用 spark 来处理它们。为方便起见，我想使用 pyspark ，并且还想使用功能强大的包 BeautifulSoup 来解析html文件。我可以这样做吗？如何使用BeautifulSoup从HDFS读取文件？

Answer 1

假设html文件位于HDFS中，您可以将文件名列表输入到驱动程序中，并在0和作业中的执行程序数之间分配一个随机数。然后将此数据放入带并行化的rdd中。 Groupy通过随机数并执行mapPartitions。 reducer函数将通过从HDFS中以文本形式读取文件来处理分区的每一行。然后将文本传递给BeautifulSoup并进行处理。返回结果将在RDD中捕获。请记住，必须在每个工作节点上安装BeautifulSoup，否则这将无效。