HTML页面加载并在.txt文件中显示它们

Question

我正在尝试在java中构建一个搜索引擎，我有一个文件夹“crawler”来存储下载，但当我打开我的项目并单击该文件时，我的计算机卡住了，因为它试图加载所有的URL和文本从html页面解析（100k +）并尝试在“crawler”文件夹中的.txt文件中显示它们。

如何阻止加载并在文件中显示它们？

Answer 1

将数据文件存储在项目之外的某个位置。使用例如用于将位置存储到爬网程序文件夹的属性文件。您应该只在项目中包含此类文件，如源代码。你上传到Git或SVN的东西。不是您的应用程序运行的数据文件。如果要将此数据存储在数据库中，则不会在项目中包含整个数据库，而只包括用于创建表和视图的SQL文件。