如何使Web爬行应用程序用户友好

Question

我正在创建一个我希望“普通”用户能够使用的网络抓取应用程序。我担心网络爬行应用程序可能对大多数用户来说太复杂了，因为用户需要：

1. 了解网址结构（域名，路径等）。
2. 了解抓取“深度”。
3. 了解文件扩展名，并能够设置“过滤器”以缩小抓取范围以获得更好的性能（或者他们会对程序感到沮丧）。
4. 了解页面中的网址（图片srcs，链接，纯文本网址等）。

我可以做些什么来帮助用户快速熟悉我的程序？或者甚至更好，我能做什么，所以程序足够直观，用户只是“得到它”？我知道这似乎相当广泛，但如果你可以限制你的网页抓取工具的答案应该有所帮助。我已经阅读了一般可用性，ui设计等等......但是我正在努力学习我正在工作的领域。谢谢。

Answer 1

一些想法：

• 创建一个交互式用户界面（例如深度滑块，显示文件夹和子文件夹在移动滑块时打开的小图片）
• 避免混乱。将设置划分为逻辑选项卡。
• 制作视频教程，了解教授它们所需的内容。

Answer 2

也许你可以看到“网络”的图片，每个网页显示两到三页。当用户选择在何处查找链接（例如，图像，纯文本，链接等）时，他们选择的页面部分将在图像中被高亮显示。

Answer 3

仅仅因为网络爬虫在实现中很复杂，并不意味着它必须使用起来很复杂。只提供真正必要的东西，其余部分使用合理的默认值。这将获得80％的用例，然后依赖其他20％更愿意深入了解。

1. 他们为什么要理解这个？取决于预期的使用情况，但我会假设大多数用于抓取整个网站，因此只需要域名。
2. Gert G建议使用扩展文件夹结构的滑块是个好主意。这不一定是有问题的网站的动态，只是说明它的意义。
3. 忘记暴露文件扩展名，而是提供带图标的常见文件类型，甚至可能将它们分组（例如所有常见的图像类型，jpg，png，gif，进入一个'图像'类型）。只在高级配置部分下提供原始文件扩展名设置，需要它的人才能理解它。
4. 我真的不明白为什么他们需要理解这个？当然这对爬行者来说是个工作。