从文本文件读取和检查1100万个Urls的快速方法

时间:2020-02-16 18:07:29

标签: multithreading performance

我们正通过尝试从文本文件中强行强制执行DNS检查来查看我们的DNS随机化器如何有效地工作,从而对我们的一种环境进行压力测试,不要问,这是我们工程师的绝妙计划之一。 / p>

这个想法给团队带来了一些编码方面的挑战,我们无法提出快速,高效的代码来及时获得1100万条记录。

基本上,我们有一个文本文件,其中包含1100万个随机发生器输出的导数。我们要读取每个URL,检查是否可以找到主机,如果找不到,请继续。

我们最初的尝试是在C#中执行此操作,使用多线程一次尝试运行x个并发请求。根据我们的计算,这种方法可能需要3个月才能浏览整个文件。

我们查看了python,计算指出需要6周才能处理相同数量的记录。

这听起来不正确。

有人知道我们如何在几小时而不是几周内处理所有这些记录吗?希望得到您的反馈。

0 个答案:

没有答案