对于多线程http下载应用程序,您的编程语言是什么?

时间:2011-01-06 07:45:24

标签: multithreading http proxy web-crawler multiprocessing

我渴望学习一门新的编程语言。

您建议哪个程序:

  • 以多线程方式下载数百万个网址
  • 与某种DB进行交互以存储下载的数据

思考网络抓取工具/搜索引擎风格的项目。并且知道我应该学习任何东西。

请为您说的语言发布您最喜欢的语言,为什么选择它,以及您最喜欢的教程/参考手册(最好免费!)。

注意:我会偶尔更新这篇文章,以包含每个人的最佳答案。

2 个答案:

答案 0 :(得分:1)

F#是不错的选择,因为异步操作(esp IO)和并行化的惯用模式是语言的关键优势。

您可以轻松完成,.NET Framework的BCL也可以为您服务。

答案 1 :(得分:0)

就个人而言,我使用Python这样的东西。您可以使用urllib2模块通过HTTP下载内容,我发现Python的语法令人愉悦。

此外,您可以在Python中轻松编写线程。

祝你好运。