背景: 每隔几周我就需要阅读大约一万个用于搜索引擎优化目的的URL(在我拥有/管理的网站上)。将来,总网址将乘以20,以支持我网站的其他语言版本。
当我使用rebol时,每个URL需要大约一秒钟才能读取和处理,总共大约需要3个小时。为了减少完成时间,我想将作业拆分为多个可以在多个(本地)解释器上同时执行的小批量。
目前的想法是我的脚本会编写一些.r文件,当在另一个进程中启动时,它们将处理URL列表的一个子集。
问题: 我想知道是否有任何提示或警告/限制以这种方式启动解释程序进程。对于http读取,我希望启动少于10个解释器。
随着我的了解更多,很高兴分享我的剧本和见解。