关于大型项目速度的基本思路 - 每秒线程数，a.s.o

Question

嗨Stackoverflowianers，

以下堆栈溢出属于我的大脑，而不属于我的程序：

我正在开发一个大型项目，现在必须在其数据库中推送数百万个数据请求。为了实现这一点，我必须启动一个脚本，从.csv文件中逐行取出搜索文本并启动该过程...此搜索词被发送到6个官方api并在0,2秒之间获取数据最大。 10秒当一个接一个地回来时，脚本会将响应写入数据库。

我希望你理解我的意思。所以我的问题是：

目前我每分钟都做一次cron工作......是否有可能在api请求之间没有任何延迟并且仍然具有可靠且持续的结果？

或者它就像在准备就绪之前停止一个过程，因为下一个过程想要发生等等等等......？

提前感谢您对此的看法。

最好的问候，AceLine

PS：我没有经验可以理解这种线程速度会发生什么......

Answer 1

我不确定我是否了解你，但如果我这样做，那么您似乎缺少的是索引数据。
在将数据输入系统时将数据编入索引。之后，搜索速度会快得多 我知道索引的最佳方法是使用SOLR（Lucene）。