Python多处理队列和流数据

时间:2016-06-12 19:09:12

标签: python-2.7 multiprocessing

我正在连接到以字符串格式发送流数据的API。该流每天运行约9小时。需要解析每个发送的字符串(大约1-5个,每秒40个章程蜇),并且需要提取某些值。然后将这些值存储在一个列表中,该列表被解析并以不同的间隔检索数据以创建另一个需要解析的列表。使用miltiprocessing,队列来实现这一目标的最佳方法是什么?还有更好的方法吗?

from multiprocessing import Process
import requests
data_stream = requests.get("http://myDataStreamUrl", stream=True)
lines = data_stream.iter_lines()
 first_line = next(lines)
 for line in lines:
   find what i need and append to first_list
 def parse_first_list_and create_second_list():
    find what i need in first_list to create second list
  def parse_second_list():
      find what i need  

0 个答案:

没有答案