通过Kafka制作人发送整个字符串

时间:2017-04-10 07:14:31

标签: python apache-kafka sentiment-analysis

我正在使用推文进行情感分析,使用Kafka作为初始步骤我正在使用tweepy API读取推文,然后通过kafka生成器API进行流式处理。

在下面找到我的StreamListener类的代码

class MyListener(StreamListener):
def __init__(self,api):
    self.api = api
    self.producer = KafkaProducer(bootstrap_servers='localhost:9092')

def on_data(self, data):
    try:
        if "\"location\":null" not in data:
            self.producer.send('twitter',data)
            return True
    except BaseException as e:
        print(str(e))
        return False

def on_error(self, status):
    print(status)
    return True  

我被卡住的部分是我需要发送整个数据。我无法这样做,我不确定是否必须将其转换为字节流才能发送它,因为kafka只传输数据字节。

请让我知道一种传输收到的整个数据字符串的方法。

0 个答案:

没有答案