Question

我有一个奇怪的问题。我正在开发一个Twitter-Tweepy-MySQL收集项目。

我对我的剧本非常满意。如果我运行它收集“#London”，例如 - 没问题。

但是，当我尝试收集非拉丁语标签（例如“＃מזל_טוב”）时，我甚至无法保存脚本，更不用说运行它了。

我按Ctrl + S - 不保存。我尝试运行脚本 - 我得到“源必须保存好保存？”，点击确定 - 没有任何反应。

阿拉伯语和希伯来语标签都会出现这种情况，所以我只能认为这里有一个unicode问题 - 但是当我收集拉丁语标签时巧合地产生非拉丁字母结果时，它们会被打印出来。保存到MySQL没有问题。

非常感谢任何指示。
罗宾

脚本如下：

from tweepy import Stream
from tweepy import OAuthHandler
from tweepy.streaming import StreamListener
import MySQLdb
import time
import json

conn = MySQLdb.connect ('nyub', 'nyub', 'nyub', 'nyub', charset='utf8')

c = conn.cursor()

ckey = "'nyub'"
csecret = "'nyub'"
atoken = "-'nyub'"
asecret = "'nyub'"

class listener (StreamListener):

    def on_data(self, data):
        try:
            tweet = json.loads(data)

            created_at = tweet ["created_at"]
            identity = tweet ["id"]
            text = tweet ["text"]
            status_reply = tweet ["in_reply_to_status_id"]
            user_reply = tweet ["in_reply_to_user_id"]
            screen_name_reply = tweet ["in_reply_to_screen_name"]

            user_id = tweet ["user"]["id"]
            user_screen_name = tweet["user"]["screen_name"]
            user_location = tweet["user"]["location"]
            user_url = tweet["user"]["url"]
            user_description = tweet["user"]["description"]
            user_followers = tweet["user"]["followers_count"]
            user_friends = tweet["user"]["friends_count"]
            user_statuses = tweet["user"]["statuses_count"]
            user_created = tweet["user"]["created_at"]
            user_lang =  tweet["user"]["lang"]

            coordinates = tweet ["coordinates"]
            place = tweet ["place"]
            rt_count = tweet ["retweet_count"]
            fav_count = tweet ["favorite_count"]

            hashtags = []

            for hashtag in tweet ["entities"]["hashtags"]:
                hashtags.append(hashtag["text"])

            urls = []

            for url in tweet ["entities"]["urls"]:
                urls.append(url["expanded_url"])

            c.execute ("INSERT INTO luck (timestamp, tweet_created_at, tweet_id, tweet_text, in_reply_status, in_reply_user_id, in_reply_screen_name, user_id, user_screen_name, user_location, user_url, user_description, user_followers_count, user_friends_count, users_statuses_count, user_created_at, user_lang, tweet_coords, tweet_place, tweet_retweet_count, tweet_fav_count, hashtags, urls) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)",
                       ((time.time()), created_at, identity, text, status_reply, user_reply, screen_name_reply, user_id, user_screen_name, user_location, user_url, user_description, user_followers, user_friends, user_statuses, user_created, user_lang, coordinates, place, rt_count, fav_count, str(hashtags), str(urls)))

            conn.commit ()

            print (text)

            return True
        except BaseException, e:
            print "failed on data", str(e)
            time.sleep(5)

    def on_error (self, status):
        print status

auth = OAuthHandler(ckey, csecret)
auth.set_access_token(atoken, asecret)

twitterStream = Stream(auth, listener())
twitterStream.filter(track=["#מזל_טוב"])

Answer 1

在脚本开头添加此内容（第一行）：

# -*- coding: utf-8 -*-

当然要确保它实际上已保存在utf-8中。

Answer 2

将其添加为python文件的第一行（如果将其与＃/ bin / bash一起使用，则添加第二行）

# -*- coding: utf-8 -*-

并使用此

u"#מזל_טוב" # Unicode string in python 2.7

而不是

"#מזל_טוב"

后者仅适用于python 3

保存包含阿拉伯语

2 个答案: