Azure存储get_blob_to_stream无法将已保存的csv文件下载为流

时间:2018-03-28 10:33:54

标签: python pandas io azure-storage-blobs

我想将存储在Azure存储中的CSV文件下载到流中并直接在我的python脚本中使用,但在我使用Thomas的帮助后,我不能使用pandas read_csv方法,错误消息是:pandas.io .common.EmptyDataError:没有要从文件解析的列,因此我假设下载CSV流实际上是空的,但是在检入存储帐户后,CSV文件里面的所有数据都没问题,这里有什么问题?以下是托马斯的代码:

from azure.storage.blob import BlockBlobService
import io
from io import BytesIO, StringIO
import pandas as pd
from shutil import copyfileobj
with BytesIO() as input_blob:
     with BytesIO() as output_blob:
    block_blob_service = BlockBlobService(account_name='my account', account_key='mykey')

    block_blob_service.get_blob_to_stream('my counter', 'datatest1.csv', input_blob)

    df=pd.read_csv(input_blob)
    print(df)

    copyfileobj(input_blob, output_blob)

    #print(output_blob)

    # Create the a new blob
    block_blob_service.create_blob_from_stream('my counter', 'datatest2.csv', output_blob)

如果我不执行read_csv代码,create_blob_from_stream将创建一个空文件,但如果我执行read_csv代码,我会收到错误:

pandas.parser.TextReader。 cinit (pandas \ parser.c:6171) pandas.io.common.EmptyDataError:没有要从文件

解析的列
the download file stored fine in the blob storage with all data in it. as showing below:

enter image description here

1 个答案:

答案 0 :(得分:1)

我终于弄明白了,花了这么多时间在这上面了!

必须执行:

     input_blob.seek(0)

将流保存到input_blob !!后使用流