Question

这是我试过的：（ipython notebook，python2.7）

import gcp
import gcp.storage as storage
import gcp.bigquery as bq
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

sample_bucket_name = gcp.Context.default().project_id + '-datalab'
sample_bucket_path = 'gs://' + sample_bucket_name 
sample_bucket_object = sample_bucket_path + '/myFile.csv'
sample_bucket = storage.Bucket(sample_bucket_name)
df = bq.Query(sample_bucket_object).to_dataframe()

哪个失败了。
你有什么问题我会做错吗？

Answer 1

基于datalab source code bq.Query()主要用于执行BigQuery SQL查询。在从Google云端存储（GCS）中读取文件方面，一种可能的解决方案是使用datalab %gcs行魔术功能将gCS中的csv读入局部变量。将数据放入变量后，可以使用pd.read_csv()函数将csv格式的数据转换为pandas DataFrame。以下应该有效：

import pandas as pd
from StringIO import StringIO

# Read csv file from GCS into a variable
%gcs read --object gs://cloud-datalab-samples/cars.csv --variable cars

# Store in a pandas dataframe
df = pd.read_csv(StringIO(cars))

以下链接还有一个相关的stackoverflow问题： Reading in a file with Google datalab

Answer 2

除了@ Flair关于％gcs的评论之外，我还有以下内容适用于Python 3内核：

    import pandas as pd
    from io import BytesIO

    %gcs read --object "gs://[BUCKET ID]/[FILE].csv" --variable csv_as_bytes

    df = pd.read_csv(BytesIO(csv_as_bytes))
    df.head()

Answer 3

您还可以使用Dask提取数据，然后将其加载到在GCP上运行的Jupyter Notebook中。

确保已安装Dask。

conda install dask #conda

pip install dask[complete] #pip

import dask.dataframe as dd #Import

dataframe = dd.read_csv('gs://bucket/datafile.csv') #Read CSV data

dataframe2 = dd.read_csv('gs://bucket/path/*.csv') #Read parquet data

这就是装载数据所需的全部。

您现在可以使用Pandas语法过滤和处理数据。

dataframe['z'] = dataframe.x + dataframe.y

dataframe_pd = dataframe.compute()

如何将我的csv从google dataLab加载到pandas数据框？

3 个答案: