b＆＃39;从ANSI 1252到UTF-8的重新编码失败，错误：＆＃34;无效的参数＆＃34;。＆＃39; geopandas python

Question

我正在尝试将shapefile读入GeoDataFrame。

通常我只是这样做而且有效：

import pandas as pd

import geopandas as gpd
from shapely.geometry import Point

df = gpd.read_file("wild_fires/nbac_2016_r2_20170707_1114.shp")

但这一次它给了我错误：b'Recode from ANSI 1252 to UTF-8 failed with the error: "Invalid argument".'

完整错误：

---------------------------------------------------------------------------
CPLE_AppDefinedError                      Traceback (most recent call last)
<ipython-input-14-adcad0275d30> in <module>()
----> 1 df_wildfires_2016 = gpd.read_file("wild_fires/nbac_2016_r2_20170707_1114.shp")

/usr/local/lib/python3.6/site-packages/geopandas/io/file.py in read_file(filename, **kwargs)
     19     """
     20     bbox = kwargs.pop('bbox', None)
---> 21     with fiona.open(filename, **kwargs) as f:
     22         crs = f.crs
     23         if bbox is not None:

/usr/local/lib/python3.6/site-packages/fiona/__init__.py in open(path, mode, driver, schema, crs, encoding, layer, vfs, enabled_drivers, crs_wkt)
    163         c = Collection(path, mode, driver=driver, encoding=encoding,
    164                        layer=layer, vsi=vsi, archive=archive,
--> 165                        enabled_drivers=enabled_drivers)
    166     elif mode == 'w':
    167         if schema:

/usr/local/lib/python3.6/site-packages/fiona/collection.py in __init__(self, path, mode, driver, schema, crs, encoding, layer, vsi, archive, enabled_drivers, crs_wkt, **kwargs)
    151             if self.mode == 'r':
    152                 self.session = Session()
--> 153                 self.session.start(self)
    154             elif self.mode in ('a', 'w'):
    155                 self.session = WritingSession()

fiona/ogrext.pyx in fiona.ogrext.Session.start (fiona/ogrext2.c:8432)()

fiona/_err.pyx in fiona._err.GDALErrCtxManager.__exit__ (fiona/_err.c:1861)()

CPLE_AppDefinedError: b'Recode from ANSI 1252 to UTF-8 failed with the error: "Invalid argument".'

我一直想弄清楚为什么我会在一段时间内收到错误，但似乎无法找到答案。

该数据来自此网页，我只下载了2016年链接：http://cwfis.cfs.nrcan.gc.ca/datamart/download/nbac?token=78e9bd6af67f71204e18cb6fa4e47515

有人能帮助我吗？谢谢。

Answer 1

似乎你的shapefile包含导致Fiona.open()调用失败的非UTF字符（geopandas使用Fiona打开文件）。

我解决此错误的方法是打开Shapefile（例如使用QGis），然后选择save as，并将Encoding选项指定为“UTF-8”：

执行此操作后，调用df = gpd.read_file("convertedShape.shp")时没有出错。

另一种不必使用QGis或类似方法的方法是再次读取并保存Shapefile（有效地转换为所需的格式）。使用OGR，您可以执行以下操作：

from osgeo import ogr

driver = ogr.GetDriverByName("ESRI Shapefile")
ds = driver.Open("nbac_2016_r2_20170707_1114.shp", 0) #open your shapefile
#get its layer
layer = ds.GetLayer()

#create new shapefile to convert
ds2 = driver.CreateDataSource('convertedShape.shp')
#create a Polygon layer, as the one your Shapefile has
layer2 = ds2.CreateLayer('', None, ogr.wkbPolygon)
#iterate over all features of your original shapefile
for feature in layer:
   #and create a new feature on your converted shapefile with those features
   layer2.CreateFeature(feature)

ds = layer = ds2 = layer2 = None

这也可以在转换后成功使用df = gpd.read_file("convertedShape.shp")打开。希望这会有所帮助。

Answer 2

with fiona.open(file, encoding="UTF-8") as f:

为我工作。

Answer 3

作为this answer的扩展，您可以通过fiopandas read_file传递fiona参数：

 module : {
    rules : [
        {
            test: /\.jsx/,
            include: APP_DIR,
            loader: 'babel-loader',
            //Just in case
            exclude: /node_modules/
        },
        //{include: /\.json$/, loaders: ["json-loader"]}
    ]
},

Answer 4

由于您安装了GDAL，我建议您使用CLI将文件转换为UTF-8：

ogr2ogr output.shp input.shp -lco ENCODING=UTF-8

对我来说就像一个魅力。它比QGIS或Python快得多，可以在集群环境中应用。