Scrapy-elasticsearch插件问题

时间:2017-01-05 12:37:38

标签: python elasticsearch scrapy

我最近安装了这个plugin,效果很好......

现在我的问题是,当我用新数据重新填充ES'索引'时,我想首先在ES中删除现有的'索引'。这是为了删除ES中的旧数据。

上面提到的插件包含此文件 scrapyelasticsearch.py​​ ,我想我可以添加此代码

es.delete(index='my-index', doc_type='test')

在重新填充之前删除索引。

插件会在插入数据之前自动重新创建索引。

问题:我找不到此文件( scrapyelasticsearch.py​​ )的位置?我正在使用Ubuntu 16.04,同时还安装了ES和Scrapy。

我试过这个命令来找到这个包

dpkg -l scrapyelasticsearch

但收到此错误

dpkg-query: no packages found matching scrapyelasticsearch

如果有人使用过这个插件/包,请帮我找到这个文件 scrapyelasticsearch.py​​

非常感谢任何帮助。感谢

1 个答案:

答案 0 :(得分:1)

该文件位于python安装的site-packages目录中。因此,如果你在系统的python(不是虚拟环境)上运行,那就像是:

/usr/lib/python3.5/site-packages/

但是,您不应修改网站包数据!

您应该做的是在github上克隆或分叉项目,对其进行更改,并在您的系统上安装此fork。

git clone https://github.com/knockrentals/scrapy-elasticsearch.git
cd scrapy-elasticsearch
your_editing_program 'scrapyelasticsearch/scrapyelasticsearch.py'
# make changes
pip uninstall scrapy-elasticsearch  # uninstall old original package
pip install .  # install your package, you can also add -e flag for real time modifications