在云模式下设置Apache Solr

时间:2018-07-19 11:39:22

标签: solr lucene apache-zookeeper solrcloud solr4

我必须执行以下操作:

  1. 我必须在2个服务器/节点上部署Solr。
  2. 在另一台服务器上部署Zookeeper。
  3. 将自定义配置上传到Zookeeper
  4. 使用2个分片和2个副本创建自定义集合

Solr 7.4.0和Zookeeper版本: 3.4.12

我已经执行以下操作:

设置Zookeeper:

  • 创建了Zookeeper数据文件夹,并创建了zoo.conf并将dataDir放在此处。
  • 使用./zkServer.sh start开始了动物园管理员

设置Solr:

  • 使用以下命令启动Solr:

    ./solr start -cloud -s /home/demo/LocalFolder/Downloads/SolrHome -p 8987 -z localhost:2181

  • 尝试使用以下方法在Zookeeper中上传配置: ./solr create -c mycollection -d /media/sf_VM/Dump/conf

这给了我一个例外:

Caused by: javax.servlet.UnavailableException: Error processing the request. CoreContainer is either not initialized or shutting down.
    at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:341)
    at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:323)
    at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1634)
    at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:533)
    at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:146)
    at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:548)
    at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:132)
    at org.eclipse.jetty.server.handler.ScopedHandler.nextHandle(ScopedHandler.java:257)
    at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:1595)
    at org.eclipse.jetty.server.handler.ScopedHandler.nextHandle(ScopedHandler.java:255)
    at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1253)
    at org.eclipse.jetty.server.handler.ScopedHandler.nextScope(ScopedHandler.java:203)
    at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:473)
    at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:1564)
    at org.eclipse.jetty.server.handler.ScopedHandler.nextScope(ScopedHandler.java:201)
    at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1155)
    at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:144)
    at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:219)
    at org.eclipse.jetty.server.handler.HandlerCollection.handle(HandlerCollection.java:126)
    ... 17 more
</pre>

我搜索了许多页面并看过Solr教程,但在那里他们使用了默认示例。我只是对

没有任何循序渐进的想法
  1. 如何在Zookeeper中上载配置?
  2. 然后我需要做的就是创建一个指向该配置的集合。我希望该集合具有2个碎片和2个副本。
  3. solr.xml在哪里。如果应该在Zookeeper中,该如何上传到那里
  4. 我如何在Zookeeper中看到配置已上传?

我知道这个问题可能是重复的。我已经阅读了几篇文章,但无法提出解决方案。请帮忙。

1 个答案:

答案 0 :(得分:3)

好吧,我弄清楚了如何设置。请注意,我已经从其他站点阅读了这些步骤,并逐步收集在这里:

1。设置ZooKeeper:

这用于将特定于集合的配置文件保留在中央空间中,并使用名称进行映射。稍后,我们可以使用此名称来创建指向此配置的集合。此配置与在以下文件夹中找到的配置相同: solr-7.4.0\server\solr\configsets\sample_techproducts_configs\conf

1.1下载最新的Zookeeper。我用过3.4.12

1.2解压缩下载的存档并将conf / zoo_sample.cfg复制到conf / zoo.cfg

1.3修改zoo.cfg:

1.3.1将dataDir更改为要保留所有群集配置数据的目录。 dataDir=/var/zookeeper/data

1.3.2添加有关所有Zookeeper服务器的信息:我仅使用了1个ZooKeeper服务器,因此这不是必需的。如果要添加更多服务器,请通过以下链接:

DZone Tutorial

Apache Tutorial

1.3.3使用(启动zookeeper-3.4.12 /之后)启动ZooKeeper:

./bin/zkServer.sh start-foreground conf/zoo.cfg

OR

./bin/zkServer.sh start conf/zoo.cfg

注意:您可以使用以下命令停止ZooKeeper:

bin/zkServer.sh stop

1.3.4 ZooKeeper状态:

点击以下内容:

bin/zkServer.sh status

或者执行telnet localhost 2181并在连接后按stats

2。设置Solr

2.1下载Solr

2.2从.tar文件中提取install_solr_service.sh。 Solr包含服务安装脚本(bin / install_solr_service.sh),可帮助您在Linux上将Solr作为服务安装。有关更多信息,click here

tar -xzf solr-7.4.0.tgz solr-7.4.0/bin/install_solr_service.sh --strip-components=2

2.3使用上述脚本将Solr作为服务安装:

sudo bash ./install_solr_service.sh solr-7.4.0.tgz

这还将把solr-7.4.0.tgz提取到/opt/solr

2.4转到/opt/solr并执行以下操作:

mkdir solr/server/solr2 mkdir solr/server/solr3 mkdir solr/server/solr4

cp solr/server/solr/solr.xml solr/server/solr2 cp solr/server/solr/solr.xml solr/server/solr3 cp solr/server/solr/solr.xml solr/server/solr4

2.5在solr.xml中更改码头端口。对上面步骤中提到的所有3 solr.xml都执行此操作:

vi solr/server/solr2/solr.xml

搜索端口8983并将其更改为8984(对于solr2),将其更改为8985(对于solr3),将其更改为8986(对于solr4)

2.6在8983处停止Solr运行

root@dev-base:/opt/solr/bin# ./solr stop -p 8983

2.7启动所有solr实例:

root@dev-base:/opt/solr# bin/solr start -c -s server/solr -p 8983 -z localhost:2181 -noprompt -force root@dev-base:/opt/solr# bin/solr start -c -s server/solr2 -p 8984 -z localhost:2181 -noprompt -force root@dev-base:/opt/solr# bin/solr start -c -s server/solr3 -p 8985 -z localhost:2181 -noprompt -force root@dev-base:/opt/solr# bin/solr start -c -s server/solr4 -p 8986 -z localhost:2181 -noprompt -force

注意:出于安全原因,不建议将solr作为root用户运行。

2.8请参阅Solr状态:

root@dev-base:/opt/solr# bin/solr status

3进行自定义配置

3.1将conf目录从solr-7.4.0\server\solr\configsets\sample_techproducts_configs\conf复制到另一个位置(In my case it is /media/sf_VM/Dump/new/conf )

3.2更改managed-schema中的conf文件以指定您正在使用的字段。

4将配置上传到ZooKeeper:

root@dev-base:/opt/solr# bin/solr zk -z localhost:2181 upconfig -d /media/sf_VM/Dump/new/conf -n myConf6

我上传的配置名称为myConf6

5使用此自定义配置创建Solr集合

root@dev-base:/opt/solr# bin/solr create -c myNewCollection -n myConf6 -shards 2 -replicationFactor 2 -force

Solr Admin URL

6使用JSON的POST API使用索引数据

URL:http://localhost:8983/solr/myNewCollection/update

方法:开机自检

身体:

[{
    "_id": "99999999999999999999",
    "author": [
        "New Inserted 9000"
    ],
    "authorLastName": [
        "New Inserted 9000"
    ],
    "impn": "New Inserted 9000",
    "isbn10": "9999999999",
    "isbn13": "9999999999999",
    "title": "New Inserted 9000",
    "publisher": "New Inserted 9000",
    "sales_a": 5.0,
    "sales_t": 5.0,
    "haveImage": 1,
    "pages": "76",
    "image": "http://ip.ip.com/is/image/",
    "format": "Paper",
    "mtc_id": "99999999999",
    "subjects" : [         
        "9000"
    ]
    "rating": 0,
    "description_long": "Introduces the core functionality of SAS Enterprise "
}

在Zookeeper中删除配置:

如果要删除已经上传到ZooKeeper的旧/错误配置,请运行以下命令:

./server/scripts/cloud-scripts/zkcli.sh -cmd clear -z "<ZK_HOST>:<ZK_PORT>" /configs/AAA

配置路径为/configs/< name of the configset >

要删除特定文件:

zkcli.sh --zkhost <ZK_HOST>:<ZK_PORT> -cmd clear /configs/<MY_COLLECTION>/solrconfig.xml

上传更新的文件:

zkcli.sh --zkhost <ZK_HOST>:<ZK_PORT> -cmd putfile /configs/<MY_COLLECTION>/solrconfig.xml /<MY_UPDATED_FILE_LOCAL_FOLDER>/solrconfig.xml

然后,我们需要重新启动solr节点。

要通过API删除集合,请执行以下操作:

  1. 首先删除在此集合上创建的别名(如果有)

http://localhost:8983/solr/admin/collections?action=DELETEALIAS&name=aliasName

  1. 删除收藏集:

http://localhost:8983/solr/admin/collections?action=DELETE&name=collectionName