如何在CKAN的Web UI中添加自定义数据集构面/ solr过滤器?

时间:2018-12-19 21:20:56

标签: python solr ckan

问题:

如何使用CKAN的Web UI从以下package_search API endpoint的URL复制结果?

https://demo.ckan.org/api/3/action/package_search?fq=num_resources:[1%20TO%20*]

我想让用户按有资源或无资源(0 num_resources或1至* num_resources)的包进行过滤。

我尝试过的事情:

我已经查看并尝试添加一些构面并进行排序。

此构面允许按X个资源(例如1个)的包进行过滤。通过排序,您可以按资源数量的顺序对所有数据集进行排序,例如包含10个资源的软件包,然后包含9个资源,然后包含8个资源,等等...

我试图用以下内容复制API URI

https://demo.ckan.org/dataset?num_resources=[1%20TO%20*]

如果我添加fq部分,那么它也不起作用。 search()操作将抓取num_resources=[1 TO *]并将其附加到solr fq参数(can be seen here with log statements)。

但是,在解决此问题后,我发现CKAN Package控制器的search()操作确实允许您向solr filter option fq添加值,就像在API调用中一样,它首先将参数转换为字符串num_resources:"[1 TO *]"。这可以很好地获取单个值,但不能达到我想要的范围。如果我在API中使用此确切参数(带有引号,但不喜欢上面的url / api端点),我也会得到错误的结果。

常规信息:

更新:

2018-12-20:

此后,我发现q=num_resources:[1%20TO%20*]作为查询字符串有效,因为它不会在search()操作中转义。 q参数是在进行编码之前提取的。

但是,这不是理想的方法,因为它会更新搜索输入并覆盖任何现有查询字符串,除非您追加到查询字符串并将其添加到过滤器中为止。

# I've switched spaces to + to help with readability.
https://demo.ckan.org/dataset?q=num_resources:[1+TO+*]+Test

2018-12-21:

正在扩展中实现IPackageController。在这种情况下,这似乎是进行此操作的正确方法。将在之后添加实现。

但是,我认为可以在ckan的package_search

中完成对参数的更新实现

结果发现search indexorganization read的实现有很大不同,因此完全相同的实现将无法正常工作。实际上,多余的参数是q参数的一部分,而不是像搜索那样的fq

1 个答案:

答案 0 :(得分:0)

根据我最近的更新,看来最好的方法是通过扩展程序中的IPackageController并使用before_search()来修改搜索参数。

这很好,但是,如果CKAN允许一种方法在其主要搜索页面(数据集和组织fq并附加到fq)上传递其他?fq=num_resources:[1 TO *]过滤器,那就很好了。另外,似乎在将参数分配给fq方面,数据集与组织相比略有不同。您可以从他们的操作(dataset searchorganization read)的这两行中看到这一点。就我而言,我决定只处理数据集搜索。

主要作品

# In plugin class implement IPackageController.
class CustomPlugin(plugins.SingletonPlugin, toolkit.DefaultDatasetForm):
    ...
    plugins.implements(plugins.IPackageController)


    # Lower in plugin class add needed functions from IPackageController, 
    # I decided to add them all and leave them untouched to avoid various 
    # errors I was getting.
    def before_search(self, search_params):
        u'''Extensions will receive a dictionary with the query parameters,
        and should return a modified (or not) version of it.

        Basically go over all search_params and look for values that contain my 
        additional filter and remove the double quotes. All fq values are a 
        single string, so do exact match to not remove other escaping / quotes.

        In query string in URL if you do `?num_resources=0` you get datasets with no
        resources (the opposite of this query string).
        '''
        for (param, value) in search_params.items():
            if param == 'fq' and 'num_resources:"[' in value:
                v = value.replace('num_resources:"[1 TO *]"', 'num_resources:[1 TO *]')
                search_params[param] = v

        return search_params

    def after_search(self, search_results, search_params):
        return search_results

    def before_index(self, pkg_dict):
        return pkg_dict

    def before_view(self, pkg_dict):
        return pkg_dict

    def read(self, entity):
        return entity

    def create(self, entity):
        return entity

    def edit(self, entity):
        return entity

    def delete(self, entity):
        return entity

    def after_create(self, context, pkg_dict):
        return pkg_dict

    def after_update(self, context, pkg_dict):
        return pkg_dict

    def after_delete(self, context, pkg_dict):
        return pkg_dict

    def after_show(self, context, pkg_dict):
        return pkg_dict

然后针对UI,我在search.html模板上添加了自定义构面列表。

<div>
  <section class="module module-narrow module-shallow">
    {% block facet_list_heading %}
      <h2 class="module-heading">
        <i class="fa fa-filter"></i>
        {% set title = 'Resources (data)' %}
        {{ title }}
      </h2>
    {% endblock %}
    {% block facet_list_items %}
      {% set title = 'Has Resources (data)' %}
      <nav>
        <ul class="{{ nav_class or 'list-unstyled nav nav-simple nav-facet' }}">
          {% set href = h.remove_url_param('num_resources',
                                           extras=extras,
                                           alternative_url=alternative_url) 
                        if c.fields_grouped['num_resources'] 
                        else h.add_url_param(new_params={'num_resources': '[1 TO *]' },
                                            alternative_url=alternative_url) %}
          <li class="{{ nav_item_class or 'nav-item' }}{% if c.fields_grouped['num_resources'] %} active{% endif %}">
            <a href="{{ href }}" title="{{ title }}">
              <span>{{ title }}</span>
            </a>
          </li>
        </ul>
      </nav>
    {% endblock %}
  </section>
</div>

以这种方式执行操作,不会使用IFacets添加新构面,因为这会为num_resources添加构面列表,从而为筛选器选项提供0、1、2、3 ...(或对您的设置有意义的任何选择)例如,如果数据集有15种资源,则将其显示为一个选项)。

我还对search_form.html代码段进行了一些修改,以使构面过滤器显示我想要的方式,但这只是多余的。