Question

在我正在开发的应用程序中，我们有两个数据源：MySQL和Elasticsearch。粗略地说，ES具有MySQL数据的副本以获得更好的性能。我构建了一个直接访问MySQL的管理面板。这对于编写操作和检索单个项目是可以的。但是，当我尝试列出并过滤大量记录时，它非常慢，导致超时。然后，我只更新列表部分以从ES而不是MySQL获取数据。

该面板基于Laravel 5.3构建，我们正在使用Datatables plug-in for jQuery来显示数据。要将Datatables绑定到后端，我们有Datatables package for Laravel。

使用以下控制器操作，并且在不应用任何过滤器时，它可以正常工作：

public function data(Elasticsearch $elastic, Request $request)
{
    $query = [];
    $cols = [];
    if ($request->has('columns')) {
        foreach ($request->get('columns') as $column) {
            $cols[] = $column['name'];
            if (!empty($column['search']['value'])) {
                $query[] = sprintf('%s:%s', $column['name'], $column['search']['value']);
            }
        }
    }

    $from = (int) $request->get('start');
    $size = (int) $request->get('length');
    $sort = [];
    if ($request->has('order')) {
        foreach ($request->get('order') as $order) {
            $sort[] = [ $cols[$order['column']] => $order['dir'] ];
        }
    } else {
        $sort[] = [ 'name' => 'asc' ];
    }
    $args = [
        'index' => 'acme',
        'type' => 'user',
        'from' => $from ?: 0,
        'size' => $size ?: 10,
        'sort' => $sort,
    ];
    if (count($query) > 0) {
        $args['q'] = implode(' AND ', $query);
    }

    $response = $elastic->search($args);
    $data = [];
    $total = 0;

    if (!empty($response['hits'])) {
        $total = $response['hits']['total'];
        $data = array_map(function ($hit) {
            return $hit['_source'];
        }, $response['hits']['hits']);
    }

    return Datatables::of(collect($data))
        ->skipPaging()
        ->setTotalRecords($total)
        ->make(true);
}

触发表格渲染的Javascript如下所示：

$('#users-table').DataTable({
    processing: true,
    serverSide: true,
    orderCellsTop: true,
    ajax: '{!! route('user.data') !!}',
    columns: [
        { data: 'name', name: 'name' },
        { data: 'type', name: 'type' },
        { data: 'status', name: 'status' }
    ]
});

当我尝试按某些列搜索或过滤表格时会出现问题。分页停止工作。我猜这是因为我在将数据集传递给Datatables::of()中的数据表之前对其进行了过滤。我知道我可以从ES检索整个数据集，并让Datatables进行过滤和排序数据，但我可能最终会遇到时间和内存使用问题。我们有数百万个文档编入索引。

我尝试使用空函数（->filter(function () {})）覆盖全局搜索，但它不起作用。添加此分页后，分页会中断，即使记录总数设置为较大值，也只显示单个页面。

Answer 1

通过查看Laravel DataTables源代码，有未记录的overrideGlobalSearch()方法，请参阅下面的定义。最后一个参数是一个标志，用于确定是否应执行默认全局搜索。

/**
 * Update flags to disable global search
 *
 * @param  callable $callback
 * @param  mixed $parameters
 * @param  bool $autoFilter
 */
public function overrideGlobalSearch(callable $callback, $parameters, $autoFilter = false)
{
}

理论上你应该能够做到以下几点：

$datatables = Datatables::of(collect($data))
    ->skipPaging()
    ->setTotalRecords($total);

$datatables->overrideGlobalSearch(function(){ }, null);

return $datatables->make(true);

此外，您还需要重置保存列搜索值的参数，以便默认情况下DataTables不会执行列搜索。

除此之外，请确保您的$total变量在过滤之前保留的总记录数。

Answer 2

当我评论Gyrocode的回答时，我找到了一种让它按照我想要的方式工作的方法。我想有更优雅的方法可以做到这一点，但这个方法有效。

由于我正在使用的Datatables库采用当前请求对数据进行排序和过滤，因此我查看了使用空请求的方法的源代码。我最终发现可以实例化通过我想要的请求的引擎。

这就是我的所作所为：

use Yajra\Datatables\Engines\CollectionEngine;
use Yajra\Datatables\Request as DatatablesRequest;

// ...

return value(new CollectionEngine(collect($data), new DatatablesRequest()))
    ->setTotalRecords($total)
    ->make‌(true);

这样，lib就会按原样使用数据，不进行任何过滤或排序。

如何将过滤后的数据传递给Laravel上的数据表？

2 个答案: