Question

我正在测试java的新应用引擎搜索API，我有以下代码尝试在索引上添加~3000个文档：

List<Document> documents = new ArrayList<Document>();
    for (FacebookAlbum album: user.listAllAlbums()) {
        Document doc = Document.newBuilder()
                .setId(album.getId())
                .addField(Field.newBuilder().setName("name").setText(album.getFullName()))
                .addField(Field.newBuilder().setName("albumId").setText(album.getAlbumId()))
                .addField(Field.newBuilder().setName("createdTime").setDate(Field.date(album.getCreatedTime())))
                .addField(Field.newBuilder().setName("updatedTime").setDate(Field.date(album.getUpdatedTime())))
                .build();
        documents.add(doc);
    }     

    try {
        // Add all the documents.
        getIndex(facebookId).add(documents);
    } catch (AddException e) {
        if (StatusCode.TRANSIENT_ERROR.equals(e.getOperationResult().getCode())) {
            // retry adding document
        }
    }

但是，我收到以下异常：

Uncaught exception from servlet
java.lang.IllegalArgumentException: number of documents, 3433, exceeds maximum 200
at com.google.appengine.api.search.IndexImpl.addAsync(IndexImpl.java:196)
at com.google.appengine.api.search.IndexImpl.add(IndexImpl.java:380)
at photomemories.buildIndexServlet.doGet(buildIndexServlet.java:47)

我可以在添加调用设置为200时插入的文档数量是否配额？

如果我尝试使用以下代码一次将一个文档插入索引：

 for (FacebookAlbum album: user.listAllAlbums()) {
        Document doc = Document.newBuilder()
                .setId(album.getId())
                .addField(Field.newBuilder().setName("name").setText(album.getFullName()))
                .addField(Field.newBuilder().setName("albumId").setText(album.getAlbumId()))
                .addField(Field.newBuilder().setName("createdTime").setDate(Field.date(album.getCreatedTime())))
                .addField(Field.newBuilder().setName("updatedTime").setDate(Field.date(album.getUpdatedTime())))
                .build();

         try {
            // Add the document.
            getIndex(facebookId).add(doc);
        } catch (AddException e) {
            if (StatusCode.TRANSIENT_ERROR.equals(e.getOperationResult().getCode())) {
                // retry adding document
            }
        }

    }

我收到以下异常：

com.google.apphosting.api.ApiProxy$OverQuotaException: The API call search.IndexDocument() required more quota than is available.
at com.google.apphosting.runtime.ApiProxyImpl$AsyncApiFuture.success(ApiProxyImpl.java:479)
at com.google.apphosting.runtime.ApiProxyImpl$AsyncApiFuture.success(ApiProxyImpl.java:382)
at com.google.net.rpc3.client.RpcStub$RpcCallbackDispatcher$1.runInContext(RpcStub.java:786)
at com.google.tracing.TraceContext$TraceContextRunnable$1.run(TraceContext.java:455)

我认为api电话的配额是20k /天（见这里：https://developers.google.com/appengine/docs/java/search/overview#Quotas）。

有关正在发生的事情的任何想法？

Answer 1

这里有一些事情发生。最重要的是，这很快就会在文档中得到澄清，Search API调用配额也会考虑添加/更新的文档数量。因此，插入10个文档的单个Add调用将使您的每日Search API调用配额减少10个。

是的，可以在单个添加呼叫中编入索引的最大文档数为200.但是，在此阶段还有一个短期突发配额限制您每分钟约100个API调用。

以上所有意味着，至少现在，每个Add请求不添加超过100个文档是最安全的。通过Shay推荐的任务队列这样做也是一个非常好的主意。

Answer 2

我认为（无法找到验证）每分钟配额限制，您应该使用队列索引文档，以确保逐步索引它们。

Answer 3

Docs也提到了每分钟的配额，20k只是每分钟13.9。

https://developers.google.com/appengine/docs/quotas

关于java的appengine search api的配额

3 个答案: