简介

Question

简介

我已将freebase上传到Virtuoso open-source。数据集位于以下服务器上：http://SERVER_SPARQL:8890/sparql。我想提取具有 common.topic 类型的所有实体的描述。

C ++类

为了访问数据库，我使用curlpp和c++。我很确定这不是班级的问题。无论如何，我会发布它。

#include "SparqlQuery.h"

#include <curlpp/cURLpp.hpp>
#include <curlpp/Easy.hpp>
#include <curlpp/Options.hpp>
#include <curlpp/Exception.hpp>
#include <sstream>
#include <fstream>

using namespace std;

SparqlQuery::SparqlQuery(const string & query, const string & url):_query(query),_url(url){}

size_t  WriteCallback(void *contents, size_t size, size_t nmemb, void *userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

string SparqlQuery::retrieveInformations()
{
    CURL *curl;
    CURLcode res;
    curl = curl_easy_init();
    cout << _url << endl;
    string readBuffer = "";
    if(curl)
    {
        //convert string query to URL format
        char * parameters = curl_easy_escape(curl, _query.c_str(), (int)_query.size());

        //Format query according to the sparql endpoint site
        string query = "query=";
        string tothis(parameters);
        string buffer = query + tothis;

        curl_free(parameters);

        //Launch query and retrieve informations in form of an xml structure
        curl_easy_setopt(curl, CURLOPT_URL, _url.c_str());
        curl_easy_setopt(curl, CURLOPT_POSTFIELDS, buffer.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);
        res = curl_easy_perform(curl);
        curl_easy_cleanup(curl);
    }
    return readBuffer;
}

实体数量

当我使用以下查询时，它会返回 common.topic 类型的 43453748 实体。这很好

void loadData()
{
  cout <<"loading data" << endl;
  string serverURL = "http://SERVER_SPARQL:8890/sparql";
  string query = "select count(*) where {?head <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://rdf.basekb.com/ns/common.topic>.}";

  SparqlQuery sparql(query, severURL);
  string result = sparql.retrieveInformations();
  cout << result << endl;
}

问题

当我使用以下查询时，它不会输出超过10,000个实体。即使我从浏览器尝试查询，它也不会返回完整的实体集。你知道它为什么没有返回完整的结果吗？好像结果有限制。

void Freebase::loadData()
{
  cout <<"loading data" << endl;
  string serverURL = "http://SERVER_SPARQL:8890/sparql";
  string query = "select ?head, ?description where { ?head <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://rdf.basekb.com/ns/common.topic>.?head <http://rdf.basekb.com/ns/common.topic.description>  ?description.}";

  SparqlQuery sparql(query, serverURL);
  string result = sparql.retrieveInformations();
  cout << result << endl;
}

的修饰

我尝试通过添加should-sponge选项来修改类，但现在问题如下：

Virtuoso 22023错误SR078：结果集太长，必须限制结果最多2097151行（DAMN IT !!!!!!!!!!!!!!!）

using namespace std;

SparqlQuery::SparqlQuery(const string & query, const string & url):_query(query),_url(url){}

size_t  WriteCallback(void *contents, size_t size, size_t nmemb, void *userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

string SparqlQuery::retrieveInformations()
{
    CURL *curl;
    CURLcode res;
    curl = curl_easy_init();
    cout << _url << endl;
    string readBuffer = "";
    if(curl)
    {
        //convert string query to URL format
        char * parameters = curl_easy_escape(curl, _query.c_str(), (int)_query.size());
    string val = "grab-all-seealso";
    char * sponge_parameters = curl_easy_escape(curl, val.c_str(), (int)val.size());

        //Format query according to the sparql endpoint site
    string should_sponge= "should-sponge=";
    string last(sponge_parameters);
    string buffer1 = should_sponge + last;

        string query = "query=";
        string tothis(parameters);
        string buffer = query + tothis +"&"+ buffer1;
        cout << buffer << endl;

        curl_free(parameters);
    curl_free(sponge_parameters);

        //Launch query and retrieve informations in form of an xml structure
        curl_easy_setopt(curl, CURLOPT_URL, _url.c_str());
        curl_easy_setopt(curl, CURLOPT_POSTFIELDS, buffer.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);
        res = curl_easy_perform(curl);
        curl_easy_cleanup(curl);
    }
    return readBuffer;
}

更新

根据建议，我实际使用了LIMIT和OFFSET。根据{{3}}，没有必要使用ORDER BY。这实际上更适合我。它的速度要快得多，我没有得到时间限制的例外。

for(int offset = 1000; ;offset += 1000 )
  {
    string query = "PREFIX basekb:<http://rdf.basekb.com/ns/> PREFIX rdf:<http://www.w3.org/1999/02/22-rdf-syntax-ns#> PREFIX rdfs:<http://www.w3.org/2000/01/rdf-schema#> select distinct ?head ?label where { ?head rdf:type basekb:common.topic. ?head rdfs:label ?label}LIMIT 1000 OFFSET " + std::to_string(offset) ;
    SparqlQuery sparql(query, _serverURL);
    string result = sparql.retrieveInformations();
    cout << result << endl;
  }

我还有一个问题。我怎么知道我是否越过了最高限度？希望我不会得到重复的结果。

Answer 1

您使用以下命令限制sparql查询：

LIMIT 10

Answer 2

对于第一个近似值，具有common.topic.description属性的所有实体都将是common.topic类型，因此对于许多应用程序执行此操作的更简单方法是仅使用grep源RDF文件以查找具有common.topic.description三元组的所有行。

这会在几分钟而不是几小时内给你一个答案。

如果您想坚持使用SPARQL，请尝试将LIMIT和OFFSET子句添加到您的查询中并迭代以获得所有结果（如Joshua Taylor所述，但隐藏在评论中）。< / p>

Answer 3

通过HTTP使用SPARQL时，Virtuoso似乎对您的查询以及如何构造结果集施加了很多限制。我经常听到但无法理解的是，最大结果集大小（尽管virtuoso.ini设置）似乎是1M行。

在Virtuoso端点上运行SPARQL查询有一些不太“开放”的方法，不受这些限制。

如果您不需要一遍又一遍地以编程方式执行此操作，并且您控制服务器，我可能首先尝试：尝试在isql / isql-vt命令中运行查询线界面。您可以像这样运行sparql查询：

sparql select * {?s ?p ?o} limit 10;

似乎还有一个CSV变量可以设置为输出“CSV”，但请注意encoding is weird。

其他选项是ODBC / JDBC连接器，例如DWSLab正在使用的连接器。

为什么本地服务器上的Sparql端点没有返回给定类型的完整实体集？

简介

C ++类

实体数量

问题

的修饰

更新

3 个答案: