Question

似乎搞乱了配置，就像试图调整顶点和边缘的线程读取器的数量一样，导致了许多无法解释的异常，并且尝试设置批处理大小也存在问题。它似乎仅适用于可执行文件产生的默认设置。我有很多例外，在尝试“玩”这些值时，他们之中有一些是 [1] CAS cassandra除外，它与无法创建更多分区键有关。 [2]一致性为ONE的写查询期间Cassandra超时

等等。由于文档中没有有关如何解决这些问题的参考，因此我不知道如何继续。似乎所有事物都非常微妙和不稳定，因此任何小的更改都会导致大量异常。

这用于使用graph-loader-6.0.1和dse 6.0.0或dse 6.0.1

例如： com.datastax.dsegraphloader.exception.LoadingException：com.datastax.driver.core.exceptions.InvalidQueryException：在添加的顶点，属性和边上超出了资源限制。最多允许100000。请将交易分成多个较小的交易，然后重试。

这是我尝试使用一些配置时得到的。

这是用于配置的常规文件：

// config
config preparation: false
config create_schema: false
config load_new: true
config load_edge_threads: 5
config load_vertex_threads: 5
config batch_size: 5000

// orders
inputfiledir = '/home/dseuser/'
profileInput = File.text(inputfiledir + "soc-pokec-profiles.txt").
        delimiter("\t").header('user_id','public','completion_percentage','gender','region','last_login','registration','age',
'body','I_am_working_in_field','spoken_languages','hobbies','I_most_enjoy_good_food','pets','body_type',
'my_eyesight','eye_color','hair_color','hair_type','completed_level_of_education','favourite_color',
'relation_to_smoking','relation_to_alcohol','sign_in_zodiac','on_pokec_i_am_looking_for','love_is_for_me',
'relation_to_casual_sex','my_partner_should_be','marital_status','children','relation_to_children','I_like_movies',
'I_like_watching_movie','I_like_music','I_mostly_like_listening_to_music','the_idea_of_good_evening',
'I_like_specialties_from_kitchen','fun','I_am_going_to_concerts','my_active_sports','my_passive_sports','profession',
'I_like_books','life_style','music','cars','politics','relationships','art_culture','hobbies_interests',
'science_technologies','computers_internet','education','sport','movies','travelling','health','companies_brands',
'holder1','holder2')

relationInput = File.text(inputfiledir + "soc-pokec-relationships.txt").
        delimiter("\t").header('auser','buser')

profileInput = profileInput.transform {
                if (it['completion_percentage'] == 'null') { it.remove('completion_percentage')};
                if (it['gender'] == 'null') { it.remove('gender')};
                if (it['last_login'] == 'null') { it.remove('last_login')};
                if (it['registration'] == 'null') { it.remove('registration')};
                if (it['age'] == 'null') { it.remove('age')};
                it
               }

load(profileInput).asVertices {
        label "user"
        key "user_id"
}

load(relationInput).asEdges {
        label "relation"
        outV "auser", {
                label "user"
                key "user_id"
        }
        inV "buser", {
                label "user"
                key "user_id"
        }
}

我尝试使用斯坦福大学的soc-pokec（社交网络）（可从网络中获得）。我不得不放松大部分配置来解决该问题。请注意，例外中的数字与我在配置中疯狂的设置之间完全没有关联。

dse配置的图形生成器

0 个答案: