我在PySpark中有一个相当大的数据帧（100GB），我想将其分成训练，测试和验证集。这是关键，我已经在工作之前完成了它，但是这次尝试一下，它返回的数据帧的所有值都从实际值更改为1或0。 从工作变为不工作的唯一一件事是，我删除了两个字符串列。 当包含字符串的列位于数据框中时，代码似乎可以按预期工作，即，不会更改数据框的值。
我正在Jupyter笔记本中的AWS EMR PySpark上运行。
dataframe.show()
收益
-+--------------------+----+--------------------+--------------------+----+--------------------+----+--------------------+----+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+-----+--------------------+--------------------+-----+--------------------+-------------------+-----+
|c_3| c_4| c_5| c_6| c_7| c_8| c_9| c_10| c_11| c_12| c_13| c_14| c_15| c_16| c_17| c_18| c_19| c_20| c_21| c_22| c_23| c_24| c_25| c_26| c_27| c_28| c_29| c_30| c_31| c_32| c_33| c_34| c_35| c_36| c_37| c_38|c_39|c_40|c_41|c_42|c_43|c_44|c_45|c_46|c_47|c_48|c_49| c_50| c_51| c_52| c_53| c_54| c_55| c_56| c_57| c_58| c_59| c_60| c_61| c_62| c_63| c_64| c_65| c_66| c_67| c_68| c_69| c_70| c_71| c_72| c_73| c_74|c_75|c_76| c_77|c_78|c_79| c_80| c_81|c_82|c_83|c_84| c_85| c_86|c_87| c_88| c_89|c_90| c_91|c_92| c_93|c_94| c_95| c_96| c_97| c_98| c_99| c_100| c_101|c_102| c_103| c_104|c_105| c_106| c_107|c_108|
+---+------+-----+-----+----+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+-------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+----+----+----+----+----+----+----+----+----+----+----+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+-------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+----+----+--------------------+----+----+--------------------+--------------------+----+----+----+--------------------+--------------------+----+--------------------+--------------------+----+--------------------+----+--------------------+----+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+-----+--------------------+--------------------+-----+--------------------+-------------------+-----+
|0.0| 526.0| 57.0| 44.0|13.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.03612167300380228|0.051330798479087454|0.030418250950570342| 0.26045627376425856| 0.18631178707224336| 0.04182509505703422|0.028517110266159693| 0.07034220532319392|0.043726235741444866| 0.06653992395437262| 0.10266159695817491|0.019011406844106463|0.017110266159695818| 0.03231939163498099|0.013307984790874524| 0.0| 0.0| 0.35361216730038025|0.011406844106463879| 0.13307984790874525| 0.49049429657794674| 0.0|0.003802281368821292|0.001901140684410646| 0| 1.0| 0.0| 1.0| 0.0| 1.0| 0.0| 1.0| 0.0| 0.0| 1.0| 0.0| 0.06273764258555133|0.009505703422053232| 0.0|0.001901140684410646|0.011406844106463879| 0.06653992395437262| 0.06273764258555133| 0.03612167300380228| 0.02091254752851711|0.003802281368821292| 0.0| 0.0|0.005703422053231939|0.003802281368821292| 0.0| 0.0|0.003802281368821292| 0.0| 0.0| 0.0|0.005703422053231939|0.001901140684410646|0.00190 .... etc.
正确。
但是发布randomSplit：
train, test, validation = dataframe.randomSplit([0.6, 0.3, 0.1], 13)
train.show()
收益
+---+---+---+---+---+---+---+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+-----+-----+-----+-----+-----+-----+-----+-----+-----+
|c_3|c_4|c_5|c_6|c_7|c_8|c_9|c_10|c_11|c_12|c_13|c_14|c_15|c_16|c_17|c_18|c_19|c_20|c_21|c_22|c_23|c_24|c_25|c_26|c_27|c_28|c_29|c_30|c_31|c_32|c_33|c_34|c_35|c_36|c_37|c_38|c_39|c_40|c_41|c_42|c_43|c_44|c_45|c_46|c_47|c_48|c_49|c_50|c_51|c_52|c_53|c_54|c_55|c_56|c_57|c_58|c_59|c_60|c_61|c_62|c_63|c_64|c_65|c_66|c_67|c_68|c_69|c_70|c_71|c_72|c_73|c_74|c_75|c_76|c_77|c_78|c_79|c_80|c_81|c_82|c_83|c_84|c_85|c_86|c_87|c_88|c_89|c_90|c_91|c_92|c_93|c_94|c_95|c_96|c_97|c_98|c_99|c_100|c_101|c_102|c_103|c_104|c_105|c_106|c_107|c_108|
+---+---+---+---+---+---+---+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+-----+-----+-----+-----+-----+-----+-----+-----+-----+
|0.0|1.0|1.0|0.0|1.0|0.0|0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0| 0.0| 0.0| 1.0| 0.0| 1.0| 0.0| 1.0| 0.0| 0.0| 1.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1.0|
|0.0|1.0|1.0|0.0|1.0|0.0|0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0| 0.0| 0.0| 1.0| 0.0| 1.0| 0.0| 1.0| 0.0| 0.0| 1.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 0.0| 1.0|... etc
我无法在任何地方找到遇到类似问题的人。
答案 0 :(得分：0)
我遇到了同样的问题。窍门是权重列表中的权重。尝试将其更改为类似 WorkflowServiceStubs service = WorkflowServiceStubs.newInstance();
ListWorkflowExecutionsResponse listResult =
service
.blockingStub()
.listWorkflowExecutions(
ListWorkflowExecutionsRequest.newBuilder()
.setNamespace("default")
.setQuery("CustomIntField=1")
.build());
的东西-它应该为您提供一个切片数据框，将其分成大约相等的三个部分。诸如train, test, validation = dataframe.randomSplit([1.0, 1.0, 1.0])之类的种子值不同的东西，或尝试在权重列表中播放。