如何最佳地比较两个数据帧?

时间:2019-06-25 14:55:15

标签: python apache-spark dataframe pyspark

我需要比较两个文本文件

  1. 我找不到最好的方法。
  2. 这些列按字母顺序排序,当它们要比较50 0 60列时,比较将失败。

要求如下:

  1. 按列比较示例:
Meteor.methods({
    'reporting.clientsAssets'(callId, params) {
        this.unblock();
        const funcName = "reporting.clientsAssets";
        if (canRunQuery(1, callId, arguments, funcName)) {
            console.log(funcName + ": START");
            const data = reportingClientsAssets(params);
            console.log(funcName + ": END");
            terminateQuery(callId);
            return data;
        }
    }
});

这是我的代码,如何对其进行优化? 如何更改列位置?

    file 1 :
    column1 column2 column3
    1       b       c
    2       z       j

    file 2 :
    columnf1 columnf2 columnf3
    1        b       j
    2        z       c

    Result: 

    In the column column1 0 differences 
    In the column column2 0 differences 
    In the column column3 2 differences
    #2. Print the amount of differences and the percentage of differences

    #(100*numberDiferents)/(numberRecords*columnsLen)
    Result:
    2. differences were found. 
    Percentage of difference: 33%

0 个答案:

没有答案