减去两个数据框,一个具有数据类型,一个所有字符串

时间:2019-07-10 18:34:37

标签: dataframe pyspark apache-spark-sql aws-glue

我有两个数据框。一种来自数据库,具有适当的数据类型,一种来自s3 CSV数据,所有内容都是字符串。我需要减去才能找到数据库框架中的新数据,但是,由于数据类型的差异,减去失败。我需要动态的解决方案(即没有手动的列列表),因为我要遍历表列表。

我的想法是将整个数据库框架转换为字符串以进行比较,但是我不确定是否可以写入具有适当数据类型的目标存储。

这里是我正在使用的基本代码的一个子集(试图保持简单,但是可以在需要时轻松添加更多内容),而无需进行任何更改即可更改数据类型。

.animated {
  -webkit-animation-duration: 7s;
  animation-duration: 7s;
  -webkit-animation-fill-mode: both;
  animation-fill-mode: both;
}
@-webkit-keyframes fadeInUp {
  0% {
    opacity: 0;
    -webkit-transform: translate3d(0,100%,0);
    -ms-transform: translate3d(0,100%,0);
    transform: translate3d(0,100%,0);
  }
  25% {
    opacity: 1;
    -webkit-transform: none;
    -ms-transform: none;
    transform: none;
  }
  70% { -webkit-transform: translate3d(0,100%,0);}
  100% {    -webkit-transform: translateX(-20%)}
}

错误表示为:“只能在具有兼容数据类型的表上执行。字符串<>布尔值位于第二个表的第7列”,其中第二个表是源自CSV的字符串数据。

0 个答案:

没有答案