检查spark sql中的日期有效性

Question

是否可以检查spark SQL中的日期（yyymmdd）是否有效？ 我尝试过以下方法：

TO_DATE(CAST(UNIX_TIMESTAMP(CAST(UNIX_TIMESTAMP(colname, 'yyyymmdd') AS  TIMESTAMP))) IS NOT NULL

谢谢， 巴拉斯

Answer 1

您将需要使用类似于Natty的dater解析器（取决于您使用的语言）natty.joestelmach.com

您可以使用Natty（或其他解析器）创建一个解析和验证日期的函数。然后注册可以在Spark SQL中使用的udf。

  <div class="header">
  <center>
    <h1>Test</h1></center>
  <input type="file" id="fileinput" />
</div>

<div class="clearfix">
  <div class="column menu">

  </div>

  <div class="column content">
  
    <canvas width="400" height="300" id="canvas" />


  </div>
</div>

<!-- begin snippet: js hide: false console: true babel: false -->