如何从源

Question

请解释如何在Hive表中从Source导入数据时进行验证，例如在大量数据中如果某些数据损坏而不想导入，那么如何丢弃该数据。

Answer 1

您需要开发ETL流程并制定策略来丢弃损坏的数据。您可以使用第三方工具，如Informatica大数据版，Talend等，或者您需要开发自定义代码。这是一项重大努力。