Question

我正在使用HttpClient源将文件从HTTP URL流传输到Hadoop目标，但是目标中的文件名后面附加了一些随机uuid。我希望文件名保持原样。

示例：源文件名为README.txt，目标文件名为README_112e5d4b-4d85-4764-ab81-1d7b6e0237b2.txt

我希望目标文件名为README.txt

我将向您展示我的配置。

HTTP Client :

General

Name : HTTP Client 1

Description : 

On Record Error : Send to Error

HTTP

Resource URL : http://files.data.gouv.fr/sirene/README.txt

Headers : 

Mode : Streaming

Per-Status Actions

HTTP Statis Code : 500 | Action for status : Retry with exponential backoff |

Base Backoff Interval (ms) : 1000 | Max Retries : 10

HTTP Method : GET

Body Time Zone : UTC (UTC)

Request Transfert Encoding : BUFFERED

HTTP Compression : None

Connect Timeout : 0

Read Timeout : 0

Authentication Type : None

Use OAuth 2

Use Proxy

Max Batch Size (records) : 1000

Batch Wait Time (ms) : 2000

Pagination

Pagination Mode : None

TLS

UseTLS

Timeout Handling

Action for timeout : Retry immediately

Max Retries : 10

Data Format

Date Format : Text

Compression Format : None

Max Line Length : 1024

Use Custom Delimiter

Charset : UTF-8

Ignore Control Characters

Logging 

Enable Request Logging

Hadoop FS Destination :

General

Name : Hadoop FS 1

Description : Writing into HDFS

Stage Library : CDH 5.10.1

Produce Events

Required Fields

Preconditions

On Record Error : Send to Error

Output Files

File Type : Text Files

Files Prefix : README

File Suffix : txt

Directory in Header

Directory Template : /user/username/

Data Time Zone : UTC (UTC)

Time Basis : ${time:now()}

Max Records in File : 0

Max File Size (MB) : 0

Idle Timeout : ${1 * HOURS}

Compression Codec : None

Use Roll Attribute

Validate HDFS Permissions : ON

Skip file recovery

Late Records

Late Record Time Limit (secs) : ${1 * HOURS}

Late Record Handling : Send to error

Data Format

Data Format : Text

Text Field Path : /text

Record Separator : \n

On Missing Field : Report Error

Charset : UTF-8

Answer 1

您可以配置文件名前缀和后缀，但是无法删除UUID。

在许多情况下，目录是Hadoop中最小的有用文件系统实体。由于文件可能是由多个客户端同时写入的，并且由于诸如文件大小超过给定阈值之类的操作原因，可能会“滚动”文件（关闭当前输出文件并打开新文件），因此Data Collector确保文件名对于避免意外的数据丢失。

如果您确实要这样做，则有一种解决方法：在Hadoop目标上启用事件并使用HDFS File Metadata Executor 重命名该文件。有关更多信息，请参见此case study on output file management。

通过StreamSets Data Collector进行流式传输时，在文件名中附加UUID

1 个答案: