将大型机RMF3日志导入Hadoop环境

Question

我想将大型机RMF3日志（.bin格式）导入hadoop。我不确定要遵循的流程，有人可以解释如何将这些文件导入hadoop并进行数据结构化活动。

Answer 1

RMF Mon III通常不被描述为“日志”，但我假设您的意思是SMF记录可以诱导Mon III切割。或者你的意思是它使用的VSAM数据集？

在任何情况下，可能没有商业上可用的记录映射对hadoop有用。它需要什么格式？我假设至少有CSV和JSON。

您的挑战将是“压扁”SMF记录并对其进行映射。或者从VSAM数据集中提取记录并映射它们。

告诉我们你是如何上场的。

Answer 2

这是@Martin Packer答案的扩展，我不是SMF / RMF的专家。

简短的回答：在您的网站上寻找现有工具，将RMF日志记录转换为您更熟悉的内容，例如：是RMF Tools可用???

---

SMF 是IBM在大型机上使用日志记录系统操作的数据格式。它是二进制格式。

• SMF Data中的第13章列出了各种记录类型。

  • 例如，作业开始记录的标题部分为Job start header。

• 有将工具转换为其他格式的工具，请参阅RMF Tools，您可能已经拥有此许可证

VSAM 是一种文件格式，允许通过密钥访问记录（即像Berkley DB或C-ISAM那样的ISAM格式）。许多大型机软件包（可能的RMF3）使用VSAM来存储数据。

• 当没有像DB2这样的SQL DB时，很多大型机软件包的初始版本都是在70年代。 VSAM在所有ZOS（当时的MVS等）上都可用，而没有可用的公共数据库。

---

2014年6月28日更新：

有一个项目https://github.com/tmalaska/CopybookInputFormat应该可以处理短信数据。

该项目使用JRecord通过字帖读取数据。 JRecord 直接支持大型机二进制文件格式。

虽然JRecord通常与Cobol-Copyboooks一起使用，但 JRecord 也支持Xml和Csv副本（或者您可以编写自己的副本阅读器）。 JRecord支持大型机二进制文件格式。