解析在Azure事件中心收到的定界消息(来自IBM MQ的事件消息)

时间:2019-06-13 13:57:57

标签: ibm-mq text-parsing azure-eventhub azure-databricks

我在Azure Event Hub中接收到的事件是以IBM MQ文本格式显示的。源是大型机Oracle表,因此数据将通过IBM MQ上的Oracle Golden Date进行路由并到达事件中心。 我对消息的正文感兴趣,该消息的正文具有事件名称,后跟定界符,以及带有后跟定界数据的标记。没有与消息中的数据关联的列名。想法是能够解析,映射和进一步转换此数据并将其提供给其他应用程序。 问题是如何解析具有分隔文本的事件消息的正文,并使用Azure Data Bricks或Stream Analytics将其映射到固定的架构。 是否只能通过使用Python或Java或其他编码语言创建自定义解析器来实现?

这是示例消息的正文-

{"GDSFE001\u00031\u0003N\u00030\u0003Confirm_Shipment_Closed\u00035572214\u0003B\u0003I7EPM0XV1Z8KB\u0003TAG0000\u0001\u000220190516\u00011409\u0001GCSS\u0001Message Broker\u0001\u0001\u0001\u0001O\u0001\u0001\u0001N\u0001BKG\u0001\u0001\u0001\u000163.0\u0002TAGT100\u0001HDZKG4XV1Z9KB\u0001BNILG4XV1Z9KB\u0001\u0001\u0001N\u0001N\u00010\u0001Y\u0001N\u00010\u00010\u0001SGPPM0XV1Z8KB\u0002TAG0100\u0001I7EPM0XV1Z8KB\u0001\u0001\u0001O\u0001\u0001\u00011\u0001Order Handling\u00011\u0001Active\u00013\u0001Ordinary Transport Order\u00012019-05-16 13.49.24.683955\u0001NayanKumar\u00012019-05-16 14.09.32.539936\u0001NayanKumar\u00012019-05-16 14.09.32.539936\u0001NayanKumar\u00011\u0001MSL\u00012019-05-16 13.49.24.683955\u0001NayanKumar\u00012019-05-16 14.09.32.539936\u0001NayanKumar\u0001\u0001Y\u0001N\u00011\u0001Booking Confirmation\u0001\u0001\u0001\u0001\u0001\u0001\u0001\u00012019-05-16 13.49.24.683955\u0001NayanKumar\u0001\u0001\u0001\u0001\u0001\u0001\u0001A1\u0001\u0001\u0001\u0001T2\u00015\u0001GCSS\u00011\u0001CY\u00011\u0001CY\u0001\u0001\u0001\u00014\u0001Telephone\u0001\u00012019-05-09\u0001\u0001\u0001\u000110\u0001Transdoc Invoicing\u0001\u0001\u0001\u0001Y\u00012019-05-16 13.49.24.683955\u0001\u0001\u0001\u0001\u0001N\u0001\u0001\u0001Y\u0001SGPPM0XV1Z8KB\u0001\u00012019-05-09 21.00.00.000000\u0001T2\u0001233\u0001North Europe - United States\u0001MAEU\u0001\u0001\u0001\u0001N\u0001Y\u00012019-05-16 13.49.24.683955\u00011\u0001Fixed Date\u00016\u0001Failed\u0001W\u0001N\u0001Y\u0001N\u0001Y\u0001N\u0002TAG0110\u0001J20PM0XV1Z8KB\u0001\u0001\u0001O\u00011\u0001Booking Management\u00012019-05-16 13.49.24.683955\u0001\u0001\u0001\u0001\u00012019-05-16 13.49.24.683955\u0001NayanKumar\u00012019-05-16 13.54.16.577754\u0001AUTOUSER\u000112084\u0001Export Order Handling\u0001AUTOUSER\u0001AUTOUSER\u00011021\u0001AP Moller Copenhagen (MSL)\u0001panama_kvinder@hotmail.com\u0001DKCPHMSL1\u00013D9XA9RMF1PJ2\u0001DK\u0001Denmark\u0002TAG0120\u0001OKZHN0XV1Z8KB\u0001\u0001\u0001O\u00015HKDN0XV1Z8KB\u0001\u0001\u0001\u00010\u00011\u0001Booking Number\u0001\u0001\u0001510185665\u00012019-05-16 13.49.24.683955\u0001NayanKumar\u00012019-05-16 13.49.24.683955\u0001NayanKumar\u0001SGPPM0XV1Z8KB\u0001\u0001\u0001\u0001101\u0001Shipment\u0002TAG0120\u0001D8BMG4XV1Z9KB\u0001\u0001\u0001O\u0001\u0001\u0001\u0001\u00010\u00015\u0001Transport Document Number\u0001\u0001\u0001510185665\u00012019-05-16 13.51.42.301735\u0001NayanKumar\u00012019-05-16 13.51.42.301735\u0001NayanKumar\u0001\u0001\u0001BNILG4XV1Z9KB\u0001\u0001151\u0001Transport_Doc

0 个答案:

没有答案