Question

我有一个运行Spark流媒体工作的场景。这是从Kafka接收数据。我想要做的就是从流中获取记录并将它们放在本地。我还为它实现了偏移处理。邮件大小最大为5 MB。当我尝试使用0.4MB - 0.6MB文件时，作业运行正常但是当我尝试使用1.3MB文件（大于默认的1MB）运行时，我遇到了以下问题。

public class MQReadJava
{
    private MQQueueManager _queueManager = null;
    public int port = 1416;
    public String hostname = "xyz";
    public String channel = "SYSTEM.ABC.123";
    public String qManager = "ABC.BAW";
    public String inputQName = "MYQUEUE";

    public MQReadJava()
    {
        super(); 
    }

    private void init(String[] args) throws IllegalArgumentException
    {
        // Set up MQ environment

        MQEnvironment.hostname = hostname;
        MQEnvironment.channel = channel;
        MQEnvironment.port = port;
    }

    public static void main(String[] args)throws IllegalArgumentException
    {
        MQReadJava readQ = new MQReadJava();
        try
        {
            readQ.init(args);
            readQ.selectQMgr();
            readQ.read();
        }

        catch (IllegalArgumentException e)
        {
            System.exit(1);
        }
        catch (MQException e)
        {
            System.out.println(e);
            System.exit(1);
        }
    }

    private void selectQMgr() throws MQException
    {
        _queueManager = new MQQueueManager(qManager);
    }

    private void read() throws MQException
    {
        int openOptions = MQC.MQOO_INQUIRE + MQC.MQOO_FAIL_IF_QUIESCING + MQC.MQOO_INPUT_SHARED;

        //int   openOptions = MQC.MQOO_INPUT_AS_Q_DEF | MQC.MQOO_FAIL_IF_QUIESCING;

        MQQueue queue = _queueManager.accessQueue( inputQName,
        openOptions,
        null, // default q manager
        null, // no dynamic q name
        null ); // no alternate user id

        System.out.println("MQRead is now connected.\n");
        int depth = queue.getCurrentDepth();
        System.out.println("Current depth: " + depth + "\n");

        if (depth == 0)
        {
            return;
        }

        MQGetMessageOptions getOptions = new MQGetMessageOptions();
        getOptions.options = MQC.MQGMO_NO_WAIT + MQC.MQGMO_FAIL_IF_QUIESCING + 
        MQC.MQGMO_CONVERT;

        while(true)
        {
            MQMessage message = new MQMessage();
            try
            {
                queue.get(message, getOptions);
                byte[] b = new byte[message.getMessageLength()];
                message.readFully(b);
                System.out.println(new String(b));
                message.clearMessage();
            }
            catch (IOException e)
            {
                System.out.println("IOException during GET: " + e.getMessage());
                break;
            }
            catch (MQException e)
            {
                if (e.completionCode == 2 && e.reasonCode == MQException.MQRC_NO_MSG_AVAILABLE) {
                    if (depth > 0)
                    {
                        System.out.println("All messages read.");
                    }
                }
                else
                {
                    System.out.println("GET Exception: " + e);
                }
                break;
            }
        }
        queue.close();
        _queueManager.disconnect();
    }
}

我尝试将以下内容添加为Kafka消费者属性，希望处理更大的消息但没有运气。

Circle()

我希望有人可以帮助我。提前谢谢。

Answer 1

fetch.message.max.bytes - 这将确定消费者可以获取的消息的最大大小。

属性名称：fetch.message.max.bytes

尝试为每个获取请求中的每个主题分区获取的消息的字节数。获取请求大小必须至少与服务器允许的最大消息大小一样大，否则生产者可以发送大于消费者可以获取的消息。

实施例： Kafka Producer发送5 MB - ＆gt; Kafka Broker允许/存储5 MB - ＆gt; Kafka Consumer获得5 MB

如果是这样，请将值设置为 fetch.message.max.bytes = 5242880 ，然后尝试将其运行。

Kafka Spark流媒体增加了邮件大小

1 个答案: