Apache Spark与Jersey依赖注入效果不佳

时间:2017-01-12 21:50:05

标签: java apache-spark jersey jersey-2.0 apache-spark-2.0

我正在尝试使用com.github.sps.metrics.metrics-opentsdb库将指标从我的spark作业记录到我的OpenTSDB服务器。我遇到了一个问题,我在针对EncodingFilters的球衣代码中得到一个奇怪的NPE。

以下是我得到的例外情况:

ERROR OpenTsdb: send to opentsdb endpoint failed
javax.ws.rs.ProcessingException: java.lang.NullPointerException
    at org.apache.cxf.jaxrs.client.AbstractClient.checkClientException(AbstractClient.java:582)
    at org.apache.cxf.jaxrs.client.AbstractClient.preProcessResult(AbstractClient.java:564)
    at org.apache.cxf.jaxrs.client.WebClient.doResponse(WebClient.java:1148)
    at org.apache.cxf.jaxrs.client.WebClient.doChainedInvocation(WebClient.java:1098)
    at org.apache.cxf.jaxrs.client.WebClient.doInvoke(WebClient.java:894)
    at org.apache.cxf.jaxrs.client.WebClient.doInvoke(WebClient.java:865)
    at org.apache.cxf.jaxrs.client.WebClient.invoke(WebClient.java:428)
    at org.apache.cxf.jaxrs.client.WebClient$SyncInvokerImpl.method(WebClient.java:1635)
    at org.apache.cxf.jaxrs.client.WebClient$SyncInvokerImpl.method(WebClient.java:1630)
    at org.apache.cxf.jaxrs.client.WebClient$SyncInvokerImpl.post(WebClient.java:1570)
    at org.apache.cxf.jaxrs.client.spec.InvocationBuilderImpl.post(InvocationBuilderImpl.java:145)
    at com.github.sps.metrics.opentsdb.OpenTsdb.sendHelper(OpenTsdb.java:176)
    at com.github.sps.metrics.opentsdb.OpenTsdb.send(OpenTsdb.java:162)
    at com.github.sps.metrics.opentsdb.OpenTsdb.send(OpenTsdb.java:138)
    at com.adobe.gto.gateway.common.metrics.Metrics$RunnableMetricRecorder.run(Metrics.java:220)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.NullPointerException
    at org.glassfish.jersey.client.filter.EncodingFilter.getSupportedEncodings(EncodingFilter.java:110)
    at org.glassfish.jersey.client.filter.EncodingFilter.filter(EncodingFilter.java:84)
    at org.apache.cxf.jaxrs.client.spec.ClientRequestFilterInterceptor.handleMessage(ClientRequestFilterInterceptor.java:60)
    at org.apache.cxf.phase.PhaseInterceptorChain.doIntercept(PhaseInterceptorChain.java:308)
    at org.apache.cxf.jaxrs.client.AbstractClient.doRunInterceptorChain(AbstractClient.java:652)
    at org.apache.cxf.jaxrs.client.WebClient.doChainedInvocation(WebClient.java:1097)`

我查看了EncodingFilter.class中的代码,看到我失败的行是这样的:

List<ContentEncoder> encoders = serviceLocator.getAllServices(ContentEncoder.class);

在类中我看到serviceLocator没有实例化,而是在类的顶部看到这一行:

@Inject
private ServiceLocator serviceLocator;

我最初认为它可能是一个糟糕的依赖,所以我检查my mvn dependency:tree并确保cxf和jersey项目的所有版本都匹配,所以我不认为这是问题。现在我认为它与Apache Spark有关,我认为这是因为我有一个单独的应用程序使用相同的metrics-opentsdb库我从来没有看到上面的异常,一切正常在我的其他申请。

那么,有没有人知道球衣依赖注射和火花发生了什么?有没有人处理同样的问题并修复它?问题完全不同吗?

1 个答案:

答案 0 :(得分:0)

一位同事指出,CXF和Jersey是竞争产品,并建议我删除CXF,因为metrics-opentsdb库说它使用泽西岛。 所以我重新编写了我的应用程序的一部分,该应用程序正在使用CXF,并在<exclusions>中的一个依赖项中添加了pom.xml部分,现在一切似乎都正常。