Question

我正在尝试从URL检索JSON数据，但收到以下错误：

Illegal character ((CTRL-CHAR, code 31)):
only regular white space (\r, \n,\t) is allowed between tokens

我的代码：

final URI uri = new URIBuilder(UrlConstants.SEARCH_URL)
      .addParameter("keywords", searchTerm)
      .addParameter("count", "50")
      .build();
  node = new ObjectMapper().readTree(new URL(uri.toString())); <<<<< THROWS THE ERROR

构建的网址是https://www.example.org/api/search.json?keywords=iphone&count=50

这里出了什么问题？我如何成功解析这些数据？

进口：

import com.google.appengine.repackaged.org.codehaus.jackson.JsonNode;
import com.google.appengine.repackaged.org.codehaus.jackson.map.ObjectMapper;
import com.google.appengine.repackaged.org.codehaus.jackson.node.ArrayNode;
import org.apache.http.client.utils.URIBuilder;

示例回复

{
    meta: {
        indexAllowed: false
    },
    products: {
        products: [ 
            {
                id: 1,
                name: "Apple iPhone 6 16GB 4G LTE GSM Factory Unlocked"
            },
            {
                id: 2,
                name: "Apple iPhone 7 8GB 4G LTE GSM Factory Unlocked"
            }
        ]
    }
}

Answer 1

我遇到了同样的问题，我发现它是由Content-Encoding: gzip标题引起的。客户端应用程序（抛出异常）无法处理此内容编码。 FWIW客户端应用程序正在使用io.github.openfeign:feign-core:9.5.0，此库似乎在压缩方面存在一些问题（link）。

您可以尝试将标头Accept-Encoding: identity添加到您的请求中，但是，并非所有Web服务器/ Web应用程序都配置正确，有些似乎忽略了此标头。有关如何防止gzip压缩内容的详细信息，请参阅this question。

Answer 2

该消息应该是不言自明的：

您正在处理的JSON中存在非法字符（在本例中为字符代码31，即控制代码＆＃34;单位分隔符＆＃34;）。

换句话说，您收到的数据不是正确的JSON。

背景：

JSON规范（RFC 7159）说：

JSON Grammar

JSON文本是一系列令牌。这组令牌包括六个   结构字符，字符串，数字和三个文字名称。

[...]

在任何之前或之后允许无效的空格   六个结构特征。

ws = *（

％x20 /;空间

％x09 /;水平标签

％x0A /;换行或新行

％x0D）;回车

换句话说：JSON可能包含令牌之间的空格（＆＃34;令牌＆＃34;表示JSON的一部分，即列表，字符串等），但是＆＃34;空格＆＃34;被定义为仅表示字符Space，Tab，Line feed和Carriage return。

您的文档包含其他内容（代码31），其中只允许使用空格，因此无效JSON。

解析这个：

不幸的是，您使用的Jackson库并没有提供解析这种格式错误的数据的方法。要成功解析此问题，您必须在杰克逊处理之前过滤JSON。

您可能必须自己从REST服务中检索（伪）JSON，使用标准HTTP，例如： java.net.HttpUrlConnection。然后适当地过滤掉＆＃34;坏＆＃34;字符，并将结果字符串传递给杰克逊。如何做到这一点完全取决于你如何使用杰克逊。

如果您遇到麻烦，请随时提出单独的问题： - ）。

Answer 3

我有同样的问题。设置Gzip后，它已修复。请参考我的代码

public String sendPostRequest(String req) throws Exception {

    // Create connection
    URL urlObject = new URL(mURL);
    HttpURLConnection connection = (HttpURLConnection) urlObject.openConnection();
    connection.setRequestMethod("POST");
    connection.setRequestProperty("Content-Type", "application/json");
    connection.setRequestProperty("Content-Length", Integer.toString(req.getBytes().length));
    connection.setRequestProperty("Content-Language", "en-US");
    connection.setUseCaches(false);
    connection.setDoOutput(true);

    // Send request
    DataOutputStream wr = new DataOutputStream(connection.getOutputStream());
    wr.writeBytes(req);
    wr.close();

    //Response handling
    InputStream responseBody                = null;
    if (isGzipResponse(connection)) {
        responseBody                = new GZIPInputStream(connection.getInputStream());         
    }else{
        responseBody = connection.getInputStream();
    }
    convertStreamToString(responseBody);

    return response.toString();

}

protected boolean isGzipResponse(HttpURLConnection con) {
    String encodingHeader = con.getHeaderField("Content-Encoding");
    return (encodingHeader != null && encodingHeader.toLowerCase().indexOf("gzip") != -1);
}

public void convertStreamToString(InputStream in) throws Exception {
    if (in != null) {

        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        byte[] buffer = new byte[4096];
        int length = 0;
        while ((length = in.read(buffer)) != -1) {
            baos.write(buffer, 0, length);
        }

        response = new String(baos.toByteArray());

        baos.close();

    } else {
        response = null;
    }

}

Answer 4

我有一个类似的问题。经过研究，我发现restTemplate使用了不支持gzip编码的SimpleClientHttpRequestFactory。要为响应启用gzip编码，您将需要为其余模板对象HttpComponentsClientHttpRequestFactory设置一个新的请求工厂。

restTemplate.setRequestFactory(new HttpComponentsClientHttpRequestFactory());

Answer 5

我们最近在集成测试中遇到了同样的问题。我们有一个myMethod(E_Enum2.whatever); myMethod(E_Enum1.Value2);应用程序，我们使用spring boot模拟一个集成的微服务服务器。对于我们已实施的一项测试wiremock要求，我们开始遇到此错误。我们不得不将get的版本从2.18.0降级到2.17.0，并且运行良好。由于某些错误，wiremock和特定版本的jackson parser不能一起使用。我们没有时间弄清楚这些库中的错误到底是什么。

Answer 6

我在 spring boot 应用程序中遇到了与 zalando logbook 相同的问题，在仔细阅读这里的答案后，我意识到，响应拦截器必须在之后应用任何用于解压的东西：

@Configuration
public class RestTemplateConfig {

   [....]

   @Bean
   public RestTemplate restTemplate() {
       return new RestTemplateBuilder()
               .requestFactory(new MyRequestFactorySupplier())
               .build();
   }

   class MyRequestFactorySupplier implements Supplier<ClientHttpRequestFactory> {
       @Override
       public ClientHttpRequestFactory get() {
           CloseableHttpClient client = HttpClientBuilder.create()
                   .addInterceptorFirst(logbookHttpRequestInterceptor)
        // wrong:  .addInterceptorFirst(logbookHttpResponseInterceptor)
                   .addInterceptorLast(logbookHttpResponseInterceptor)
                   .build();
           HttpComponentsClientHttpRequestFactory clientHttpRequestFactory = 
                  new HttpComponentsClientHttpRequestFactory(client);
           return clientHttpRequestFactory;
       }
   }
}

杰克逊错误＆＃34;非法人物......只允许常规的空白区域＃34;在解析JSON时

6 个答案: