关于将大量字符串发布到Web服务的建议

时间:2017-03-04 14:55:04

标签: javascript c# asp.net-mvc web-services wcf

下面是我的数组:

var.child.Cars1 = { name:null,operation:0,selected : false} 

现在在上面的数组中,所选属性表示选中/取消选中复选框状态我使用json将数组上传到网络服务(WCF)作为字符串.stringify

上面的数组包含2000 - 4000条记录,现在用户可以选中/取消选中复选框。

现在考虑上面数组中有4000条记录,其中有2000条记录被检查,2000条记录未经检查。在我的网络服务中,我只处理那些被检查的记录。我删除所选值为false的记录。

现在由于4000条记录,它是一个巨大的json字符串,因此我从Web服务端得到错误:

  Error :  (413) Request Entity Too Large

现在我之所以没有过滤出选择为flase的记录,是因为它会在客户端浏览器上产生大量开销,甚至可以挂起浏览器,所以我现在正在服务器端进行操作。

所以我的问题是我应该在客户端筛选出选中为false的记录,然后仅发布2000条记录或者我正在做的是正确的方式。

我有一些疑问,发布这样巨大的json字符串会再次需要一些时间,过滤掉选择为false的记录也会给浏览器增加很多开销。

所以我不确定我做错了什么。

有人可以指导我吗???

8 个答案:

答案 0 :(得分:3)

快速修复可能会增加服务器允许的内容长度。这大概就是这样。

{{1}}

答案 1 :(得分:3)

如果您不影响UI线程(锁定浏览器),最好在客户端过滤数据。发布过多数据可能会导致问题,具体取决于您尝试执行的操作以及最终用户的网络速度。话虽这么说,有时你只需要发布大数据。我不确定那4000条记录有多大,但如果它只是文字那么它就不会太大。

由于您的问题是WCF网站正在回复413响应,这就是您遇到最大尺寸问题的地方。根据{{​​3}},默认情况下可以接收的最大允许消息大小为65,536字节。显然,这低于你试图发送的内容。

这是您需要在WCF服务中更新的内容。下面的示例是10MB,但增加到对您的数据有意义的任何内容。

<system.serviceModel>
  <bindings>
    <basicHttpBinding>
      <!-- Measured in Bytes -->
      <binding maxReceivedMessageSize="10485760">    <!-- 10 MB-->
        <readerQuotas ... />
      </binding>
    </basicHttpBinding>
  </bindings>  
</system.serviceModel>

如果您开始获取404.13 HTTP状态代码,那么您还需要更新web.config以允许更长的最大大小,但将其设置为对您的应用程序最有意义的任何大小。

<system.webServer>
    <!-- Add this section for file size... -->
    <security>
      <requestFiltering>
        <!-- Measured in Bytes -->
        <requestLimits maxAllowedContentLength="1073741824" />  <!-- 1 GB-->
      </requestFiltering>
    </security>
</system.webServer>

<system.web>
    <!-- Measured in kilobytes -->
    <httpRuntime maxRequestLength="1048576" />   <!-- 1 GB-->
</system.web>

答案 2 :(得分:3)

通常,如果您开始遇到像这样的大型请求大小问题,那么这是一个很好的机会来查看优化而不是覆盖的方法。很多人都试图提供解决问题的方法,但没有提供有关不能绕过它的方法的见解,而是将设计改进为更轻量级。

以下是一些可能性:

您是否考虑过分页请求?这将允许您根据需要异步加载客户端上的数据,从而防止请求花费太长时间,提高网站的响应能力,并减少客户端和服务器内存上的任何负担。您可以在用户滚动时预先加载数据,如果需要,如果过程花费的时间过长,则向用户提供某种娱乐/反馈,因此他们知道正在加载更多数据。

您是否考虑过将属性的名称更改为更短,更少描述性,从而减少对象本身的占用空间?例如:

您当前的型号:

{ name:null,operation:0,selected : false}

简化模型:

{ n: null, o: 0, s: false }

这样的方法会使得阅读JSON本身变得更加困难,但JSON并不仅仅是为了让人们阅读,而是为了序列化数据;虽然,这可以通过记录您的模型来克服。这样做可能有助于将发送的数据减少多达30%。

我不能提供一个完整的解决方案,因为你将不得不问自己很多关于你想要实现什么,谁将消费数据的难题,以及如何最好的方法到达那里

此外,我强烈考虑质疑为什么一个过程需要用户同时与2000多条记录进行交互。我并不是在批评,而是说你需要对你想要实现的业务流程进行批判性的审视,因为可能存在重复性,对用户的压力以及更多的严重问题,这将极大地影响你的应用程序对最终用户有效且有用。作为一个例子,有没有办法可以将任务分解为更小,更乏味的块,以便最终用户在2小时内不会盯着4000个复选框?

这可能不是您正在寻找的答案,因为它会引发大量其他问题,但希望它能帮助您开始制定有助于形成最终答案的问题。

答案 3 :(得分:1)

  1. 将json值保存为文件
  2. 上传json文件(获取唯一文件名时)
  3. 使用文件名传递而不是json值
  4. 来调用您的WCF方法
  5. 从传递给方法的文件中读取数据

答案 4 :(得分:1)

您应该在客户端上进行过滤,因为您不知道与服务器的连接速度有多慢。发送不需要的数据可能比首先过滤它要慢。

如果过滤数据是挂起浏览器,那么您可以使用WebWorker解决此问题。

答案 5 :(得分:1)

如果您正在使用GET方法,那么这不起作用,因为Get方法URL最大字符数限制为2,083个字符。所以请使用Json对象在Web服务中使用post方法。

答案 6 :(得分:1)

你可以在config中设置maxRequestLength。这些设置对我来说上传750 mb。

<system.web>
    <httpRuntime maxRequestLength="2097151" />
</system.web>
<system.webServer>
    <security>
        <requestFiltering>
            <requestLimits maxAllowedContentLength="2147483648" />
        </requestFiltering>
    </security>
</system.webServer>

maxRequestLength最大值为2097151,如果尝试设置更多错误发生。 并MSDN 说;

  

默认大小为4096 KB(4 MB)。

答案 7 :(得分:1)

在客户端进行过滤不应产生巨大的开销,并且应该可以在请求限制内维持生成的json字符串大小。

使用underscore.js非常简单,只过滤到选定/选中的元素并映射到只需要的操作:

var filteredCars = _.where(cars, {selected: true});
//an assumption that operation is a unique car id
var operations = _.map(filteredCars, function(car){ return {id: car.operation};});

请参阅此extended JSFiddle进行过滤,使用相似的数组大小和一些统计信息进行过滤。

但是我怀疑,在单个UI屏幕上显示4k复选框,对用户友好是什么?