如何制定一个程序，以尽量减少手写调查的人类转录错误

Question

我需要开发定制软件来进行调查。问题可能有多种选择，或者在极少数情况下可以是自由文本。

我被要求设计一个子系统来检查多个选择部分的手动数据条目是否有任何错误。我们正在努力加快用户数据输入流程，并尽量减少数字表格和原始问卷之间的人为输入差异。调查由人工访问者填写手写标记和文本，因此可能会发现难以阅读的标记，或者用户可能会在某些问题中意外选择不同的值，我们希望避免这种情况。

软件必须包含一些自动控制功能，以检测可能的输入差异。多项选择题的每个答案具有相同的被选择概率。

这个问题分为两部分：

• 图形用户界面。

我想到的最简单的事情是实现最有用的问题显示设计：使用大而可读的字体和空间慷慨的选择。还有别的吗？为了更快的输入，我想使用下拉列表（偏向键盘而不是鼠标）。鉴于问题按部分分组，我想显示为该部分的问题选择的答案，但这可能会减慢这一过程。还有其他想法吗？

• 错误检查子系统。

我还可以做些什么来最小化或检查多项选择题中的人为拼写错误？这是一个可以解决的问题吗？是否有一些统计方法来检查用户输入的值是否与手工填写的表格相同？例如，我们假设调查有5个问题，每个问题有4个选项。假设我有n个调查表，由访调员填写论文，他们已准备好输入软件，然后如何最大限度地减少可能有n次调查的手动转录的意外差异，而无需仔细检查所有内容n次调查的5个问题？

我的第一个建议是，在处理所有手工填写表格的最后，软件可以随机选择一些表格，在几个实例中对答复进行双重检查，但是我可以根据什么标准进行选择？这种验证足以涵盖所有内容吗？

实际调查是国家层面的，共有56页，总共有200多个问题，所以很多人手写的页面很多，目的是减少错误的可能性并优化速度。数据录入过程。考虑到与采访者一起携带笔记本电脑或掌上电脑的复杂情况，调查必须先填写论文。

Answer 1

叫我老派，但我仍然认为最实用的方法是使用双重录入。两名数据录入员进入他们的调查，然后交换堆栈并输入其他职员的调查。每当你的系统检测到两者之间的差异时，它会抛出一个标志 - 然后两个职员将他们的头放在一起并决定正确的答案（或者可能由更高级的研究人员审查等）。结合这里的一些其他建议（我非常喜欢mdma对GUI的建议），这将构成一个低错误系统。

是的，这会使您的数据输入时间翻倍（可能） - 但它很简单，并且会减少您的错误方式。 OMR的想法很棒，但对我来说听起来并不像这个项目（一项全国性的，52页的调查）是一个孤独的黑客第一次尝试实施这个项目的最佳案例。你需要什么软件？有什么硬件可以做到这一点？在识别愚蠢的东西时仍然会有很多人工工作，其中面试官标记所有四个可能的答案，然后在旁边写一个笔记 - 你可能想要随机抽样调查以了解机器的内容 - 读错误率是。即便如此，您仍然只能估计错误率，而不是更正数据。

尝试一种更简单的方法，这次为您的雇主提供高质量的结果 - 然后将这些结果用作预先验证的数据集，用于下一次时间的OMR内容的试验。

Answer 2

OCR / OMR可能是最佳选择，因为您排除了不可预测的人为错误并将其替换为可预测的机器错误。甚至有可能过滤掉OCR可能会遇到的形式并对其进行修改以提高扫描精度。

但是，解决原始问题：

错误检查

• 有问题相关，因此基本上同一个问题不止一次被问到，或者再次被问到否定。如果相关问题的答案也不相关，那么这可能是输入错误的指示。
• 与标准的偏差：如果典型响应中存在模式，那么与这些典型响应的偏差可被视为潜在的输入错误。例如。如果问题2和3回答A，则问题可能是C或D.这是上述相关性的推广。可以基于已输入的数据动态计算相关性。

GUI

• 让GUI模仿纸质表格，以便在屏幕上反映出职员在纸上看到的内容。在GUI中输入错误问题的纸质问题响应的可能性就小于此。
• 为数据录入员提供视觉帮助，例如使用滑块将当前问题位置保留在纸上。
• 用于输入数据的自定义输入设备可能比键盘导航和列表框更容易使用。例如，带有所有选项的触摸显示屏拼写出A B C D.职员只需要选择一个选项，然后选择并显示下一个问题 - 在短暂停顿后。如果职员出错，他们可以使用每个问题旁边的上一个/下一个按钮。
• 提供输入数据的音频反馈，因此当职员输入“A”时，他们会听到“A”。

编辑：   如果您考虑执行双重数据输入或实施改进的GUI，则可能值得进行试验计划以评估各种方法的有效性。双重进入可能是昂贵的（数据输入任务的成本加倍） - 这可能会或可能不会通过准确性的提高来证明。试点计划将允许您快速且相对便宜地评估双重进入的有效性。它还可以让您了解单个数据输入员的错误级别，而无需任何UI更改，这有助于确定是否需要UI更改或其他减少错误的策略以及实现它们需要多少成本。< / p>

相关链接

• A device that inputs data from multiple choice tests
• 维基百科：OMR - Optical Mark Recognition
• ReadSoft - 自动数据输入
• Data capture hardware

Answer 3

  

我的第一个建议是，在处理所有手工填写表格的最后，软件可以随机选择一些表格，以便在少数情况下对答复进行双重检查

我认为这实际上不会产生有意义的结果。据推测，错误是无意和随机的。随机检查会发现系统错误，但如果你仔细检查10％的表格，你只会发现10％的随机错误（如果检查20％的表格，则只会发现20％的错误等）。

论文调查结果如何？如果可能的话，我猜想一个OCR系统扫描手写测试并比较OCR检测到答案与数据输入操作员给出的内容将是一个更好的解决方案。您可能仍然会手动仔细检查相当数量的调查，但您可以确信，您仔细检查的调查比您随机选择的调查更容易出错。

如果您还控制纸质调查的样子，那就更好了：您可以专门设计它们，以便尽可能准确地制作OCR。

Answer 4

请原谅我完全支持这个问题，但昨天我去了eBay并支付了99美元购买7英寸Android o / s平板电脑。不是世界上的贴纸处理器，也不是大量的RAM，但肯定足以填写现场的用户调查。

我无法相信你的组织无法承担每位面试官99美元的费用而无法解决这个问题。

值得建议你的老板，至少，不是吗？

Answer 5

我支持Matt Parker建议使用双重输入来减少错误。我甚至看到三重条目用于非常错误敏感的数据输入任务。

关于双重录入的好处是，它可以让您通过做出一些假设（主要是错误率在条目项目和文员之间保持一致）并使用入口率来对您的整体错误率进行估算。遇到冲突。

更复杂的双入口系统还可以测量部分数据输入任务和各个职员的错误率，以便您可以进行改进以降低错误率。

Answer 6

听起来需要采用组合方法，实际表格应该适合自动处理。您可以扫描文档并处理电子版本，如果多选输入可以自动处理，则可以通过让用户远离循环来获得更好的错误率。根据OCR包的不同，我猜你会得到一个值，告诉你系统对它所做的选择的确定程度，取决于你想要让一个人验证表单的值。注意我说的是在多项选择的标记上使用ocr而不是自由形式的条目，这可能是一个问题。

同时，您可能希望进行随机检查以找到ocr系统的错误率。然后，该值可用于确定多项选择问题之和的置信度值。

我认为类似的方法会有用，如果你只是选择人工输入，你可能无法摆脱所有的错误，因为人们会犯错误，他们会纠正错误，但你有足够大的样本量将可能能够确定人类输入中的错误比率。然后可以使用该数字来确定调查结果。

对于其他UI想法，您可以使用扫描的表单并以UI复选框靠近书面复选框的方式覆盖UI。如果你有一些已知的角度线，拉直和缩放形状不应该太硬。如果UI输入元素接近铅笔标记，则可能会获得更高的正确分类率。

您也可以使用统计分析来选择看起来不合适的形式，但是您可能会通过非均匀选择来扭曲结果，这可能比统一的随机错误更糟糕。根据纸质调查的设计，在UI中复制它可能会有所帮助，如果两者看起来相似，那么每个人都会更容易找到错误，如果您不坚持，可能会有一些参考调查设计（如this可能会有帮助。

这似乎是一个相当大的操作，我确信有一些统计员在工作人员，与他们谈论他们需要什么以及你可以做些什么来帮助他们，不应该做更多的结果。

Answer 7

在您针对此问题实施最佳软件方法组合后，您还可以考虑通过Amazon's mechanical turk程序运行输出，并对原始转录执行人工交叉检查。这些行中的其他项目是reCaptcha（虽然它仅用于印刷文本OCR，据我所知），我刚刚遇到Beextra似乎正在做像史密森尼媒体编目这样的事情。

Answer 8

关于检测多项选择答案的转录错误，我的建议是使用多个数据录入人员和统计分析。

统计学家可以比较结果，看看是否有任何问题突出显示一个数据录入用户输入的答案与其他人的答案分布明显不同。如果是这样，那么可以标记这些问题以从表格中重新输入。

假设表单被随机分配给数据输入人员，输入的结果应该具有相当类似的答案分布，以便为每个数据输入用户提供足够多的表单。

Answer 9

人工双重检查可能是达到低错误数量的最常用方法。 。如果你想加快速度，一个人只能计算给定答案的总数，并在调查底部写下这个数字（“控制总和”）。向您的应用程序输入数据的人员也应该在特殊字段中填写该数字，然后系统可以计算给定答案的数量并与预期值进行比较。这可以解决数据正确但数据不正确的问题。

您还可以使用data-minig中的某些方法来检测插入数据中的错误。示例：如果您要求年龄和工资范围，您可以创建规则，说明：如果年龄＆lt; X很可能这个人的收入不超过Y，所以要提醒并要求修改。这称为association rules

GUI：纸质表格的表示应该是1：1。一些键盘快捷键可能有助于加快工作。

Answer 10

正如已经提到的那样，关键两次。是的，这是“工作的两倍”，但这导致了第2点。

使调查很容易到关键。

键控器的阅读应该很简单。关于他们的注意力的部分很好地突出显示，因此它从形式的噪音中脱颖而出。

你的“GUI”不应该。 GUI的主要好处是“可发现性”，这些人不应该“发现”任何东西。一旦他们开始键入内容，键盘导航应该是“唯一”的方式。键盘上有一只或两只手，一只手用于更改调查页面==没有用于鼠标的手。注意屏幕（对于鼠标，或任何真正的东西）是关注键盘的调查。

键控器应该“低头”，而不必看屏幕。如果可行，您可以使用音频提示告诉键控器他们切换页面的位置，以帮助确保他们键入的内容和计算机键入的内容基本相同。如果无法提供音频提示，则只需在调查页面中输入人员键即可。计算机已经“知道”它在页面“2”上，所以当键控器键入页码时，它可以验证它们在同一位置。

请使用声音提示进行键控错误。不要让他们键入垃圾，点击“保存”然后纠正错误。如果您知道数据是否立即出错，请将其停止并让他们立即修复。没有什么比5或6“ding ding dings”引起他们的注意，因为他们已经在他们意识到计算机阻止他们之前已经键入了3个字段。审核长问卷的错误是浪费时间。

请勿“滚动”数据屏幕。来回翻页。滚动很糟糕。滚动时，屏幕上的字段会移动。如果你不这样做，他们总是在同一个地方，所以当入境者需要看屏幕时，他们总能看到同一个地方。

因此，下拉任何长度的列表 - 吮吸。他们不应该使用下拉，因为他们不应该看着屏幕。表格应该完全告诉他们需要钥匙。

与数据输入保持一致。尽可能使用10键。如果您有超过10个选项，并且0-9对整个调查问卷不实用，那么您应该使用00-99。不要使用A-Z作为选项，因为人们不会想到那样的键。他们不会记住键盘上的字母，就像记住键盘上的字样一样。在一周的任何一天，01-26比A-Z快得多。

此外，SHIFT键不是你的朋友。但是当他们处于“打字英语”模式时会很好。

最后，组织调查，以便所有“打字”，“填空”的内容都在一个部分（理想情况下在最后）。这让他们可以将其余部分锁定在火焰中，进入一个区域，而不必来回移动他们的手。输入“english”（即使用顶行）和10个键号时，很多人会“顶键”数字。

Answer 11

对于多项选择题，似乎自动扫描相当可靠。如果您可以选择在数据输入开始之前扫描所有文档，则可以使用计算机猜测将扫描结合到UI中。

对于多项选择题，请在一侧使用数据输入表单，在另一侧使用原始扫描。如果计算机猜测高于某个阈值，请在数据输入区域中填写该选项。如果计算机猜测低于某个阈值（多个答案或没有找到答案），则不要标记初始答案并将该问题突出显示为需要注意。即使没有猜测，在数据输入旁边的屏幕上显示扫描的纸张似乎也很有帮助。

对于手写的答案，除了在数据输入区旁边有扫描输入之外，我没有任何真正的建议。即使图像不如原始文档清晰，也有助于确保为每个问题输入正确的文本。一个相当常见的输入错误是关闭一个，其中为错误的问题输入正确的答案。将图像放在屏幕上可以减少一点，并使其他人更容易验证。

这假设所有表单在布局上都是相同的，因此您可以编写一些代码来显示某个页面的某个部分，并期望它是表单的正确部分。

Answer 12

设计一个闭环系统。

您必须偶尔注入由您的常规人员输入的双盲“参考表格”，以自动评定其表现，并根据成功率提供反馈。

这将控制人为因素动机并消除输入错误的主要来源。