Question

我想删除我在Rapidminer中分析的文本文档中的所有连字符。为此我使用operator＆＃34;处理来自文件的文件＆＃34;分析大型PDF文件。在我将文本标记为片段（非字母）之前，每个文件都包含许多连字符，我想删除它们。我使用过操作符＆＃34;替换令牌＆＃34;。有了它，我可以用其他符号替换连字符，但我不能用空字符串替换它们（＆＃34;＆＃34;）。我也试过使用我自己定制的停用词典（非字母， - ）。这个操作员根本不工作。我已经保存了包含我要删除的字符和单词的字典作为文本文件（每行都在新行中）。有人可以帮忙解决这个问题吗？

Answer 1

您可以将Replace Tokens与以下参数一起使用。

replace what ()[-]

replace by $1

这有点像黑客，但它有效，因为括号之间的第一个捕获组将始终为空，整个正则表达式将匹配单个连字符。 $1是第一个捕获组的结果，它始终为空。

这是一个显示此工作的示例流程。

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<process version="7.0.000">
  <context>
    <input/>
    <output/>
    <macros/>
  </context>
  <operator activated="true" class="process" compatibility="7.0.000" expanded="true" name="Process">
    <process expanded="true">
      <operator activated="true" class="text:create_document" compatibility="7.0.000" expanded="true" height="68" name="Create Document" width="90" x="246" y="187">
        <parameter key="text" value="some text &#10;with&#10;some-text-with-hyphens-in&#10;hyphens in&#10;"/>
      </operator>
      <operator activated="true" class="text:replace_tokens" compatibility="7.0.000" expanded="true" height="68" name="Replace Tokens" width="90" x="447" y="187">
        <list key="replace_dictionary">
          <parameter key="()[-]" value="$1"/>
        </list>
      </operator>
      <operator activated="true" class="text:process_documents" compatibility="7.0.000" expanded="true" height="103" name="Process Documents" width="90" x="648" y="187">
        <parameter key="vector_creation" value="Term Occurrences"/>
        <process expanded="true">
          <operator activated="true" class="text:tokenize" compatibility="7.0.000" expanded="true" height="68" name="Tokenize" width="90" x="179" y="85"/>
          <connect from_port="document" to_op="Tokenize" to_port="document"/>
          <connect from_op="Tokenize" from_port="document" to_port="document 1"/>
          <portSpacing port="source_document" spacing="0"/>
          <portSpacing port="sink_document 1" spacing="0"/>
          <portSpacing port="sink_document 2" spacing="0"/>
        </process>
      </operator>
      <connect from_op="Create Document" from_port="output" to_op="Replace Tokens" to_port="document"/>
      <connect from_op="Replace Tokens" from_port="document" to_op="Process Documents" to_port="documents 1"/>
      <connect from_op="Process Documents" from_port="example set" to_port="result 1"/>
      <portSpacing port="source_input 1" spacing="0"/>
      <portSpacing port="sink_result 1" spacing="0"/>
      <portSpacing port="sink_result 2" spacing="0"/>
    </process>
  </operator>
</process>

希望以此为基础。

在RapidMiner中处理文本时删除连字符（特殊字符）

1 个答案: