ARFF用于自然语言处理

Question

我正在尝试进行一系列评论，并将其转换为ARFF格式，以便与WEKA一起使用。不幸的是，我完全误解了格式是如何工作的，或者我必须拥有所有可能单词的属性，然后是存在指示符。有没有人知道更好的方法，或者理想的ARFF文件样本？

Answer 1

如果您将评论存储在纯文本文件和不同文件夹中（在您的情况下为正面和负面），您可以使用TextDirectoryLoader。

您可以在Weka的KnowledgeFlow应用程序中或从命令行中找到它。更多信息：http://weka.wikispaces.com/ARFF+files+from+Text+Collections

Answer 2

花了一段时间才解决，但是这个输入.arff：

@relation text_files

@attribute review string
@attribute sentiment {0, 1}

@data
"this is some text", 1
"this is some more text", 1
"different stuff", 0

这个命令：

java -classpath "C:\\Program Files\\Weka-3-6\\weka.jar" weka.filters.unsupervised.attribute.StringToWordVector -i input.arff -o output.arff

以下内容：

@relation 'text_files-weka.filters.unsupervised.attribute.StringToWordVector-R1-W1000-prune-rate-1.0-N0-stemmerweka.core.stemmers.NullStemmer-M1-tokenizerweka.core.tokenizers.WordTokenizer -delimiters \" \\r\\n\\t.,;:\\\'\\\"()?!\"'

@attribute sentiment {0,1}
@attribute different numeric
@attribute is numeric
@attribute more numeric
@attribute some numeric
@attribute stuff numeric
@attribute text numeric
@attribute this numeric

@data

{0 1,2 1,4 1,6 1,7 1}
{0 1,2 1,3 1,4 1,6 1,7 1}
{1 1,5 1}