Question

我有一个CSV文件，其中一列名为Operating System，包含一个字符串，其值如下所示：

win-abc123
def456-windows
123123-WIN-ghi789
rhel-jkl012
45u8234dgf-redhat-mno345
pqr678-RHEL

换句话说，列值包含指示操作系统的字符串（前面，中间或末尾）内部的子字符串。这些值可以是win，windows，WIN，rhel，redhat，RHEL之一。

我想检查列值，并使用WIN或RHEL替换整个列进行清理。

我有一个笨重的解决方案。迭代CSV中的每一行，并迭代操作系统映射中的每个key, value对。如果匹配，请替换CSV值。

os_map = {'win':'WIN', 'windows': 'WIN', 'WIN':'WIN', 'rhel': 'RHEL', 'redhat': 'RHEL', 'RHEL': 'RHEL'}
for row in rows:
    os = row[OPERATING_SYSTEM]
    for key, value in os_map.iteritems():
        if key in os:
            row[OPERATING_SYSTEM] = value
            break

或者，在java中：

Map<String, String> osMap = new HashMap<String, String>();
osMap.put("win", "WIN");
osMap.put("windows", "WIN");
osMap.put("WIN", "WIN");
// Repeat for RHEL values

String os;
for (String[] row : rows) {
    os = row[OPERATING_SYSTEM];

    for (Map.Entry<String, String> entry: osMap.entrySet()) {
        if (os.contains(entry.getKey())) {
            row[OPERATING_SYSTEM] = entry.getValue();
            break;
        }
    }
}

我不喜欢这样，因为我在找到匹配项之前迭代整个地图（在最坏的情况下）。什么是更有效的解决方法？

如果CSV列只是win或windows，而没有字母数字字符，我可以改为：

os_map = {'win,windows,WIN': 'WIN', 'rhel,redhat,RHEL': 'RHEL'}
for key, value in os_map:
    if key.contains(row[OPERATING_SYSTEM]):
        row[OPERATING_SYSTEM] = value
        break

但事实并非如此。

Answer 1

在Python中，你可以按照以下方式做点什么：

test='''\
win-abc123
def456-windows
123123-WIN-ghi789
rhel-jkl012
45u8234dgf-redhat-mno345
pqr678-RHEL'''

from itertools import chain

os_map = {frozenset(['win', 'windows', 'WIN']):'WIN', frozenset(['rhel', 'redhat', 'RHEL',]): 'RHEL'}

all_os=set(chain(*os_map.keys()))

for line in test.splitlines():
    tgt=filter(lambda e: e in all_os,  line.split('-'))
    if tgt:
        print os_map[filter(lambda k: tgt[0] in k, os_map.keys())[0]]

你也可以写一个正则表达式：

import re    
os_reg={re.compile(r'\b(win|windows|WIN)\b'):'WIN', re.compile(r'\b(rhel|redhat|RHEL)\b'): 'RHEL'}        
for line in test.splitlines():
    for pat, v in os_reg.items():
        if pat.search(line):
            print line, v   
            break

或者将set和regex结合起来做这样的事情：

os_map = {frozenset(['win', 'windows', 'WIN']):'WIN', frozenset(['rhel', 'redhat', 'RHEL',]): 'RHEL'}

for k, v in os_map.items():
    test=re.sub(r'\b({})\b'.format('|'.join(k)), v, test)

for line in test.splitlines():
    m=re.search(r'\b({})\b'.format('|'.join(os_map.values())), line)
    if m:
        print line, m.group(0)

Answer 2

最好的办法是使用状态机或正则表达式。查看java库中的正则表达式以查找和替换语义。如果你是硬核，你可以扮演自己的状态机，这可能是处理搜索部分的最有效方法。替换部件可能会有点棘手。

Answer 3

pandas为这种类型的字符串替换提供了一些很好的语法。如果您的csv文件非常大，它可能非常合适：

In [76]:

print df

                        val
0                win-abc123
1            def456-windows
2         123123-WIN-ghi789
3               rhel-jkl012
4  45u8234dgf-redhat-mno345
5               pqr678-RHEL

In [77]:

df['val'] = df.val.str.replace(r'\b(win|windows|WIN)\b', 'WIN')

df['val'] = df.val.str.replace(r'\b(rhel|redhat|RHEL)\b', 'RHEL')

print df

                      val
0              WIN-abc123
1              def456-WIN
2       123123-WIN-ghi789
3             RHEL-jkl012
4  45u8234dgf-RHEL-mno345
5             pqr678-RHEL

有效地将不同的可能子串匹配到相同的值

3 个答案: