Python逐行数据处理

时间:2014-04-04 10:41:44

标签: python bash awk

我是python的新手,我搜索了一些文章,但没有找到正确的语法来读取文件并在python中进行awk行处理。我需要你帮助解决这个问题。

这是我的构建和部署的bash脚本的外观,我在bash中读取了一个配置文件,如下所示。

backup             /apps/backup
oracle             /opt/qosmon/qostool/oracle    oracle-client-12.1.0.1.0

和bash阅读部分的脚本如下所示

while read line
  do
    case "$line" in */package*) continue ;; esac
    host_file_array+=("$line")
  done < ${HOST_FILE}
 for ((i=0 ; i < ${#host_file_array[*]}; i++))
  do
    # echo "${host_file_array[i]}"
     host_file_line="${host_file_array[i]}"

     if [[ "$host_file_line" != "#"* ]];
     then
       COMPONENT_NAME=$(echo $host_file_line  | awk '{print $1;}' )
       DIRECTORY=$(echo $host_file_line  | awk '{print $2;}' )
       VERSION=$(echo $host_file_line  | awk '{print $3;}' )

       if [[ ("${COMPONENT_NAME}" == *"oracle"*)  ]];
       then
         print_parameters "Status ${DIRECTORY}/${COMPONENT_NAME}"
         /bin/bash ${DIRECTORY}/${COMPONENT_NAME}/current/script/manage-oracle.sh  ${FORMAT_STRING} start
       fi
     etc .........

如何将相同的内容传达给Python。这是我到目前为止在python中准备的内容。

f  = open ('%s' % host_file,"r")
array = []
line = f.readline()
index = 0
while line:
    line = line.strip("\n ' '")
    line=line.split()
    array.append([])
    for item in line:
        array[index].append(item)
    line = f.readline()
    index+= 1
f.close()

我在python中尝试使用split,因为配置文件在所有行中没有相同数量的列,我得到索引绑定错误。什么是处理它的最佳方式。

2 个答案:

答案 0 :(得分:1)

我认为词典在这里很合适,你可以按如下方式生成它们:

>>> result = []
>>> keys = ["COMPONENT_NAME", "DIRECTORY", "VERSION"]
>>> with open(hosts_file) as f:
...     for line in f:
...         result.append(dict(zip(keys, line.strip().split())))
...     
>>> result
[{'DIRECTORY': '/apps/backup', 'COMPONENT_NAME': 'backup'},
 {'DIRECTORY': '/opt/qosmon/qostool/oracle', 'VERSION': 'oracle-client-12.1.0.1.0', 'COMPONENT_NAME': 'oracle'}]

如您所见,这会创建一个词典列表。现在,当您访问字典时,您知道其中一些可能不包含'VERSION'密钥。有多种方法可以解决这个问题。您try/except KeyError或使用dict.get()获取值。

示例:

>>> for r in result:
...     print r.get('VERSION', "No version")
...     
... 
No version
oracle-client-12.1.0.1.0

答案 1 :(得分:0)

result = [line.strip().split() for line in open(host_file)]