Question

我正在集群上运行OpenFOAM模拟，它们需要几天才能完成。我正在寻找一种监控过程并获得有意义的见解的方法。目前，我能做的是使用

观看日志文件的末尾。

watch tail -n 15 log.log

在here中，我还找到了一个不错的GnuPlot-grep脚本：

set logscale y
set title "Residuals"
set ylabel 'Residual'
set xlabel 'Iteration'
plot "< cat log.log | grep 'Solving for Ux'    | cut -d' ' -f9 | tr -d ','" title 'Ux'                  with lines,\
     "< cat log.log | grep 'Solving for Uy'    | cut -d' ' -f9 | tr -d ','" title 'Uy'                  with lines,\
     "< cat log.log | grep 'Solving for Uz'    | cut -d' ' -f9 | tr -d ','" title 'Uz'                  with lines,\
     "< cat log.log | grep 'Solving for omega' | cut -d' ' -f9 | tr -d ','" title 'omega'               with lines,\
     "< cat log.log | grep 'Solving for k'     | cut -d' ' -f9 | tr -d ','" title 'k'                   with lines,\
     "< cat log.log | grep 'Solving for p'     | cut -d' ' -f9 | tr -d ','" title 'p'                   with lines,\
     "< cat log.log | grep 'Courant Number'    | cut -d' ' -f9 | tr -d ','" title 'Courant Number mean' with lines,\
     "< cat log.log | grep 'Courant Number'    | cut -d' ' -f6 | tr -d ','" title 'Courant Number max'  with lines
pause 1
reread

从log.log文件中提取信息，如果我在顶部的某个位置添加set term dumb，它可以在终端中显示。但是，该图非常拥挤，很丑陋，要花很多时间才能显示出来，并按顺序打印到终端，而不是更新前一个。

在Internet上搜索，我发现有一些不错的python库，例如npyscreen / picotui，ncurses / blessed，Asciimatics，Urwid，Prompt Toolkit ...用于创建TUI / TLI。我想知道您是否可以帮助我知道如何创建一个基于文本的界面来显示基本信息以及所选值与时间的关系图。我想要几个面板。一个用于选择我想绘制的变量，例如Courant Number mean，另一面板上有一个图表，显示了该变量与步进时间的关系。以及其他实时显示所有变量的最新值。我的想法应该类似于urwind's graph.py example：

建议。由于我已发布以下内容：

Here我被介绍给Termgraph一个非常有趣的python库，以便在终端上进行一些绘图。
我已将此想法发布到Urwid谷歌小组中。您可以关注the discussion here。
我发现了PyFoam的{{1}}，它也使用Urwid。另外，here还告知我PyFoam项目中尝试从求解器中获取一些不错的TUI信息的其他尝试。

Answer 1

如上所述，我为您提供了一些示例代码。它基于 Redis ，我建议您在群集管理器节点上运行 Redis ，该节点可能靠近群集节点并且始终处于运行状态-因此，它是一个不错的选择统计信息收集服务。

该示例代码是用 Python 编写的虚拟作业，并且是用bash编写的监视例程，但是可以使用C / C ++轻松编写该作业并进行监视 Perl 中的例行程序- Redis 有各种各样的绑定-不要挂在某种语言上。

即使您看不懂 Python ，它也很容易理解。有3个线程并行运行。只需使用已用的总处理时间更新 Redis 中的string。其他两个使用时间序列数据更新 Redis lists-合成三角波-一个以5 Hz运行，另一个以1 Hz运行。

我使用了 Redis 字符串（不需要记录历史记录），而使用了 Redis 列表需要记录历史记录。其他数据结构也可用。

在下面的代码中，仅有的三行有趣：

# Connect to Redis server by IP address/name
r = redis.Redis(host='localhost', port=6379, db=0)

# Set a Redis string called 'processTime' to value `processsTime`
r.set('processTime', processTime)

# Push a value to left end of Redis list
r.lpush(RedisKeyName, value)

这是正在监视的虚拟作业。开始阅读上面写着的内容

######
# Main
######

代码如下：

#!/usr/local/bin/python3

import redis
import _thread
import time
import os
import random

################################################################################
# Separate thread periodically updating the 'processTime' in Redis
################################################################################
def processTimeThread():
   """Calculate time since we started and update every so often in Redis"""
   start = time.time()
   while True:
      processTime = int(time.time() - start)
      r.set('processTime', processTime)
      time.sleep(0.2)

################################################################################
# Separate thread generating a times series and storing in Redis with the given
# name and update rate
################################################################################
def generateSeriesThread(RedisKeyName, interval):
   """Generate a saw-tooth time series and log to Redis"""
   # Delete any values from previous runs
   r.delete(RedisKeyName)
   value = 0
   inc = 1
   while True:
      # Generate next value and store in Redis
      value = value + inc
      r.lpush(RedisKeyName, value)
      if value == 0:
         inc = 1
      if value == 10:
         inc = -1
      time.sleep(interval)

################################################################################
# Main
################################################################################

# Connect to Redis on local host - but could just as easily be on another machine
r = redis.Redis(host='localhost', port=6379, db=0)

# Get start time of job in RFC2822 format
startTime=time.strftime("%a, %d %b %Y %H:%M:%S +0000", time.gmtime())
# ... and set Redis string "startTime"
r.set('startTime',startTime)

# Get process id (pid)
pid=os.getpid()
# ... and set Redis string "pid""
r.set('pid',pid)

# Start some threads generating data
_thread.start_new_thread( processTimeThread, () )
_thread.start_new_thread( generateSeriesThread, ('seriesA', 0.2) )
_thread.start_new_thread( generateSeriesThread, ('seriesB', 1) )

# Hang around (with threads still running) till user presses a key
key = input("Press Return/Enter to stop.")

然后我在bash中编写了一个监视脚本，该脚本连接到Redis，获取值并将它们显示在TUI（文本用户界面）上的终端上。您可以同样使用Python或Perl或PHP，并同样编写图形界面或基于Web的界面。

#!/bin/bash

################################################################################
# drawGraph
################################################################################
drawGraph(){
   top=$1 ; shift
   data=( "$@" )
   for ((row=0;row<10;row++)) ; do
      ((y=10-row))
      ((screeny=top+row))
      line=""
      for ((col=0;col<30;col++)) ; do
         char=" "
         declare -i v
         v=${data[col]}
         [ $v -eq $y ] && char="X"
         line="${line}${char}"
      done
      printf "$(tput cup $screeny 0)%s" "${line}"
   done
}

# Save screen and clear and make cursor invisible
tput smcup
tput clear
tput civis

# Trap exit
trap 'exit 1' INT TERM
trap 'tput rmcup; tput clear' EXIT

while :; do
   # Get processid from Redis and display
   pid=$(redis-cli <<< "get pid")
   printf "$(tput cup 0 0)ProcessId: $pid"

   # Get process start time from Redis and display
   startTime=$(redis-cli <<< "get startTime")
   printf "$(tput cup 1 0)Start Time: $startTime"

   # Get process running time from Redis and display
   processTime=$(redis-cli <<< "get processTime")
   printf "$(tput cup 2 0)Running Time: $(tput el)$processTime"

   # Display seriesA last few values
   seriesA=( $(redis-cli <<< "lrange seriesA 0 30") )
   printf "$(tput cup 5 0)seriesA latest values: $(tput el)"
   printf "%d " "${seriesA[@]}"

   # Display seriesB last few values
   seriesB=( $(redis-cli <<< "lrange seriesB 0 30") )
   printf "$(tput cup 6 0)seriesB latest values: $(tput el)"
   printf "%d " "${seriesB[@]}"

   drawGraph 8  "${seriesA[@]}"
   drawGraph 19 "${seriesB[@]}"

   # Put cursor at bottom of screen and tell user how to quit
   printf "$(tput cup 30 0)Hit Ctrl-C to quit"
done

希望您可以看到您可以非常轻松地从Redis获取数据结构。这将在群集节点上的作业中获取processTime变量集：

processTime=$(redis-cli <<< "get processTime")

TUI看起来像这样：

如何制作一个基于文本的界面（TUI / TLI）来监视OpenFOAM求解器日志文件？

1 个答案: