我想将“模板”文件的输出传递给MySQL,该文件中插入了${dbName}
等变量。什么是命令行实用程序来替换这些实例并将输出转储到标准输出?
答案 0 :(得分:154)
Sed!
给出template.txt:
The number is ${i} The word is ${word}
我们只需说:
sed -e "s/\${i}/1/" -e "s/\${word}/dog/" template.txt
感谢Jonathan Leffler提示将多个-e
参数传递给同一个sed
调用。
答案 1 :(得分:134)
以下是来自yottatsa的类似问题的解决方案,该问题仅替换$ VAR或$ {VAR}等变量,并且是一个简短的单行
i=32 word=foo envsubst < template.txt
当然,如果你的环境中有 i 和 word ,那么它只是
envsubst < template.txt
在我的Mac上看起来它是作为 gettext 的一部分安装的,并且来自 MacGPG2
以下是mogsie对类似问题的解决方案的改进,我的解决方案并不要求你使用双引号,mogsie's,但他是一个单行!
eval "cat <<EOF
$(<template.txt)
EOF
" 2> /dev/null
这两个解决方案的强大之处在于你只能得到几种类型的shell扩展,这些扩展通常不会出现$((...)),`...`和$(...),尽管反斜杠是这里的一个转义字符,但是您不必担心解析有错误,并且它可以很好地执行多行。
答案 2 :(得分:42)
使用/bin/sh
。创建一个设置变量的小shell脚本,然后使用shell本身解析模板。像这样(编辑以正确处理换行):
the number is ${i}
the word is ${word}
#!/bin/sh
#Set variables
i=1
word="dog"
#Read in template one line at the time, and replace variables (more
#natural (and efficient) way, thanks to Jonathan Leffler).
while read line
do
eval echo "$line"
done < "./template.txt"
#sh script.sh
the number is 1
the word is dog
答案 3 :(得分:19)
考虑到最近的兴趣,我再次考虑这个问题,我认为我最初想到的工具是m4
,即autotools的宏处理器。因此,不是我最初指定的变量,而是使用:
$echo 'I am a DBNAME' | m4 -DDBNAME="database name"
答案 4 :(得分:12)
template.txt
Variable 1 value: ${var1}
Variable 2 value: ${var2}
data.sh
#!/usr/bin/env bash
declare var1="value 1"
declare var2="value 2"
parser.sh
#!/usr/bin/env bash
# args
declare file_data=$1
declare file_input=$2
declare file_output=$3
source $file_data
eval "echo \"$(< $file_input)\"" > $file_output
./ parser.sh data.sh template.txt parsed_file.txt
parsed_file.txt
Variable 1 value: value 1
Variable 2 value: value 2
答案 5 :(得分:9)
这里是基于以前的答案的perl解决方案,取代了环境变量:
perl -p -e 's/\$\{(\w+)\}/(exists $ENV{$1}?$ENV{$1}:"missing variable $1")/eg' < infile > outfile
答案 6 :(得分:8)
这里有一个强大的Bash功能 - 尽管使用eval
- 应该可以安全使用。
输入文本中的所有${varName}
变量引用都是根据调用shell的变量进行扩展的。
没有其他被扩展:名称 not 的变量引用既不包含在{...}
中(例如$varName
),也不是命令替换( $(...)
和遗留语法`...`
),也不是算术替换($((...))
和遗留语法$[...]
)。
将$
视为文字,\
- 逃避它; e.g:\${HOME}
请注意,只能通过 stdin 接受输入。
示例:强>
$ expandVarsStrict <<<'$HOME is "${HOME}"; `date` and \$(ls)' # only ${HOME} is expanded
$HOME is "/Users/jdoe"; `date` and $(ls)
功能源代码:
expandVarsStrict(){
local line lineEscaped
while IFS= read -r line || [[ -n $line ]]; do # the `||` clause ensures that the last line is read even if it doesn't end with \n
# Escape ALL chars. that could trigger an expansion..
IFS= read -r -d '' lineEscaped < <(printf %s "$line" | tr '`([$' '\1\2\3\4')
# ... then selectively reenable ${ references
lineEscaped=${lineEscaped//$'\4'{/\${}
# Finally, escape embedded double quotes to preserve them.
lineEscaped=${lineEscaped//\"/\\\"}
eval "printf '%s\n' \"$lineEscaped\"" | tr '\1\2\3\4' '`([$'
done
}
该函数假定输入中不存在0x1
,0x2
,0x3
和0x4
控制字符,因为这些字符。在内部使用 - 因为函数处理文本,这应该是一个安全的假设。
答案 7 :(得分:6)
如果您愿意使用Perl,那将是我的建议。虽然可能有一些sed和/或AWK专家可能知道如何更容易地做到这一点。如果您有一个更复杂的映射,而不仅仅是dbName用于替换,那么您可以非常轻松地扩展它,但是您可以将它放在标准的Perl脚本中。
perl -p -e 's/\$\{dbName\}/testdb/s' yourfile | mysql
一个简短的Perl脚本,可以做一些稍微复杂的事情(处理多个键):
#!/usr/bin/env perl
my %replace = ( 'dbName' => 'testdb', 'somethingElse' => 'fooBar' );
undef $/;
my $buf = <STDIN>;
$buf =~ s/\$\{$_\}/$replace{$_}/g for keys %replace;
print $buf;
如果您将上述脚本命名为replace-script,则可以按如下方式使用它:
replace-script < yourfile | mysql
答案 8 :(得分:5)
创建rendertemplate.sh
:
#!/usr/bin/env bash
eval "echo \"$(cat $1)\""
template.tmpl
:
Hello, ${WORLD}
Goodbye, ${CHEESE}
渲染模板:
$ export WORLD=Foo
$ CHEESE=Bar ./rendertemplate.sh template.tmpl
Hello, Foo
Goodbye, Bar
答案 9 :(得分:4)
file.tpl:
The following bash function should only replace ${var1} syntax and ignore
other shell special chars such as `backticks` or $var2 or "double quotes".
If I have missed anything - let me know.
script.sh:
template(){
# usage: template file.tpl
while read -r line ; do
line=${line//\"/\\\"}
line=${line//\`/\\\`}
line=${line//\$/\\\$}
line=${line//\\\${/\${}
eval "echo \"$line\"";
done < ${1}
}
var1="*replaced*"
var2="*not replaced*"
template file.tpl > result.txt
答案 10 :(得分:3)
我建议使用 Sigil 之类的内容: https://github.com/gliderlabs/sigil
它被编译为单个二进制文件,因此在系统上安装非常容易。
然后你可以做一个简单的单行,如下所示:
class MessagesController < ApplicationController
before_action :authenticate_user!
before_action :set_conversation
def index
if current_user == @conversation.sender || current_user == @conversation.recipient
@other = current_user == @conversation.sender ? @conversation.recipient : @conversation.sender
@messages = @conversation.messages.order("created_at DESC")
else
redirect_to conversations_path, alert: "You don't have permission to view this."
end
end
def create
@message = @conversation.messages.new(message_params)
@messages = @conversation.messages.order("created_at DESC")
if @message.save
redirect_to conversation_messages_path(@conversation)
end
end
private
def set_conversation
@conversation = Conversation.find(params[:conversation_id])
end
def message_params
params.require(:message).permit(:content, :user_id)
end
end
这比cat my-file.conf.template | sigil -p $(env) > my-file.conf
更安全,然后使用正则表达式或eval
答案 11 :(得分:2)
我在想知道同样的事情时找到了这个帖子。它激发了我的灵感(小心反击)
$ echo $MYTEST
pass!
$ cat FILE
hello $MYTEST world
$ eval echo `cat FILE`
hello pass! world
答案 12 :(得分:2)
如果您可以控制配置文件格式,则可以在bash中完成。您只需要提供(“。”)配置文件而不是子shell。这确保变量是在当前shell的上下文中创建的(并且继续存在)而不是子shell(当子shell退出时变量消失)。
$ cat config.data
export parm_jdbc=jdbc:db2://box7.co.uk:5000/INSTA
export parm_user=pax
export parm_pwd=never_you_mind
$ cat go.bash
. config.data
echo "JDBC string is " $parm_jdbc
echo "Username is " $parm_user
echo "Password is " $parm_pwd
$ bash go.bash
JDBC string is jdbc:db2://box7.co.uk:5000/INSTA
Username is pax
Password is never_you_mind
如果您的配置文件不能是shell脚本,您可以在执行之前“编译”它(编译取决于您的输入格式)。
$ cat config.data
parm_jdbc=jdbc:db2://box7.co.uk:5000/INSTA # JDBC URL
parm_user=pax # user name
parm_pwd=never_you_mind # password
$ cat go.bash
cat config.data
| sed 's/#.*$//'
| sed 's/[ \t]*$//'
| sed 's/^[ \t]*//'
| grep -v '^$'
| sed 's/^/export '
>config.data-compiled
. config.data-compiled
echo "JDBC string is " $parm_jdbc
echo "Username is " $parm_user
echo "Password is " $parm_pwd
$ bash go.bash
JDBC string is jdbc:db2://box7.co.uk:5000/INSTA
Username is pax
Password is never_you_mind
在您的具体情况下,您可以使用以下内容:
$ cat config.data
export p_p1=val1
export p_p2=val2
$ cat go.bash
. ./config.data
echo "select * from dbtable where p1 = '$p_p1' and p2 like '$p_p2%' order by p1"
$ bash go.bash
select * from dbtable where p1 = 'val1' and p2 like 'val2%' order by p1
然后将go.bash的输出传输到MySQL中,瞧,希望你不会破坏你的数据库: - )。
答案 13 :(得分:2)
这里有很多选择,但我认为我会把我扔到堆里。它是基于perl的,只定位$ {...}形式的变量,将文件作为参数处理并在stdout上输出转换后的文件:
use Env;
Env::import();
while(<>) { $_ =~ s/(\${\w+})/$1/eeg; $text .= $_; }
print "$text";
当然我不是一个真正的perl人,所以很容易就会有一个致命的缺陷(虽然对我有用)。
答案 14 :(得分:0)
这是让外壳程序为您进行替换的一种方法,就好像文件内容在双引号之间键入一样。
使用带有内容的template.txt示例:
The number is ${i}
The word is ${word}
下面的代码行将使Shell插值template.txt的内容并将结果写入标准输出。
i='1' word='dog' sh -c 'echo "'"$(cat template.txt)"'"'
说明:
i
和word
作为执行sh
的环境变量传递。sh
执行所传递字符串的内容。echo "
'+“ $(cat template.txt)
” +'"
'"
之间,因此“ $(cat template.txt)
”成为cat template.txt
的输出。sh -c
执行的命令变为:
echo "The number is ${i}\nThe word is ${word}"
,i
和word
是指定的环境变量。答案 15 :(得分:0)
使用备份对潜在的多个文件进行perl编辑。
perl -e 's/\$\{([^}]+)\}/defined $ENV{$1} ? $ENV{$1} : ""/eg' \
-i.orig \
-p config/test/*
答案 16 :(得分:0)
我创建了一个名为 shtpl
的 shell 模板脚本。我的 shtpl
使用类似 jinja 的语法,现在我经常使用 ansible,我非常熟悉:
$ cat /tmp/test
{{ aux=4 }}
{{ myarray=( a b c d ) }}
{{ A_RANDOM=$RANDOM }}
$A_RANDOM
{% if $(( $A_RANDOM%2 )) == 0 %}
$A_RANDOM is even
{% else %}
$A_RANDOM is odd
{% endif %}
{% if $(( $A_RANDOM%2 )) == 0 %}
{% for n in 1 2 3 $aux %}
\$myarray[$((n-1))]: ${myarray[$((n-1))]}
/etc/passwd field #$n: $(grep $USER /etc/passwd | cut -d: -f$n)
{% endfor %}
{% else %}
{% for n in {1..4} %}
\$myarray[$((n-1))]: ${myarray[$((n-1))]}
/etc/group field #$n: $(grep ^$USER /etc/group | cut -d: -f$n)
{% endfor %}
{% endif %}
$ ./shtpl < /tmp/test
6535
6535 is odd
$myarray[0]: a
/etc/group field #1: myusername
$myarray[1]: b
/etc/group field #2: x
$myarray[2]: c
/etc/group field #3: 1001
$myarray[3]: d
/etc/group field #4:
有关我的 github
的更多信息