Question

下面有一个示例代码，其中BSplineComp与ExplicitComp或ExternalCodeComp组合在一起。两者都进行相同的计算，并且使用有限差分来计算两个分量的梯度。

如果我运行版本Bspline + ExplicitComp，则结果将在2,3次迭代中实现。如果我运行版本Bspline + ExternalCodeComp，则必须等待很多时间。在这种情况下，它试图找到输出相对于每个输入的梯度。因此，例如，在bspline组件中有9个控制点被插值到70个点。然后，必须对外部分量进行最多与插值点的评估（70次）

因此，在bspline与昂贵的外部代码结合使用的情况下，有限的差值需要内插的点数之多，这成为计算的瓶颈。

基于此输入，我有两个问题

1-如果外部代码组件基于显式组件，则导致行为差异的主要区别是什么？（考虑到两者的输入均为shape = 70）

2-在前面提到的场景中，bspline与昂贵的外部代码结合在一起，除了此处显示的方式之外，还有一种更有效的结合方式。

主代码：“ external”变量是用于切换外部/显式代码comp的标志。为运行上述两种情况设置为true / false。

from openmdao.components.bsplines_comp import BsplinesComp
from openmdao.api import  IndepVarComp, Problem, ExplicitComponent,ExecComp,ExternalCodeComp
from openmdao.api import  ScipyOptimizeDriver, SqliteRecorder, CaseReader
import matplotlib.pyplot as plt
import  numpy as np

external=True # change this to true for the case with external code comp. or false for the case with explicit comp.  

rr=np.arange(0,70,1)
"Explicit component for the area under the line calculation" 
class AreaComp(ExplicitComponent):
    def initialize(self):
        self.options.declare('lenrr', int)        
        self.options.declare('rr', types=np.ndarray)        
    def setup(self):        
        self.add_input('h', shape=lenrr)
        self.add_output('area')
        self.declare_partials(of='area', wrt='h', method='fd')
    def compute(self, inputs, outputs):
        rr = self.options['rr']        
        outputs['area'] = np.trapz(rr,inputs['h'])          

class ExternalAreaComp(ExternalCodeComp):
    def setup(self):
        self.add_input('h', shape=70)
        self.add_output('area')

        self.input_file = 'paraboloid_input.dat'
        self.output_file = 'paraboloid_output.dat'

        # providing these is optional; the component will verify that any input
        # files exist before execution and that the output files exist after.
        self.options['external_input_files'] = [self.input_file]
        self.options['external_output_files'] = [self.output_file]

        self.options['command'] = [
            'python', 'extcode_paraboloid.py', self.input_file, self.output_file
        ]

        # this external code does not provide derivatives, use finite difference
        self.declare_partials(of='*', wrt='*', method='fd')

    def compute(self, inputs, outputs):
        h = inputs['h']

        # generate the input file for the paraboloid external code
        np.savetxt(self.input_file,h)
        # the parent compute function actually runs the external code
        super(ExternalAreaComp, self).compute(inputs, outputs)

        # parse the output file from the external code and set the value of f_xy
        f_xy=np.load('a.npy')

        outputs['area'] = f_xy


prob  = Problem()
model = prob.model

n_cp = 9
lenrr = len(rr)
"Initialize the design variables"
x = np.random.rand(n_cp)

model.add_subsystem('px', IndepVarComp('x', val=x))
model.add_subsystem('interp', BsplinesComp(num_control_points=n_cp,
                                           num_points=lenrr,
                                           in_name='h_cp',
                                           out_name='h'))

if external:
    comp=ExternalAreaComp()
    model.add_subsystem('AreaComp', comp)
else:
    comp = AreaComp(lenrr=lenrr, rr=rr)
    model.add_subsystem('AreaComp', comp)

case_recorder_filename2 = 'cases4.sql'
recorder2 = SqliteRecorder(case_recorder_filename2)
comp.add_recorder(recorder2)
comp.recording_options['record_outputs']=True
comp.recording_options['record_inputs']=True


model.connect('px.x', 'interp.h_cp')
model.connect('interp.h', 'AreaComp.h')
model.add_constraint('interp.h', lower=0.9, upper=1, indices=[0])

prob.driver = ScipyOptimizeDriver()
prob.driver.options['optimizer'] = 'SLSQP'
prob.driver.options['disp'] = True
#prob.driver.options['optimizer'] = 'COBYLA'
#prob.driver.options['disp'] = True

prob.driver.options['tol'] = 1e-9

model.add_design_var('px.x', lower=1,upper=10)
model.add_objective('AreaComp.area',scaler=1)

prob.setup(check=True)
#prob.run_model()
prob.run_driver()
cr = CaseReader(case_recorder_filename2)

case_keys = cr.system_cases.list_cases()
cou=-1
for case_key in case_keys:
    cou=cou+1
    case = cr.system_cases.get_case(case_key)
    plt.plot(rr,case.inputs['h'],'-*')

外部代码extcode_paraboloid.py在下面

import numpy as np
if __name__ == '__main__':
    import sys

    input_filename = sys.argv[1]
    output_filename = sys.argv[2]

    h=np.loadtxt(input_filename)
    rr=np.arange(0,70,1)

    rk= np.trapz(rr,h)          
    np.save('a',np.array(rk))

Answer 1

在两种情况下，您的代码都需要运行3次迭代。仅仅由于file-io的成本以及每次调用函数都要进行系统调用以缓冲新进程的时间，外部代码的挂壁时间要长得多。是的，系统调用非常昂贵，文件I / O也不便宜。如果您进行的分析成本较高，那么没什么大不了的，但是您可以理解为什么应尽可能避免这样做。

在这种情况下，您可以降低FD成本。由于只有9个bspline变量，因此可以正确推断出可以运行更少的FD步骤。您想使用OpenMDAO v2.4中的approximate semi-total derivative功能在整个组而不是每个单独的组件中设置FD。

就这么简单：

.
. 
. 

if external:
    comp=ExternalAreaComp()
    model.add_subsystem('AreaComp', comp)
else:
    comp = AreaComp(lenrr=lenrr, rr=rr)
    model.add_subsystem('AreaComp', comp)

model.approx_totals()

.
. 
.

BSpline与显式代码和externalcode的组合行为不同

1 个答案: