如何限制DataStage

时间:2011-02-20 14:04:47

标签: performance resources large-data-volumes throttling datastage

我在一个项目中工作,我们运行许多DataStage序列可以并行运行,特别是一个表现不佳并占用大量资源,影响共享环境。性能调优计划正在进行中,但需要时间。

与此同时,我希望我们可以限制DataStage来限制这个特定作业/序列可以使用的资源 - 但是我个人并不熟悉DataStage。

任何人都可以评论DataStage中是否存在此功能(我相信v8.5),并指出了一些更详细的方向。

其次,我知道我们可以根据用户进行节流(我认为这与AIX'ulimit'有关,但不确定)。以不同的用户身份运行不同的工作/序列是否容易/可能?

3 个答案:

答案 0 :(得分:1)

在这种情况下,可以通过指定配置文件中的节点数和资源来限制特定作业的资源。可能在8.5中,你可能会在www.datastagetips.com

找到一些东西

答案 1 :(得分:1)

Revolution_In_Progress是对的。

Datastage PX具有配置文件的概念。可以为您运行的所有作业指定该文件,也可以按作业基础覆盖作业。配置文件可用于限制与作业关联的物理资源。

在这种情况下,如果您有大多数作业的4节点配置文件,您可能需要为性能问题的作业编写2节点配置文件。这样,您将获得最小的并行度(不会完全顺序)并使用最少的资源。

http://pic.dhe.ibm.com/infocenter/iisinfsv/v8r1/index.jsp?topic=/com.ibm.swg.im.iis.ds.parjob.tut.doc/module5/lesson5.1exploringtheconfigurationfile.html

答案 2 :(得分:0)

序列是各个工作的集合。

In most cases, jobs in a sequence can be rearranged to run serially.  Please check the organisation of the sequence and do a critical path analyis to remove the jobs that need not run in parallel to critical jobs.