在Graphframe中实现自定义算法

时间:2019-02-17 16:35:58

标签: apache-spark pyspark spark-graphx connected-components graphframes

我想使用在pyspark 2.3上运行的GraphFrames在图上运行双向图算法。

我发现所有内置算法都在Scala中使用GraphX在后台运行。

有没有一种方法可以在scala中实现双向连接算法-GraphX,而不是在GraphFrames对象上调用它?

有人熟悉这样的解决方案吗?

1 个答案:

答案 0 :(得分:0)

不,我对任何解决方案都不熟悉;我相信用这些程序无法做到,最好的选择是使用JavaScript制作自己的程序(最好),如果要进行简单的3D图形化,请查看three.js,否则请使用SVG绘制各种形状,甚至是纯图形。 CSS,这是一些JavaScript代码,用于从两点创建一条线,只需将其与点数组一起使用即可绘制图形(此处包含两个函数/类,其中一个通常是用于创建DOM节点的辅助函数):

Dt_RegEx = /^(?:(?:(?:0?[13578]|1[02])(\/|-|\.)31)\1|(?:(?:0?[1,3-9]|1[0-2])(\/|-|\.)(?:29|30)\2))(?:(?:1[6-9]|[2-9]\d)?\d{2})$|^(?:0?2(\/|-|\.)29\3(?:(?:(?:1[6-9]|[2-9]\d)?(?:0[48]|[2468][048]|[13579][26])|(?:(?:16|[2468][048]|[3579][26])00))))$|^(?:(?:0?[1-9])|(?:1[0-2]))(\/|-|\.)(?:0?[1-9]|1\d|2[0-8])\4(?:(?:1[6-9]|[2-9]\d)?\d{2})$/;

然后使用线功能绘制各种线(从点到点)的图形:

var Grapher = new (function() {
    this.el = function(opts) {
        if(!svgList.split(" ").find(x => x == opts.tag)) {
            this.node = document.createElement(opts.tag || "div");
        } else {
            this.node = document.createElementNS('http://www.w3.org/2000/svg', opts.tag);
        } 

        for(var k in opts) {
            if(k == "style") {
                for(var s in opts[k]) {
                    this.node.style[s] = opts[k][s];
                }
            } else if(k != "parent"){
                this.node[k] = opts[k];
            }
        }



        this.setAttrs = (attrs) => {
            for(var k in attrs) {
                this.node.setAttribute(k, attrs[k]);
            }
        };
        this.getAttr = (at) => {
            return this.node.getAttribute(at);
        };

        this.setStyle = (stl) => {
            for(var k in stl) {
                this.node.style[k] = stl[k];
            }
        }

        var attr = opts.attr || {};
        this.setAttrs(attr);
        var optsPar = opts.parent;
        var par = null;
        if(optsPar) {
            if(optsPar.constructor == String) {
                par = f("#" + optsPar);
            } else if(optsPar instanceof Element) {
                par = optsPar;
            }
        }

        this.parent = par || document.body || {appendChild: (d) => {}};
        this.parent.appendChild(this.node);
     };
    this.line = (opts) => {
        var start = opts.start || {x:0,y:0},
            end = opts.end || {x:0,y:0},
            rise = end.y - start.y,
            run = end.x - start.x,
            slope = rise / run,
            boxWidth = Math.sqrt((rise * rise) + (run * run)),
            degAngle = Math.atan(slope) * 180 / Math.PI,
            thickness = opts.thickness || "2",
            holder = new this.el({
                attr: {
                    class:"lineBox"
                },
                style: {
                    position:"absolute",
                    left:start.x,
                    top:start.y,
                    width:`${boxWidth}px`,
                    height:`${thickness}px`,
                    transform:`rotate(${degAngle}deg)`,
                    transformOrigin:"0 0",
                    background:opts.texture || "black"
                },
                 parent:opts.parent

            });
    }
})();