Question

在我目前的工作中，我们正在寻求实现我们自己的odbc驱动程序，以允许许多不同的应用程序能够连接到我们自己的应用程序作为数据源。现在我们正在尝试权衡开发我们自己的驱动程序到实现规范的选项，这是大规模的，或使用SDK，允许程序员“填写”数据特定部分并允许更高抽象层次。

有没有其他人实现自定义odbc驱动程序？你遇到了什么陷阱？你自己做了什么好处？花了多少工时呢？您是否使用过SDK？如果是这样，您从该方法中看到了哪些好处/缺点？

任何评论和答案将不胜感激。谢谢！

编辑：我们正在尝试使用我们的代码来维护可移植性，该代码是用C语言编写的。

Answer 1

另一种选择：不是创建ODBC驱动程序，而是实现一个后端，它与另一个数据库（例如Postgresql或MySQL）使用的有线协议进行对话。

然后，您的用户可以下载并使用Postgresql ODBC驱动程序。

您选择模拟的后端数据库究竟应该最大程度地依赖于有线协议格式的记录。

Postgres和MySQL都有适合其客户端 - 服务器协议的文档。

下面是一个了解Postgresql有线协议部分的服务器后端的简单Python 2.7示例。示例脚本创建一个侦听端口9876的服务器。我可以使用命令psql -h localhost -p 9876连接到服务器。执行的任何查询都将返回一个结果集，其中包含列abc和def以及两行，所有值都为NULL。

阅读Postgresql文档并使用wireshark之类的东西来检查真正的协议流量，这样可以很容易地实现与Postgresql兼容的后端。

import SocketServer
import struct

def char_to_hex(char):
    retval = hex(ord(char))
    if len(retval) == 4:
        return retval[-2:]
    else:
        assert len(retval) == 3
        return "0" + retval[-1]

def str_to_hex(inputstr):
    return " ".join(char_to_hex(char) for char in inputstr)

class Handler(SocketServer.BaseRequestHandler):
    def handle(self):
        print "handle()"
        self.read_SSLRequest()
        self.send_to_socket("N")

        self.read_StartupMessage()
        self.send_AuthenticationClearText()
        self.read_PasswordMessage()
        self.send_AuthenticationOK()
        self.send_ReadyForQuery()
        self.read_Query()
        self.send_queryresult()

    def send_queryresult(self):
        fieldnames = ['abc', 'def']
        HEADERFORMAT = "!cih"
        fields = ''.join(self.fieldname_msg(name) for name in fieldnames)
        rdheader = struct.pack(HEADERFORMAT, 'T', struct.calcsize(HEADERFORMAT) - 1 + len(fields), len(fieldnames))
        self.send_to_socket(rdheader + fields)

        rows = [[1, 2], [3, 4]]
        DRHEADER = "!cih"
        for row in rows:
            dr_data = struct.pack("!ii", -1, -1)
            dr_header = struct.pack(DRHEADER, 'D', struct.calcsize(DRHEADER) - 1 + len(dr_data), 2)
            self.send_to_socket(dr_header + dr_data)

        self.send_CommandComplete()
        self.send_ReadyForQuery()

    def send_CommandComplete(self):
        HFMT = "!ci"
        msg = "SELECT 2\x00"
        self.send_to_socket(struct.pack(HFMT, "C", struct.calcsize(HFMT) - 1 + len(msg)) + msg)

    def fieldname_msg(self, name):
        tableid = 0
        columnid = 0
        datatypeid = 23
        datatypesize = 4
        typemodifier = -1
        format_code = 0 # 0=text 1=binary
        return name + "\x00" + struct.pack("!ihihih", tableid, columnid, datatypeid, datatypesize, typemodifier, format_code)

    def read_socket(self):
        print "Trying recv..."
        data = self.request.recv(1024)
        print "Received {} bytes: {}".format(len(data), repr(data))
        print "Hex: {}".format(str_to_hex(data))
        return data

    def send_to_socket(self, data):
        print "Sending {} bytes: {}".format(len(data), repr(data))
        print "Hex: {}".format(str_to_hex(data))
        return self.request.sendall(data)

    def read_Query(self):
        data = self.read_socket()
        msgident, msglen = struct.unpack("!ci", data[0:5])
        assert msgident == "Q"
        print data[5:]


    def send_ReadyForQuery(self):
        self.send_to_socket(struct.pack("!cic", 'Z', 5, 'I'))

    def read_PasswordMessage(self):
        data = self.read_socket()
        b, msglen = struct.unpack("!ci", data[0:5])
        assert b == "p"
        print "Password: {}".format(data[5:])


    def read_SSLRequest(self):
        data = self.read_socket()
        msglen, sslcode = struct.unpack("!ii", data)
        assert msglen == 8
        assert sslcode == 80877103

    def read_StartupMessage(self):
        data = self.read_socket()
        msglen, protoversion = struct.unpack("!ii", data[0:8])
        print "msglen: {}, protoversion: {}".format(msglen, protoversion)
        assert msglen == len(data)
        parameters_string = data[8:]
        print parameters_string.split('\x00')

    def send_AuthenticationOK(self):
        self.send_to_socket(struct.pack("!cii", 'R', 8, 0))

    def send_AuthenticationClearText(self):
        self.send_to_socket(struct.pack("!cii", 'R', 8, 3))

if __name__ == "__main__":
    server = SocketServer.TCPServer(("localhost", 9876), Handler)
    try:
        server.serve_forever()
    except:
        server.shutdown()

示例命令行psql session：

[~]
$ psql -h localhost -p 9876
Password:
psql (9.1.6, server 0.0.0)
WARNING: psql version 9.1, server version 0.0.
         Some psql features might not work.
Type "help" for help.

codeape=> Select;
 abc | def
-----+-----
     |
     |
(2 rows)

codeape=>

使用Postgresql协议的ODBC驱动程序也可以正常工作（但我还没有尝试过）。

Answer 2

ODBC驱动程序非常复杂 - 不应轻易决定编写一个。查看现有的开源驱动程序是一个很好的方法，但大多数都有您可能不想模拟的缺点:)无论OS平台如何，API都是相同的。 FreeTDS for MSSQL / Sybase有一个我见过的更好的开源ODBC驱动程序实现。

如果您控制应用程序，您可以在合理的时间内实现可能只是规范的一小部分。要在通用环境中使用，可能需要相当多的努力才能正确使用。除了简单地实现几十个包装器调用之外，您还必须实现：

元数据访问功能
ODBC特定查询语法解析
SQLSTATE错误消息映射
多字节/字符集编组
ODBC版本2,3支持 - 错误消息/功能映射
光标
用于管理数据源的DM配置UI

Answer 3

我没有，但我曾经在一家做过此事的公司接受采访。他们做了一种名为AMPS的4GL / DBMS产品，与MUMPS具有相同的体系结构 - 一个集成了4GL的分层数据库（这种系统的整个类型在20世纪70年代出现）。他们拥有相当庞大的遗留代码库和希望使用MS Access连接到它的客户。

采访我的主要开发者分享了一些关于此的战争故事。显然这是非常痛苦的，不应该掉以轻心。但是，他们确实成功地实现了它。

这样做的另一种方法是提供数据集市/ BI产品（沿着SAP BW），在外部数据库中显示您的应用程序数据并将其按照更友好的格式（如星形或雪花模式）进行按摩

这将不支持实时访问，但可能比ODBC驱动程序更容易实现（更重要的是维护）。如果您的实时访问要求具有合理的可预测性和有限性，则可能需要公开Web服务API来支持这些要求。

Answer 4

我还没有实现ODBC驱动程序，但只想提供一个建议，即可以从开源实现开始并添加自己的自定义项。这可能会让你开始更快。

至少有两个选择：

unixODBC已获得LGPL许可，这意味着如果您修改代码，则必须以开源方式进行修改。
iODBC根据您的选择获得LGPL或新BSD许可。新的BSD允许您在不使用进行修改的情况下进行的修改。

但是，目前尚不清楚这些软件包是否在Windows上运行，而不是在UNIX / Linux上运行与客户端API一致的标准ODBC。您没有说明您正在使用哪个平台，因此我不知道这是否与您相关。

Answer 5

这篇文章现在有点陈旧，但值得一提的是，如果你需要一个ODBC驱动程序，你可以使用这样的SDK：http://www.simba.com/drivers/simba-engine-sdk/它会处理其他答案中提出的大多数问题。并为您提供了一个简化的界面来实现。

我碰巧为Simba工作，所以我有点偏颇，但使用SDK确实可以很容易地创建一个ODBC驱动程序，无论你想做什么。如果你对编码有一定的了解，你可以在5天内得到一些东西。

其他一个帖子建议将unixODBC或iODBC作为起点，但这不起作用。实现驱动程序管理器（unixODBC，iODBC等）和驱动程序之间的区别非常重要。驱动程序管理器充当应用程序和驱动程序之间的中间人，无需直接链接到驱动程序。

你可以从Postgres或MySQL驱动程序开始作为起点，并将它们分叉以使用你自己的数据库，但这不太可能是一项微不足道的任务。从头开始创建驱动程序更加困难，并且可能会持续（并且高于预期）维护成本。只要你意识到这种方法的成本，它也是可行的。

Answer 6

关于此的其他输入：请注意，使用SDK不再复杂。正如凯尔所建议的，构建自定义odbc驱动程序不再那么复杂了。使用像OpenAccess这样的解决方案，已经提供了99％的代码，并且您只实现了12个功能。您可以选择以下任何语言进行编码：C / C ++，Java，.NET，C＃，ABL或4GL。有关入门的详细信息，请参阅此博客：https://www.progress.com/blogs/quick-guide-build-custom-odbc-driver-in-java-or-c

创建自定义ODBC驱动程序

6 个答案: