Golang通用数据库单记录到json

时间:2018-12-14 10:19:16

标签: go go-xorm

我想从数据库中检索记录并将其编组到json。 我有大约30个不同的表,所以我想要可以与所有这些表一起使用的通用函数。我使用xorm进行数据库访问。

我设法创建了DRY函数来检索数据,这主要归功于此question & answer

这有效,可以将所有记录封送到json:

type user struct {
   Id   int64  `json:"id"`
   Name string `json:"name"`
}
// type post
// etc.

type tableRecord struct {
    PrimaryKey string
    Data       interface{}
}

var ListOfTables = map[string]tableRecord{
    "users":{"id", &[]user{}},  // type user is struct for xorm with json annotation
    //"posts":{"post_id", &[]post{}},
    // etc.. 
}

for tableName, rec := range ListOfTables {
    err := xorm.Find(rec.Data)
    if err != nil {
        log.Print(err)
    }

    out, err := json.Marshal(rec.Data)
    if err != nil {
        log.Print(err)
    }
    log.Print(string(out)) // this yields json array
}

但是,我难以将单个记录封送至json。 我一直在寻找在接口{}上进行迭代的方法,该接口包含一个切片,found this和类似的主题。尝试过:

switch reflect.TypeOf(reflect.ValueOf(rec.Data).Elem().Interface()).Kind() {
case reflect.Slice:
    s := reflect.ValueOf(reflect.ValueOf(rec.Data).Elem().Interface())
    for i := 0; i < s.Len(); i++ {
        entry := s.Index(i)
        log.Printf("%v\n", entry) // prints {1 John Doe}
        // log.Print(reflect.ValueOf(entry))
        data, err := json.MarshalIndent(entry, " ", "  ")
        if err != nil {
            log.Print(err)
        }
        log.Println(string(data)) // prints {} empty
    }
}  

当然,如果我将rec.Data指定为*[]user可以使用,但是我必须为每个表重写这样的代码,这不是我想要的。

switch t := rec.Data.(type) {
case *[]user:
    for _, entry := range *t {
        // log.Printf("loop %v", entry)
        data, err := json.MarshalIndent(entry, " ", "  ")
        if err != nil {
            log.Print(err)
        }
        log.Println(string(data)) // yields needed json for single record
    }
}

或者也许有一种完全不同的,更好的方法来解决此类问题-数据库到json的任何记录。

更新 现在的问题是,Xorm需要该结构吗?我将不得不阅读xorm的可能性和局限性。

slice := record.Slice()
log.Print(reflect.TypeOf(slice))

err = env.hxo.In(record.PrimaryKey(), insertIds).Find(slice) // or &slice
if err != nil {
    log.Print(err) // Table not found
}

// this works
var slice2 []*user
err = env.hxo.In(record.PrimaryKey(), insertIds).Find(&slice2)
if err != nil {
    log.Print(err) // 
}

1 个答案:

答案 0 :(得分:1)

因此,正如我在评论中所提到的,要想从tableRecord.Data字段中获取单个元素,最简单的方法就是将字段类型更改为实际的字段类型:

type tableRecord struct {
    PrimaryKey string
    Data       []interface{} // slice of whatever
}

这样,您可以编写一些非常通用的内容:

for tbl, record := range records {
    fmt.Printf("First record from table %s\n", tbl)
    b, _ := json.MarshalIndent(record[0], " ", "  ")
    fmt.Println(string(b))
    fmt.Prinln("other records...")
    b, _ = json.MarshalIndend(record[1:], " ", "  ")
    fmt.Println(string(b))
}

不过,如果您是我,我会考虑的是在我的数据库类型中实现一个接口。类似于:

type DBType interface {
    PrimaryKey() string
    TableName() string // xorm can use this to get the table name
    Slice() []DBType // can return []user or whatever
}

因此,您实际上不再需要tableRecord类型,只需使用如下所示的var:

listOfTables := []DBType{user{}, ...}
for _, tbl := range listOfTables {
    data := tbl.Slice()
    // find data here
    fmt.Printf("First record from table %s\n", tbl.TableName())
    b, _ := json.MarshalIndent(data[0], " ", "  ")
    fmt.Println(string(b))
    fmt.Prinln("other records...")
    b, _ = json.MarshalIndend(data[1:], " ", "  ")
    fmt.Println(string(b))
}

因此,我的答案/评论中缺少的内容的TL; DR:

  • 从类型[]user{}(或[]DBTable)到[]interface{}的转换无效,因为您无法在单个表达式中转换切片中的所有元素。您必须创建第二个类型为[]interface{}的切片,并复制以下值:

    slice:= userVar.Slice() 数据:= make([] interface {},len(slice)) 对于我:=范围切片{    data [i] = slice [i] //复制类型到接口{} slice } 返回tableRecord {userVar.PrimaryKey(),数据}

我已经创建了一个小型工作示例,说明如何使用上述接口。

DEMO

为避免混乱,您可以更改Slice函数以立即返回[]interface{}

func(v T) Slice() []interface{
    return []interface{
        &T{},
    }
}

实施Slice时出了什么毛病,就是您有这样的事情:

func (u *user) Slice() []DBTable {
    u = &user{} // you're re-assigning the receiver, losing all state!
    return []DBTable{u}
}

接收器是指针类型,因此您进行的任何重新分配都会影响调用func的变量。那不是一个好主意。只需使用值接收器,或者,如果要确保仅在指针变量上实现接口(一个常见的技巧,例如由gRPC使用),便可以实现如下功能:

func(*user) Slice() []DBTable{
    return []DBTable{&user{}}
}

使用协议缓冲区时,可以在生成的pb.go文件中找到此技巧的一个很好的示例。消息类型将具有以下功能:

func(*MsgType) ProtoMessage() {}