我正在尝试实现我自己的beanstalkd客户端作为学习go的一种方式。 https://github.com/kr/beanstalkd/blob/master/doc/protocol.txt
目前,我正在使用bufio
读取由\n
分隔的一行数据。
res, err := this.reader.ReadLine('\n')
当我发送一个命令时,这很好,并且读取单行响应,例如:INSERTED %d\r\n
但是当我尝试保留一份工作时我发现很困难,因为工作机构可能是多行,因此,我无法使用\n
分隔符。
有没有办法在CRLF
之前读入缓冲区?
e.g。当我发送reserve
命令时。我的预期回应如下:
RESERVED <id> <bytes>\r\n
<data>\r\n
但数据可能包含\n
,因此我需要阅读\r\n
。
或者 - 是否有一种方法可以读取上面示例响应中<bytes>
中指定的特定字节数?
此刻,我(错误处理已删除):
func (this *Bean) receiveLine() (string, error) {
res, err := this.reader.ReadString('\n')
return res, err
}
func (this *Bean) receiveBody(numBytesToRead int) ([]byte, error) {
res, err := this.reader.ReadString('\r\n') // What to do here to read to CRLF / up to number of expected bytes?
return res, err
}
func (this *Bean) Reserve() (*Job, error) {
this.send("reserve\r\n")
res, err := this.receiveLine()
var jobId uint64
var bodylen int
_, err = fmt.Sscanf(res, "RESERVED %d %d\r\n", &jobId, &bodylen)
body, err := this.receiveBody(bodylen)
job := new(Job)
job.Id = jobId
job.Body = body
return job, nil
}
答案 0 :(得分:11)
res,err:= this.reader.Read(&#39; \ n&#39;)
对我没有任何意义。你的意思是ReadBytes / ReadSlice / ReadString?
你需要bufio.Scanner。
定义你的bufio.SplitFunc(例子是bufio.ScanLines的副本,经过修改以查找&#39; \ r \ n&#39;)。修改它以匹配您的情况。
// dropCR drops a terminal \r from the data.
func dropCR(data []byte) []byte {
if len(data) > 0 && data[len(data)-1] == '\r' {
return data[0 : len(data)-1]
}
return data
}
func ScanCRLF(data []byte, atEOF bool) (advance int, token []byte, err error) {
if atEOF && len(data) == 0 {
return 0, nil, nil
}
if i := bytes.Index(data, []byte{'\r','\n'}); i >= 0 {
// We have a full newline-terminated line.
return i + 2, dropCR(data[0:i]), nil
}
// If we're at EOF, we have a final, non-terminated line. Return it.
if atEOF {
return len(data), dropCR(data), nil
}
// Request more data.
return 0, nil, nil
}
现在,使用自定义扫描仪包装io.Reader。
scanner := bufio.NewScanner(this.reader)
scanner.Split(ScanCRLF)
// Set the split function for the scanning operation.
scanner.Split(split)
// Validate the input
for scanner.Scan() {
fmt.Printf("%s\n", scanner.Text())
}
if err := scanner.Err(); err != nil {
fmt.Printf("Invalid input: %s", err)
}
阅读有关Scanner的bufio package's源代码。
或者 - 是否有一种方法可以读取上面示例响应中指定的特定字节数?
首先你需要阅读&#34;保留\ r \ n&#34;一些如何。
然后你可以使用
nr_of_bytes : = read_number_of_butes_somehow(this.reader)
buf : = make([]byte, nr_of_bytes)
this.reader.Read(buf)
但我不喜欢这种做法。
谢谢你 - 读者阅读(&#39; \ n&#39;)是一个错字 - 我纠正了问题。我还附上了我到目前为止的示例代码。如您所见,我可以获得正文的预期字节数。你能详细说明为什么你不喜欢读取特定字节数的想法吗?这似乎最符合逻辑?
我希望看到Bean的定义,尤其是读者的定义。 想象一下,这个计数器在某种程度上是错误的。
简短:您需要找到以下内容&#34; \ r \ n&#34;并放弃到那一点的一切?或不?为什么你首先需要反击呢?
它应该更大(或者更糟糕的是它!)。
2.1阅读器中没有下一条消息:很好,读取时间比预期短但很好。
2.2下一条消息正在等待:呸,你读了部分消息,没有简单的方法可以恢复。
2.3它的巨大:即使消息只有1个字节,你也无法分配内存。
此字节计数器通常用于验证消息。 看起来像beanstalkd协议的情况。
使用扫描程序,解析消息,检查预期数量的长度......利润
<强> UPD 强>
警告,默认bufio.Scanner无法读取超过64k,请先使用scanner.Buffer设置最大长度。这很糟糕,因为您无法动态更改此选项,并且某些数据可能已被扫描仪预先读取。
<强> UPD2 强>
考虑我的上次更新。看一下net.textproto它如何实现像简单状态机一样的dotReader。您可以先执行类似于读取命令和&#34;预期字节&#34;检查有效载荷。