Question

我正在尝试编写一个简单的抓取工具。但尝试从服务器读取响应仅在第一次返回答案。然后读者停止读取字节并返回b''。我试着写一个超时并在写完后使用drain（）。它没有产生结果。 Wireshark显示答案来自服务器，但我的程序没有看到它们。

import asyncio

HOST = '93.184.216.34'
PORT = 80
CONCURRENT_CONNECTIONS = 3

request = 'GET / HTTP/1.1\r\n' \
          'Host: example.com\r\n' \
          'Content-Type: application/x-www-form-urlencoded\r\n' \
          '\r\n'.encode()


async def smart_read(reader):
    buffer = b''
    while True:
        response = await reader.read(1024)
        if not response:
            break
        buffer += response
    return buffer


async def work(host, port, request):
    reader, writer = await asyncio.open_connection(host, port)
    while True:
        writer.write(request)
        resp = await smart_read(reader)
        print(resp)


tasks = []
for _ in range(CONCURRENT_CONNECTIONS):
    tasks.append(asyncio.ensure_future(work(HOST, PORT, request)))

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

Answer 1

一旦StreamReader到达EOF，您将始终获得b''，您可以在阅读器中清除_eof标记，但它很骇人听闻。 Subclassing StreamReader来处理许多请求，似乎是合理的解决方案。

快速＆＃39; n＆＃39;脏（真的不使用它）

async def work(host, port, request):
    reader, writer = await asyncio.open_connection(host, port)
    while True:
        reader._eof = False  # force to read
        writer.write(request)
        resp = await smart_read(reader)
        print(resp)

Asyncio套接字读取器返回空字节

1 个答案: