将抓取的二进制文件写入blob,而无需先将其写入磁盘

时间:2020-04-03 13:26:04

标签: python mysql python-requests blob

我使用requests库从网站检索二进制文件。我现在想将其作为BLOB存储在MySQL中。我不想采取将文件写入磁盘的中间步骤。最好的方法是什么?

目前,我正在使用base64对二进制文件进行编码,以便MySQL可以接受它,就像this suggestion一样。这是最好的策略,还是有办法让我跳过编码(以及检索文件时的后续解码)?

最小示例:

import base64
import pymysql
import requests

myPDF = requests.get("https://arxiv.org/pdf/2004.00627.pdf")
myPDF_encoded = base64.b64encode(myPDF.content)
conn = pymysql.connect(
  host   = "127.0.0.1",
  user   = user,
  passwd = password,
  db     = "myDB")
cur = conn.cursor()

insertLine = "INSERT INTO myDB (PDF) VALUES (%s)"
cur.execute(insertLine, myPDF_encoded)
conn.commit()          

许多帖子都谈到了将二进制文件写入BLOB的普遍问题,但是据我所知,所有这些都是从假设要从磁盘读取文件开始的。

1 个答案:

答案 0 :(得分:0)

现代版本的MySQL更好的解决方案:跳过base64编码,并使用_binary %s发送二进制数据,或者在建立pymysql连接时仅添加binary_prefix = True选项。例如,

import pymysql
import requests

myPDF = requests.get("https://arxiv.org/pdf/2004.00627.pdf")
conn = pymysql.connect(
  host          = "127.0.0.1",
  user          = user,
  passwd        = password,
  db            = "myDB",
  binary_prefix = True)
cur = conn.cursor()

insertLine = "INSERT INTO myDB (PDF) VALUES (%s)"
cur.execute(insertLine, myPDF)
conn.commit()