我正在使用Peewee ORM和SQLite DB,我想将数据存储在DB中
我一直在选择一个最适合存储HTML的字段,基本上整个网页包括css js html等,无论该网页包含的网页是通过r = requests.get(url)
我的代码:
class BaseModel(Model):
class Meta:
database = db
class Page(BaseModel):
raw_html = CharField(unique=True) # stucked here between choosing a best suited field
它基本上用于从网站上抓取页面保存整个页面或数据库中的页面,因为它将在数据库中,我以后可以处理该数据提取信息,或者我可以做任何我想用它做的事情
我知道我可以使用其他刮刀库,例如scrap.py等,但我想这样做!
答案 0 :(得分:2)
CharField
不是一个好选择,因为它需要您事先知道数据的长度。改为使用TextField
- 它是来存储任意大字符串:
class Page(BaseModel):
raw_html = TextField(unique=True)