选择哪个字段用于在Peewee模型中存储原始HTML

时间:2015-12-26 23:34:18

标签: python peewee

我正在使用Peewee ORM和SQLite DB,我想将数据存储在DB中

我一直在选择一个最适合存储HTML的字段,基本上整个网页包括css js html等,无论该网页包含的网页是通过r = requests.get(url)

加载的

我的代码:

class BaseModel(Model):
    class Meta:
        database = db

class Page(BaseModel):
    raw_html = CharField(unique=True) # stucked here between choosing a best suited field

它基本上用于从网站上抓取页面保存整个页面或数据库中的页面,因为它将在数据库中,我以后可以处理该数据提取信息,或者我可以做任何我想用它做的事情

我知道我可以使用其他刮刀库,例如scrap.py等,但我想这样做!

1 个答案:

答案 0 :(得分:2)

CharField不是一个好选择,因为它需要您事先知道数据的长度。改为使用TextField - 它是来存储任意大字符串

class Page(BaseModel):
    raw_html = TextField(unique=True)