标签: mysql multithreading web-scraping
我正在编写一种多线程Web抓取工具,需要存储大量当前处理过的ID(它们是字符串,长度为20-25位),而我的抓取算法需要大致相同数量的插入和查找(查找是检查,数据库中是否存在给定的ID)。所以我正在寻找一些可以帮助我做这件事的软件,请你告诉我什么?
目前我正在考虑使用索引编写MySQL(因为MySQL易于使用并且它是线程安全的[我需要线程安全]),但也许有另外一个很好的选择?
谢谢。