大型公共数据集？

Question

我正在寻找一些大型公共数据集，特别是：

1. 已匿名化的大型示例Web服务器日志。

2. 用于数据库性能基准测试的数据集。

任何其他指向大型公共数据集的链接都将受到赞赏。我已经在http://aws.amazon.com/publicdatasets/

了解亚马逊的公共数据集

Answer 1

  

1。已匿名化的大型示例Web服务器日志。

这些工作从：

开始

• UCI Machine Learning Repository
  • Anonymous Microsoft Web Data
  • MSNBC.com Anonymous Web Data
  • Syskill and Webert Web Page Ratings

有比这些更多的数据集（请参阅其他答案的全部内容），但这是符合您原始标准的最低水果。作为奖励，如果您有他们可能知道的具体需求，他们会a contact link。

  

2。用于数据库性能基准测试的数据集。

这听起来有点用词不当，因为您要求提供描述well-defined algorithmic problems的经验数据集。具体来说，听起来您正在尝试使用明确定义的规范化关系数据来查找可用于实时测试和基准测试各种数据库系统的数据集，这些数据可用作一组测试用例来确定最有效的解决方案，满足您的需求。

我不同意这种做法。而不是找到一连串的数据库系统及其固定的实现，最好是探索这些系统的algorithmic guarantees作为您的第一个调用端口。一旦确定了满足您需求的算法约束，您就可以研究一组固定解决方案，您可以根据效率进行基准测试，例如索引，排序，搜索，插入，删除和检索。

Wikipedia提供a terse article on database testing concepts，您可以使用它来确定和编写用于基准测试性能的测试用例。例如，您可以使用不可知的数据访问接口（如JDBC和JDBC Benchmark）来确定每个操作的相对时间。从这里开始，您可以找到正确的解决方案。

简而言之，首先转到the research以确定数据库保证。一旦确定了一组候选解决方案，您可以通过测试（或以其他方式确定）每个所需操作的恒定时间性能来选择这些解决方案。

Answer 2

基于Quora answers和我学习中的个人收藏，在GitHub上创建并更新了awesome-public-datasets存储库：

以下是此列表的快照版本。有关最新列表，请访问Github：

从博客，答案和用户响应中收集和整理此公共数据源列表。下面列出的大多数数据集都是免费的，但有些则不是。此列表来自https://github.com/caesar0301/awesome-public-datasets。

气候

• 澳大利亚天气：http://www.bom.gov.au/climate/dwo/
• 气候资料：http://www.cru.uea.ac.uk/cru/data/temperature/#datter和ftp://ftp.cmdl.noaa.gov/
• 自1929年以来的全球气候数据：http://www.tutiempo.net/en/Climate
• NOAA白令海气候：http://www.beringclimate.noaa.gov/
• NOAA气候数据集：http://ncdc.noaa.gov/data-access/quick-links
• WU全球历史天气：http://www.wunderground.com/history/index.html

经济

• 美国经济屁股。 （AEA）：http://www.aeaweb.org/RFE/toc.php?show=complete
• EconData（UMD）：http://inforumweb.umd.edu/econdata/econdata.html
• 互联网产品代码数据库：http://www.upcdatabase.com/
• 世界银行：http://data.worldbank.org/indicator

金融

• 芝加哥期权交易所期货交易所：http://cfe.cboe.com/Data/
• Google财经：https://www.google.com/finance
• Google趋势：http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=0
• 纳斯达克：https://data.nasdaq.com/
• OANDA：http://www.oanda.com/
• OSU财务数据：http://fisher.osu.edu/fin/osudata.htm
• Quandl：http://www.quandl.com/
• 圣路易斯联邦：http://research.stlouisfed.org/fred2/
• 雅虎财经：http://finance.yahoo.com/

生物学

• CRCNS：http://crcns.org/data-sets
• Gene Expression Omnibus：http://www.ncbi.nlm.nih.gov/geo/
• 人类微生物组计划：http://www.hmpdacc.org/reference_genomes/reference_genomes.php
• 麻省理工学院癌症基因组学数据：http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi
• NIH微阵列数据：ftp://ftp.ncbi.nih.gov/pub/geo/DATA/supplementary/series/GSE6532/
• 蛋白质结构：http://www.infobiotic.net/PSPbenchmarks/
• 公共基因数据：http://www.pubgene.org/
• 斯坦福微阵列数据：http://smd.stanford.edu/
• UniGene：http://www.ncbi.nlm.nih.gov/unigene

物理

• NASA：http://nssdc.gsfc.nasa.gov/nssdc/obtaining_data.html

医疗保健

• EHDP大型健康数据集：http://www.ehdp.com/vitalnet/datasets.htm
• Gapminder：http://www.gapminder.org/data/
• Medicare数据文件：http://go.cms.gov/19xxPN4

地球空间

• EOSDIS：http://sedac.ciesin.columbia.edu/data/sets/browse
• 事实全球位置数据：http://www.factual.com/
• 地理空间数据：http://geodacenter.asu.edu/datalist/

运输

• 航空公司数据（2009年ASA挑战赛）：http://stat-computing.org/dataexpo/2009/the-data.html
• 机场及其所在地：http://www.infochimps.com/datasets/airports-and-their-locations
• 自行车共享数据系统：https://github.com/BetaNYC/Bike-Share-Data-Best-Practices/wiki/Bike-Share-Data-Systems
• 1990年至2009年美国国内航班的边缘数据：http://data.memect.com/?p=229
• 五十万Hubway乘坐：http://hubwaydatachallenge.org/trip-history-data/
• 2013年纽约出租车旅行数据（FOIA / FOIL）：https://archive.org/details/nycTaxiTripData2013
• OpenFlights（机场，航空公司和航线数据）：http://openflights.org/data.html
• RITA航空公司准点率数据：http://www.transtats.bts.gov/Tables.asp?DB_ID=120
• RITA传输数据收集：http://www.transtats.bts.gov/DataIndex.asp
• 伦敦交通局：http://www.tfl.gov.uk/info-for/open-data-users/our-feeds
• U.S。运费分析框架：http://ops.fhwa.dot.gov/freight/freight_analysis/faf/index.htm

政府

• 存档 - ：:: https://www.archive-it.org/explore?show=Collections
• 澳大利亚：http://www.abs.gov.au/AUSSTATS/abs@.nsf/DetailsPage/3301.02009?OpenDocument
• 加拿大：http://www.data.gc.ca/default.asp?lang=En&n=5BCD274E-1
• 芝加哥：https://data.cityofchicago.org/
• FDA：https://open.fda.gov/index.html
• 美联储统计数据：http://www.fedstats.gov/cgi-bin/A2Z.cgi
• 卫报世界各国政府：http://www.guardian.co.uk/world-government-data
• HUD：http://www.huduser.org/portal/datasets/pdrdatas.html
• 伦敦Datastore，英国：http://data.london.gov.uk/dataset
• 新西兰：http://www.stats.govt.nz/browse_for_stats.aspx
• NYC betanyc：http://betanyc.us/
• 纽约开放数据：http://nycplatform.socrata.com/
• 经合组织：http://www.oecd.org/document/0,3746,en_2649_201185_46462759_1_1_1_1,00.html
• RITA：http://www.transtats.bts.gov/OT_Delay/OT_DelayCause1.asp
• 旧金山数据集：http://datasf.org/
• 世界银行：http://wdronline.worldbank.org/
• U.K。政府数据：http://data.gov.uk/data
• U.S。人口普查局：http://www.census.gov/data.html
• U.S。联邦政府机构：http://www.data.gov/metric
• U.S。联邦政府数据目录：http://catalog.data.gov/dataset
• U.S。开放政府：http://www.data.gov/open-gov/
• 英国2011年人口普查公开图集项目：http://www.alex-singleton.com/2011-census-open-atlas-project/
• 联合国：http://data.un.org/
• 美国疾病预防控制中心公共卫生数据集：http://www.cdc.gov/nchs/data_access/ftp_data.htm

数据挑战

• 机器学习的挑战：http://www.chalearn.org/
• ICWSM数据挑战赛（自2009年起）：http://icwsm.cs.umbc.edu/
• Kaggle比赛数据：http://www.kaggle.com/
• 2012年腾讯KDD杯：https://www.kddcup2012.org/
• Netflix奖：http://www.netflixprize.com/leaderboard
• Yelp数据集挑战：http://www.yelp.com/dataset_challenge

机器学习

• eBay在线拍卖：http://www.modelingonlineauctions.com/datasets
• IMDb数据库：http://www.imdb.com/interfaces
• Keel Repository：http://sci2s.ugr.es/keel/datasets.php
• 贷款俱乐部贷款数据：https://www.lendingclub.com/info/download-data.action
• 机器学习数据集存储库：http://mldata.org/
• 百万歌数据集：http://blog.echonest.com/post/3639160982/million-song-dataset
• 更多歌曲数据集：http://labrosa.ee.columbia.edu/millionsong/pages/additional-datasets
• MovieLens数据集：http://datahub.io/dataset/movielens
• RDataMining R和数据挖掘电子书数据：http://www.rdatamining.com/data
• 地球上注册的陨石：http://www.analyticbridge.com/profiles/blogs/registered-meteorites-that-has-impacted-on-earth-visualized
• SF餐馆数据集：http://missionlocal.org/san-francisco-restaurant-health-inspections/
• UCI机器学习库：http://archive.ics.uci.edu/ml/
• 多伦多大学Delve数据集：http://www.cs.toronto.edu/~delve/data/datasets.html
• 雅虎评级和分类数据：http://webscope.sandbox.yahoo.com/catalog.php?datatype=r

自然语言

• 上下文中的4,000万个实体：https://code.google.com/p/wiki-links/downloads/list
• ClueWeb09 FACC：http://lemurproject.org/clueweb09/FACC1/
• ClueWeb12 FACC：http://lemurproject.org/clueweb12/FACC1/
• Flickr个人分类：http://www.isi.edu/~lerman/downloads/flickr/flickr_taxonomies.html
• Google Books Ngrams：http://aws.amazon.com/datasets/8172056142375670
• Google Web 5gram，2006（1T）：https://catalog.ldc.upenn.edu/LDC2006T13
• Gutenberg电子书列表：http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs
• Hansards：http://www.isi.edu/natural-language/download/hansard/
• 机器翻译：http://statmt.org/wmt11/translation-task.html#download
• 短信垃圾邮件收集：http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/
• USENET语料库：http://www.psych.ualberta.ca/~westburylab/downloads/usenetcorpus.download.html
• WordNet：http://wordnet.princeton.edu/wordnet/download/

图像处理

• 2GB的猫照片：http://bit.do/UJZZ
• 面部识别基准：http://www.face-rec.org/databases/
• ImageNet：http://www.image-net.org/

时间序列

• 时间序列数据库：https://datamarket.com/data/list/?q=provider:tsdl
• 加州大学河滨分校时间序列：http://www.cs.ucr.edu/~eamonn/time_series_data/

社会科学

• 中国酒店入住/出境数据：http://www.360doc.com/content/13/1105/13/7863900_326788919.shtml
• CMU安然电子邮件：http://www.cs.cmu.edu/~enron/
• Facebook社交网络（自2007年起）：http://law.di.unimi.it/datasets.php
• Facebook100（2005）：https://archive.org/details/oxford-2005-facebook-matrix
• Foursquare（2010,2011）：http://www.public.asu.edu/~hgao16/dataset.html
• Foursquare（UMN / Sarwat，2013）：https://archive.org/details/201309_foursquare_dataset_umn
• 一般社会调查（GSS）：http://www3.norc.org/GSS+Website/
• GetGlue（用户评级电视节目）：http://getglue-data.s3.amazonaws.com/getglue_sample.tar.gz
• GitHub档案：http://www.githubarchive.org/
• ICPSR：http://www.icpsr.umich.edu/icpsrweb/ICPSR/index.jsp
• 移动社交网络（UMASS）：https://kdl.cs.umass.edu/display/public/Mobile+Social+Networks
• PewResearch互联网项目：http://www.pewinternet.org/datasets/pages/2/
• 社交网络：http://www.cs.cmu.edu/~jelsas/data/ancestry.com/
• SourceForge图表：http://www.nd.edu/~oss/Data/data.html
• 泰坦尼克号生存数据集：https://github.com/caesar0301/awesome-public-datasets/blob/master/Datasets/titanic.csv.zip
• Twitter图表：http://an.kaist.ac.kr/traces/WWW2010.html
• 加州大学伯克利分校的D-Lab Achive：http://ucdata.berkeley.edu/
• 加州大学洛杉矶分校社会科学数据档案：http://dataarchives.ss.ucla.edu/Home.DataPortals.htm
• UNIMI社交网络数据集：http://law.di.unimi.it/datasets.php
• 全球大学：http://univ.cc/
• 就业研究UPJOHN：http://www.upjohn.org/erdc/erdc.html
• Yahoo图表和社交数据：http://webscope.sandbox.yahoo.com/catalog.php?datatype=g
• Youtube Graph（2007,2008）：http://netsg.cs.sfu.ca/youtubedata/

复杂网络

• CrossRef DOI网址：https://archive.org/details/doi-urls
• DBLP引文数据集：https://kdl.cs.umass.edu/display/public/DBLP
• NBER专利引文：http://nber.org/patents/
• NIST复杂网络数据收集：http://math.nist.gov/~RPozo/complex_datasets.html
• 蛋白质 - 蛋白质相互作用网络：http://vlado.fmf.uni-lj.si/pub/networks/data/bio/Yeast/Yeast.htm
• PyPI和Maven依赖网络：http://ogirardot.wordpress.com/2013/01/31/sharing-pypimaven-dependency-data/
• Scopus引文数据库：http://www.elsevier.com/online-tools/scopus
• Stanford GraphBase（Steven Skiena）：http://www3.cs.stonybrook.edu/~algorith/implement/graphbase/implement.shtml
• 斯坦福大型网络数据集集：http://snap.stanford.edu/data/
• 科布伦茨网络收藏：http://konect.uni-koblenz.de/
• UCI网络数据存储库：http://networkdata.ics.uci.edu/resources.php
• UFL稀疏矩阵集合：http://www.cise.ufl.edu/research/sparse/matrices/
• UNIMI大型网络图表：http://law.di.unimi.it/datasets.php
• WSU图表数据库：http://www.eecs.wsu.edu/mgd/gdb.html

计算机网络

• 3.5B网页：http://www.bigdatanews.com/profiles/blogs/big-data-set-3-5-billion-web-pages-made-available-for-all-of-us
• 53.5B网络点击：http://cnets.indiana.edu/groups/nan/webtraffic/click-dataset
• CAIDA互联网数据集：http://www.caida.org/data/overview/
• ClueWeb09：http://lemurproject.org/clueweb09/
• ClueWeb12：http://lemurproject.org/clueweb12/
• CommonCrawl网络数据：http://commoncrawl.org/the-data/get-started/
• Dartmouth CRAWDAD无线数据集：http://crawdad.cs.dartmouth.edu/
• OpenMobileData（MobiPerf）：https://console.developers.google.com/storage/openmobiledata_public/
• UCSD网络望远镜：http://www.caida.org/projects/network_telescope/

数据SE

• 学术种子：http://academictorrents.com/
• Datahub.io：http://datahub.io/dataset
• DataMarket：https://datamarket.com/data/list/?q=all
• Harvard Dataverse：http://thedata.harvard.edu/dvn/
• Statista：http://www.statista.com/
• Freebase：http://www.freebase.com/

Public Doamins

• 亚马逊：http://aws.amazon.com/datasets
• Archive.org数据集：https://archive.org/details/datasets
• CMU JASA数据存档：http://lib.stat.cmu.edu/jasadata/
• CMU StatLab集合：http://lib.stat.cmu.edu/datasets/
• Data360：http://www.data360.org/index.aspx
• Datamob.org：http://datamob.org/datasets
• Google：http://www.google.com/publicdata/directory
• infochimps：http://www.infochimps.com/
• KDNuggets数据收集：http://www.kdnuggets.com/datasets/index.html
• Numbray：http://numbrary.com/
• RevolutionAnalytics Collection：http://www.revolutionanalytics.com/subscriptions/datasets/
• 示例R数据集：http://stat.ethz.ch/R-manual/R-patched/library/datasets/html/00Index.html
• Stats4Stem R数据集：http://www.stats4stem.org/data-sets.html
• StatSci.org：http://www.statsci.org/datasets.html
• 华盛顿邮报列表：http://www.washingtonpost.com/wp-srv/metro/data/datapost.html
• UCLA SOCR数据收集：http://wiki.stat.ucla.edu/socr/index.php/SOCR_Data
• UFO报告：http://www.nuforc.org/webreports.html
• Wikileaks 911寻呼机拦截：http://911.wikileaks.org/files/index.html
• Yahoo Webscope：http://webscope.sandbox.yahoo.com/catalog.php

补充收藏

• DataWrangling：http://www.datawrangling.com/some-datasets-available-on-the-web
• Inside-r：http://www.inside-r.org/howto/finding-data-internet
• Quora：http://www.quora.com/Where-can-I-find-large-datasets-open-to-the-public
• RS Collection 100+：http://rs.io/2014/05/29/list-of-data-sets.html
• StaTrek：http://hsiamin.com/posts/2014/10/23/leveraging-open-data-to-understand-urban-lives/

Answer 3

以下是几个。 玩得开心。

http://archive.ics.uci.edu/ml/

http://aws.amazon.com/datasets?_encoding=UTF8&jiveRedirect=1

http://crawdad.org/

http://data.austintexas.gov

http://data.cityofchicago.org

http://data.govloop.com

http://data.gov.uk/

http://data.medicare.gov

http://data.seattle.gov

http://data.sfgov.org

http://data.sunlightlabs.com

https://datamarket.azure.com/

http://ftp.ncbi.nih.gov/

http://gettingpastgo.socrata.com

http://books.google.com/ngrams/

http://linkeddata.org/

http://medihal.archives-ouvertes.fr

http://public.resource.org/

http://rechercheisidore.fr

http://reddit.com/r/datasets

http://timetric.com/public-data/

http://www2.jpl.nasa.gov/srtm

http://www.bls.gov/

http://www.crunchbase.com/

http://www.dartmouthatlas.org/

http://www.data.gov/

http://www.datakc.org

http://www.factual.com/

http://www.freebase.com/

http://www.infochimps.com

http://www.kaggle.com/

http://build.kiva.org/

http://www.imdb.com/interfaces

http://dbpedia.org

Answer 4

只是一个想法：

• USGS Geographic Names database
• USDA PLANTS checklist
• 许多州GIS地理库中的任何一个，例如NH的GRANIT

Answer 5

对于Web服务器日志，您始终可以根据需要的格式生成它们。如果您要针对它测试代码等，则必须根据您要存储/解析的字段进行定制。

对于用于数据库性能基准测试的数据集，您可能希望查看可以为您生成数据的工具。红门有一个伟大的，没有太多的钱。

Answer 6

Google Fusion Tables有一些。

http://tables.googlelabs.com/

Answer 7

可用的数据集here。

Answer 8

Kaggle.com经常遇到数据挑战。这些数据集涵盖了广泛的领域：医疗服务提供者数据和信用记录信息。也许你所追求的是什么。

Answer 9

http://Quandl.com从互联网上收集了超过1000万个数据集。这个资源的优点在于它提供了一种访问所有数据的方法。该网站有一个免费的Excel插件或R，Python，Ruby等库。

Answer 10

http://www.quora.com/Data/Where-can-I-get-large-datasets-open-to-the-public

Answer 11

我很惊讶没有人提到Google N-Grams。更多关于N-Grams的信息 http://googleresearch.blogspot.com/2006/08/all-our-n-gram-are-belong-to-you.html

Answer 12

也许有些数据库用作人脸识别算法的训练集：face-rec.org

Answer 13

嗯，这个是新的，背后有一个挑战：

Million song dataset challenge