最新消息:雨落星辰是一个专注网站SEO优化、网站SEO诊断、搜索引擎研究、网络营销推广、网站策划运营及站长类的自媒体原创博客

这30个高质量的数据集网站,你必须要试试!

运维笔记admin7浏览0评论



点击上方“程序IT圈”,选择“星标”公众号

超级无敌干货,第一时间送达!!!


一、数据查询网站

1、企业产生的用户数据

百度指数:http://index.baidu/

阿里指数:https://alizs.taobao/

TBI 腾讯浏览指数:http://tbi.tencent/

新浪微博指数:http://data.weibo/index

2 、数据平台购买数据 

数据堂:

http://www.datatang/about/about-us.html

国云数据市场:

http://www.moojnn/data-market/

贵阳大数据交易所:

http://trade.gbdex/trade.web/index.jsp

3 、政府/ 机构公开的数据 

中华人民共和国国家统计局数据:

http://data.stats.gov/index.htm

世界银行公开数据:

http://data.worldbank/

联合国数据:http://data.un/

纳斯达克:http://www.nasdaq/zh

4 、 数据管理咨询公司 

麦肯锡:http://www.mckinsey/

埃森哲:https://www.accenture/cn-zh/

艾瑞咨询:http://www.iresearch/

二、简单通用数据集

1、中国国家统计局

(http://data.stats.gov/)

2、美国政府公开数据 

( https://www.data.gov/  ) 

这是美国政府公开数据的所在地,该站点包含了超过19万的数据点。这些数据集不同于气候、教育、能源、金融和更多领域的数据。

3、印度政府公开数据

(https://data.gov.in/) 

这是印度政府公开数据的所在地,通过各种行业、气候、医疗保健等来寻找数据,你可以在这里找到一些灵感。根据你居住的国家的不同,你也可以从其他一些网站上浏览类似的网站。

4.World Bank

( http://data.worldbank/ ) 

世界银行的开放数据。该平台提供 Open Data Catalog,世界发展指数,教育指数等几个工具。

5. RBI

 ( https://rbi.in/Scripts/Statistics.aspx ) 

印度储备银行提供的数据。这包括了货币市场操作、收支平衡、银行使用和一些产品的几个指标。

三、大型数据集

1、AmazonWebService-datasets

    (https://aws.amazon/cn/datasets/) 

 Amazon提供了一些大数据集,可以在他们的平台上使用,也可以在本地计算机上使用。您还可以通过EMR使用EC2和Hadoop来分析云中的数据。在亚马逊上流行的数据集包括完整的安然电子邮件数据集,Google Books n-gram,NASA NEX 数据集,百万歌曲数据集等。 

2、Google datasets

(https://cloud.google/bigquery/public-data/) 

Google 提供了一些数据集作为其 Big Query 工具的一部分。包括 GitHub 公共资料库的数据,Hacker News 的所有故事和评论

3、Youtube-labeled-Video-Dataset

(https://research.google/youtube8m/) 

 

四、 预测建模与机器学习数据集

1、UC-Machine-Learning-Repository

(https://archive.ics.uci.edu/ml/datasets.html) 

UCI机器学习库显然是最著名的数据存储库。如果您正在寻找与机器学习存储库相关的数据集,通常是首选的地方。这些数据集包括了各种各样的数据集,从像Iris和泰坦尼克这样的流行数据集到最近的贡献,比如空气质量和GPS轨迹。存储库包含超过350个与域名类似的数据集(分类/回归)。您可以使用这些过滤器来确定您需要的数据集。

2、Kaggle

https://www.kaggle/datasets 

Kaggle提出了一个平台,人们可以贡献数据集,其他社区成员可以投票并运行内核/脚本。他们总共有超过350个数据集——有超过200个特征数据集。虽然一些最初的数据集通常出现在其他地方,但我在平台上看到了一些有趣的数据集,而不是在其他地方出现。与新的数据集一起,界面的另一个好处是,您可以在相同的界面上看到来自社区成员的脚本和问题。 

3、Analytics-Vidhya

(https://datahack.analyticsvidhya/contest/all/) 

您可以从我们的实践问题和黑客马拉松问题中参与和下载数据集。问题数据集基于真实的行业问题,并且相对较小,因为它们意味着2 - 7天的黑客马拉松。 

4、Quandl

 https://www.quandl/ 

Quandl 通过起网站、API 或一些工具的直接集成提供了不同来源的财务、经济和替代数据。他们的数据集分为开放和付费。所有开放数据集为免费,但高级数据集需要付费。通过搜索仍然可以在平台上找到优质数据集。例如,来自印度的证券交易所数据是免费的。 

5、Past KDD Cups

(http://www.kdd/kdd-cup) 

KDD Cup 是 ACM Special Interest Group 组织的年度数据挖掘和知识发现竞赛。

五、 图像分类数据集

1、The MNIST Database  

( http://yann.lecun/exdb/mnist/ ) 

最流行的图像识别数据集,使用手写数字。它包括6万个示例和1万个示例的测试集。这通常是第一个进行图像识别的数据集。

2、Chars74K  

(http://www.ee.surrey.ac.uk/CVSSP/demos/chars74k/ ) 

这里是下一阶段的进化,如果你已经通过了手写的数字。该数据集包括自然图像中的字符识别。数据集包含74,000个图像,因此数据集的名称。

3、Frontal Face Images  

(http://vasc.ri.cmu.edu//idb/html/face/frontal_images/index.html ) 

如果你已经完成了前两个项目,并且能够识别数字和字符,这是图像识别中的下一个挑战级别——正面人脸图像。这些图像是由CMU & MIT收集的,排列在四个文件夹中。

4、ImageNet  

( http://image-net/ ) 

现在是时候构建一些通用的东西了。根据WordNet层次结构组织的图像数据库(目前仅为名词)。层次结构的每个节点都由数百个图像描述。目前,该集合平均每个节点有超过500个图像(而且还在增加)。

六、文本分类数据集

1、Spam – Non Spam  

(http://www.esp.uem.es/jmgomez/smsspamcorpus/) 

区分短信是否为垃圾邮件是一个有趣的问题。你需要构建一个分类器将短信进行分类。

2、Twitter Sentiment Analysis 

(http://thinknook/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/) 

该数据集包含 1578627 个分类推文,每行被标记为1的积极情绪,0位负面情绪。数据依次基于 Kaggle 比赛和 Nick Sanders 的分析。

3、Movie Review Data 

(http://www.cs.cornell.edu/People/pabo/movie-review-data/) 

这个网站提供了一系列的电影评论文件,这些文件标注了他们的总体情绪极性(正面或负面)或主观评价(例如,“两个半明星”)和对其主观性地位(主观或客观)或极性的标签。

七、推荐引擎数据集

1、MovieLens 

( https://grouplens/ ) 

MovieLens 是一个帮助人们查找电影的网站。它有成千上万的注册用户。他们进行自动内容推荐,推荐界面,基于标签的推荐页面等在线实验。这些数据集可供下载,可用于创建自己的推荐系统。

2、Jester 

(http://www.ieor.berkeley.edu/~goldberg/jester-data/) 

在线笑话推荐系统。

—————END—————

推荐阅读:
如何将Numpy加速700倍?用 CuPy 呀
7 个有趣的 Python 实战项目,超级适合练手
27 个问题,告诉你 Python 为什么如此设计?
5个无聊透顶的 Python 程序
2021 年将火爆的 10款 VSCode 扩展插件


最近面试BAT,整理一份Python资料《Python学习手册》,覆盖了Python知识点、人工智能、深度学习、机器学习等方面。获取方式:关注公众号并回复 Python 领取,更多内容陆续奉上。
觉得不错,点个“在看”然后转发出去

与本文相关的文章

发布评论

评论列表(0)

  1. 暂无评论