去哪找数据?怎么挖掘?

去哪找数据?怎么挖掘?

包括: 科研数据共享 数据算法竞赛 政府公司分享

①Stanford Large Network Datasets

网站: Stanford Large Network Dataset Collection

网站里的数据还是挺多的,一般每个数据都是从具体的一篇论文里来的,也有一个对数据的说明。

推荐其中两个比较好的:

soc_Pokec数据集 该数据集包含了斯洛伐克最流行的社交网站pokec的网络信息。 以下是该数据集的基本信息

由于该数据集包含了非常详尽完备的整个社交网站的网络信息,是非常具有代表性的公开数据集。

这个数据集有一百六十多万个节点,三千多万条边,文件足足半个G,是一个比较大的数据集了。

location-based online social networks 数据集

该数据集Gowalla是一个签到网络。它将用户线上和线下行为很好地关联了起来。

注意: 下面的网站要翻墙啦。

foursquare dataset 网址:https://sites.google.com/site/yangdingqi/home/foursquare-dataset 该数据集也是一个签到网络数据集

UCI Machine Learning Repository 跟机器学习相关的

国内的两个数据站点:

天池大数据众智平台-阿里云天池

国内的这些商业化程度高一点 里面还有一些付费的课程。

进行数据分析工作首先需要获取数据,爬虫则是获取互联网上公开数据的一项利器,也是数据分析师一项非常加分的技能。

网络爬虫可以分为两种

基于网站API的爬取

基于网页的爬取

就先这些吧~

还有一个很经典的,在社会网络分析里。Network data

像里面的 空手道俱乐部,海豚网都非常入门 , 导到Gephi里就可以进行网络分析, 算是一点简单的挖掘吧~