
包括: 科研数据共享 数据算法竞赛 政府公司分享
①Stanford Large Network Datasets
网站: Stanford Large Network Dataset Collection
网站里的数据还是挺多的,一般每个数据都是从具体的一篇论文里来的,也有一个对数据的说明。
推荐其中两个比较好的:
soc_Pokec数据集 该数据集包含了斯洛伐克最流行的社交网站pokec的网络信息。 以下是该数据集的基本信息
由于该数据集包含了非常详尽完备的整个社交网站的网络信息,是非常具有代表性的公开数据集。
这个数据集有一百六十多万个节点,三千多万条边,文件足足半个G,是一个比较大的数据集了。
location-based online social networks 数据集
该数据集Gowalla是一个签到网络。它将用户线上和线下行为很好地关联了起来。
注意: 下面的网站要翻墙啦。
foursquare dataset 网址:https://sites.google.com/site/yangdingqi/home/foursquare-dataset 该数据集也是一个签到网络数据集
UCI Machine Learning Repository 跟机器学习相关的
国内的两个数据站点:
天池大数据众智平台-阿里云天池
国内的这些商业化程度高一点 里面还有一些付费的课程。
进行数据分析工作首先需要获取数据,爬虫则是获取互联网上公开数据的一项利器,也是数据分析师一项非常加分的技能。
网络爬虫可以分为两种
基于网站API的爬取
基于网页的爬取
就先这些吧~
还有一个很经典的,在社会网络分析里。Network data
像里面的 空手道俱乐部,海豚网都非常入门 , 导到Gephi里就可以进行网络分析, 算是一点简单的挖掘吧~
