使用 IPProxyTool 获取的代理 IP 抓取 Unity 官方插件商店 AssetStore。历时四个小时共抓取 AssetStore 商店 34131 个插件信息。

##运行环境： python 2.7.12 ###运行依赖包

• scrapy
• mysql-connector-python 安装参考
• requests

###安装 Mysql

• 安装 Mysql 并启动
• 安装 mysql-connector-python 安装参考

##下载使用 将项目克隆到本地

$ git clone https://github.com/awolfly9/unity.git

进入工程目录

$ cd unity

修改 mysql 数据库配置 config.py 中 database_config 的用户名和密码为数据库的用户名和密码

$ vim config.py
---------------

database_config = {
	'host': 'localhost',
	'port': 3306,
	'user': 'root',
	'password': '123456',
}

运行爬虫

$ python main.py

##项目说明 该项目默认使用 IPProxyTool 获取到的关于 unity AssetStore 的代理抓取 assetstore 商店。 而且在使用时，确保 IPProxyTool 中验证出了有效的代理 IP。如果单纯测试爬虫不设置代理，可以在 settings 修改 IS_USE_PROXY = False 。

抓取到的完整数据已经上传到百度云，可以直接下载 （密码 base64：NzZudQ==） 后和 exporttosql.py 放置在同一目录，然后运行 exporttosql.py 导入数据库中。

##TODO

• 关于 assetstore 插件数据进行分析