测试环境为Mac Pro 10.12

• 为了防止采集过快导致封IP之类的事情，程序已经设置了延迟时间。建议不要追求速度，免得换IP。

• 2.0版本的文件为superl-url.py，如果需要使用老版本的，则运行search-url-old.py

• 测试环境为Python2.7.x，如果需要python3版本的，可以自行修改，或者博客(http://www.superl.org)留言

• 如果要采集关键词为“hacker”的相关网站，采集搜索结果的前3页，则输入如下：

  • please input keyword:hacker

  • Search Number of pages:3

• 配置文件说明

  • [global]

  • savefile = True ;是否保存文件

  • sleeptime = 30 ;延迟30秒

  • [filter]

  • filter_urlparam = True ;是否去除URL参数

  • filter_url = True ;是否过滤网址

  • filter_title = True ;是否过滤标题

  • [log]

  • write_title = True ;是否把标题也写入日志文件

  • write_name = True ;是否把搜索引擎名称也写入日志文件

  • [search]

  • baidu_search = True ;是否开启百度搜索

  • sougou_search = True ;是否开启搜狗搜索

  • so_search = True ;是否开启360搜索

  • baidu_page_size = 50 ;百度结果每页显示50条

  • sougou_page_size = 50 ;搜狗结果每页显示50条

• 支持同时采集多个搜索引擎(已内置了百度，搜狗，360),结构模块化，很方便进行扩展，可以无限添加。

• 获取到的是搜索引擎的搜索结果的真实URL地址

• 可以忽略不需要的常见网站，如忽略百度翻译，等等所有百度相关结果，给数组添加baidu.com即可。程序已经默认忽略了很多条，也支持根据自己的需求进行自定义。如

  filter_array1 = ['baidu.com','sina.com.cn','sohu.com','taobao.com','douban.com','163.com','tianya.cn','qq.com','1688.com']

  filter_array2 = ['ganji.com','58.com','baixing.com']

  filter_array3 = ['zhihu.com','weibo.com','iqiyi.com','kugou.com','51.com','youku.com','soku.com','acfun.cn','verycd.com']

  filter_array4 = ['google.cn','youdao.com','iciba.com','cdict.net']

  filter_array5 = ['pconline.com.cn','zcool.com.cn','csdn.net','lofter.com']

• 实时显示采集到的网页的【真实URL】以及【标题】。前面的【ID】对应的是当前页百度结果的第X条数据

• 可以自定义采集返回的是详细URL，或者只采集返回域名

• 自动保存结果到当前目录的txt文件，文件名为搜索的 关键词.txt

• 为了方便导入到其他工具，txt文件里面只记录了采集的网址。当然也可以自定义加入。如果需要同时记录标题，把代码中的注释删除即可

• 自动去除重复记录

• 统计总采集条数（143 found），有效的条数（91 checked），被过滤的条数（52 filter），以及被过滤的重复的URL条数（9 delete）

• 开源免费使用，甚至可以根据自己的需求进行修改，只须保留版权信息。

• 跨平台，并且无捆绑后门风险，更新方便。网上大部分URL采集软件为WINDOWS下的可执行文件，并且很多都在百度更新后无法正常使用。

• 程序会不断更新，根据搜索引擎规则的调整而调整，同时也会增加运行效率与代码质量，功能等。