Repository:Crawler4Caida
Author:Wayne Yu
Date: 19 Oct 2018
Description:一个致力于用Python提高部门工作自动化水平的程序库！（包括数据采集、办公自动化、辅助研究、图网络、复杂系统、3D可视化等）
一个关于CAIDA网络研究数据爬取的爬虫程序库，包括全球AS、DNS、IPV4/IPV6等。--2018.10.19 By Wayne Yu
始于CAIDA，而不止于CAIDA！未来此库就会有更多的可能性Using Python3.X！---2019.04.05 By Wayne Yu
懒得再去建库了，入职后所有的Python程序都扔这里面了。--2019.05.08 By Wayne Yu
修改仓库的Description为：一个致力于用Python提高部门工作自动化水平的程序库！（包括网络数据爬取、办公自动化、辅助研究等）--- 2019.05.09 By Wayne Yu
尝试着坚持每天Github，坚持每天写点程序，老本行不能丢！今天是Github连击第4天，加油！---2019..05.11 By Wayne Yu
每天总得写点代码，找一些有意思的事情做！---2019.05.24 By Wayne Yu
今天要完成两个程序，并进一步梳理接下来的Coding计划。---2019.06.17 By Wayne Yu
博学之，审问之，慎思之，明辨之，笃行之！---2019.06.20 By Wayne Yu
最近一段时间一直在忙全球互联网网络地图构建与生成方法的课题，已取得阶段性进展!---2019.12.24 By Wayne Yu
经过一段时间的思考，昨天确定了以互联网网络（专业领域/Graph）+复杂系统（普适规律/Complex System）为研究方向的总体思路！---2020.01.14 By Wayne YU
修改仓库的Description为：一个致力于用Python提高部门工作自动化水平的程序库！（包括数据采集、办公自动化、辅助研究、图网络、复杂系统等)---2020.01.14 By Wayne YU
庚子鼠年，开工大吉，愿武汉新型肺炎疫情早日消失！---20200203 By Wayne YU
初步适应武汉新冠疫情期间的"闭关"工作！---20200210 By Wayne YU
把握好心态，稳步向前！--20200220 By Wayne YU
经过一段时间酝酿，最终确定了大规模网络3D可视化新思路，以辅助复杂网络理论的实践。---20200315 By Wayne YU
最近开始折腾OPNET的网络仿真，Github的频率可能会低一些。---20200319 By Wayne YU
明天开始要搞个大事情，有意思的事情，先做计划书。---20200324 By Wayne YU
静静写代码，倒也能平复我浮躁的情绪！ ---20200331 By Wayne YU
人生不可太着急，要循序渐进。做好可控的事，适应不可控的事，方可活的洒脱。---20200422 By Wayne YU
五一假期余额不足，且行且珍惜！---20200504 By Wayne YU
集中处理下地图基础课题第二篇论文的算法调优工作！--20200610 By Wayne YU
地图基础课题第一篇论文已于20200616被录用（SCI），近期开始处理地图基础课题第二篇论文输出任务。---20200619 By Wayne YU
前两天小A的Win10彻底崩了，索性重装，所有环境重配。这是重装后的第一次Git！---20200713 By Wenyan YU
在云端的人工智能可以有无限可能！---20200716 By Wenyan YU
科学研究和实际应用总会有一定差距，要学会如何去平衡二者。---20200727 By Wenyan YU
生活之事不如意十之八九，明白自己想要的是什么，莫要成为情绪的奴隶。---20200823 By Wenyan YU
如汪滔之于大疆一般，用心去打磨一款极致的技术产品。---20200824 By Wenyan YU
当用力之时，就尽管去用力，莫要以为轻松的就能过好这一生。---20200913 By Wenyan YU
尽快完成地图基础课题第二篇论文输出任务吧。---20200923 By Wenyan YU
Founded in 1997, the Center for Applied Internet Data Analysis (CAIDA) conducts network research and builds research infrastructure to support large-scale data collection, curation, and data distribution to the scientific research community.
CAIDA（the Center for Applied Internet Data Analysis），中文全称为互联网应用数据分析中心，引导网络研究并构建网络研究基础设施，为大规模的数据采集、管理，并将数据分发至科学研究社区提供支撑。
详细信息可以通过这个2页的PDF获取：下载
CAIDA的使命
1）为全球互联网基础设施、行为、使用和演化提供宏观视角，
2）建立一个可以获取、分析以及共享数据的写作平台，
3）提高互联网科学的整体性，
4）为科学、技术以及通信公共政策提供信息。
About CAIDA还有:
Annual Report、
Program Plan、
Institutional Review Board（IRB）Approval Process 、
About CAIDA Staff。
因部门工作内容需要，在研究的过程中会用到CAIDA数据中心中的网络数据，并对其进行一定的处理分析，按需求提取结果。在编写爬虫的过程中发现，虽然每次具体的需求不一，但是抓取数据的思路大同小异。
为提供高工作效率，减少不必要的开发成本，特建此库，把以往编写Caida网络数据爬虫记录下来，并通过后期的程序重构和新需求的加入，以不断充实此开源库。
automation --- 按照任务以文件夹的形式进行管理源程序
crawler --- 放置按需求编写的爬虫程序，一般是以单个文件的形式存档
crawler4caida --- 不定期更新系统化的CAIDA数据的分析程序，不限于AS号、DNS、IPv4/IPv6、网间互联互通等内容
refactoring --- 放置重构之后的爬虫程序，一般完成时间较晚
requirements.md ---需求记录文档
README.md ---库介绍文档
更多的信息可以访问，云中布衣搜索Crawler4Caida进行留言讨论。