DJune12138/Collection3
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
目录架构: -- Collection3 -- account --> 存放各类服务的连接信息 -- business --> 业务模块 -- demo --> 演示和调试模块 -- discard --> 弃用或停用业务模块(没有提供主参数做路由执行的业务) -- game --> 游戏采集模块 -- spider --> 网络爬虫模块 -- framework --> 框架代码 -- core --> 核心组件 -- builder.py --> 建造器组件 -- downloader.py --> 下载器组件 -- engine.py --> 引擎组件 -- pipeline.py --> 管道组件 -- scheduler.py --> 调度器组件 -- error --> 自定义异常类 -- __init__.py --> 基类 -- check_error.py --> 校验不通过的异常类 -- middlewares --> 中间件 -- builder_middlewares.py --> 建造器中间件 -- downloader_middlewares.py --> 下载器中间件 -- object --> 内置对象 -- item.py --> 数据对象 -- request.py --> 请求对象 -- response.py --> 响应对象 -- services --> 公共服务 -- __init__.py --> 具体公共服务对象 -- load.py --> 加载公共服务 -- temporary --> 存放临时文件 -- utils --> 工具包 -- clickhouse.py --> ClickHouse数据库连接池 -- common_function.py --> 非业务公共函数 -- common_profession.py --> 业务公共函数 -- logger.py --> 日志器 -- mysql.py --> MySQL数据库连接池 -- redis.py --> Redis数据库连接池 -- config.py --> 项目配置 -- factory.py --> 工厂开关 -- main.py --> 项目入口 wiki文档地址: https://wiki.gdsre.cn/display/dataDevelop/Collection3
About
数据采集通用框架!
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published