Skip to content

DJune12138/Collection3

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

56 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

目录架构:
-- Collection3
  -- account                       --> 存放各类服务的连接信息
  -- business                      --> 业务模块
    -- demo                        --> 演示和调试模块
    -- discard                     --> 弃用或停用业务模块(没有提供主参数做路由执行的业务)
    -- game                        --> 游戏采集模块
    -- spider                      --> 网络爬虫模块
  -- framework                     --> 框架代码
    -- core                        --> 核心组件
      -- builder.py                --> 建造器组件
      -- downloader.py             --> 下载器组件
      -- engine.py                 --> 引擎组件
      -- pipeline.py               --> 管道组件
      -- scheduler.py              --> 调度器组件
    -- error                       --> 自定义异常类
      -- __init__.py               --> 基类
      -- check_error.py            --> 校验不通过的异常类
    -- middlewares                 --> 中间件
      -- builder_middlewares.py    --> 建造器中间件
      -- downloader_middlewares.py --> 下载器中间件
    -- object                      --> 内置对象
      -- item.py                   --> 数据对象
      -- request.py                --> 请求对象
      -- response.py               --> 响应对象
  -- services                      --> 公共服务
    -- __init__.py                 --> 具体公共服务对象
    -- load.py                     --> 加载公共服务
  -- temporary                     --> 存放临时文件
  -- utils                         --> 工具包
    -- clickhouse.py               --> ClickHouse数据库连接池
    -- common_function.py          --> 非业务公共函数
    -- common_profession.py        --> 业务公共函数
    -- logger.py                   --> 日志器
    -- mysql.py                    --> MySQL数据库连接池
    -- redis.py                    --> Redis数据库连接池
  -- config.py                     --> 项目配置
  -- factory.py                    --> 工厂开关
  -- main.py                       --> 项目入口



wiki文档地址:
https://wiki.gdsre.cn/display/dataDevelop/Collection3

About

数据采集通用框架!

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages