You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

4.0 KiB

巨量开发

  • v1, v2 版本基础回值入库 - 数据库表设计
  • 投放包字段设计入库, 【关键字段, 进行冗余存储】 + 所有main参数
    • v2 PROMOTION_ID PROMOTION_NAME
    • v1 AID AID_NAME CID CID_NAME CSITE?

通用

  • 【平台通用】 投放计划监测及 DMP 监测 【不同广告计划, 线索来的数量, 模型计算出的数量】
    • 需要监测的值 填入需要进行检测的值-ID, 采样时间-定时任务统计, 采集的值, 计算的值, 有效值
    • 影响我们的广告质量分算法
  • 【平台通用】 配置时候生成, 不同版本, 不同配置位置的链接
    • 选择平台, 选择版本
    • 不同的位置[配置文档]
  • 【平台通用】 定时整理回值的数据
    • 定时删除大表多少天的数据 - 3个月以前的 - 每 5000 条删/次
  • 【平台通用】 默认开启投放包的开关, 进行是否收集投放包的抉择, 或者投放包的合并等基础操作
    • 投放包收集开启, 关闭
    • 差集, 并集, 交集
    • 投放包打分
    • 使用次数
    • 更新时间等

百度开发

广点通开发

快手


设置保存投放包的收集规则

  • 文件加密 (固定秘钥),专门生产一个文件的秘钥库进行管理密码

  • 以每天为一个事件节点产生一个文件目录 : /ad-bk-data/source/2023-5-26/

  • 每一个tag每天的全量为一个文件 (时间 0-24点) :

    • tag值.csv
  • 处理后的文件夹

  • /ad-bk-data/produce/

    • 2023-5-26-prod-6位随机值.csv
  • 关联数据表,

    • 存储信息记录表 {id, gmt_create, gmt_modify, operator, file_name, file_path, file_pwd, file_status, weight}
      • file_pwd 文件密码
      • file_status 文件状态, 0-文件正常可用, 1-正在生成, 2-文件状态异常, 3-文件操作禁用
      • weight 权重, 根据调用次数和手动设置加权来进行配置, 初始0, 最高 10, 调用一次 + 1, 30天未调用 -1
    • 调用信息记录表 {id, gmt_create, gmt_modify, operator, file_name, file_path, opt_way, back_status}
      • opt_way: 操作方式 【todo 之后进行补充区分】
      • back_status是否成功 0-成功 1-失败

-- ===== -- --- DMP 分布式改版 --- -- ===== --

  • 架构设计
    • KeepAlived + Nginx
    • Elastic-Job
[网络层] req(同一域名) -> Nginx(负载均衡)
[应用层]                       ->  请求处理服务 + 调度任务放进 Elastic-Job 进行调度    
[持久层]                                             ->  查索引 + 分表分库
[其他]                         <- [收集所有产生的报错日志等]      

  • 2023年9月17日
    • todo 整理所有平台的广告效果监测文档
    • todo 编写所有平台配置的检测配置文档
    • todo 为生成 tag 提供统一的接口调用类, 应用系统及其他类进行调用其进行生成链接
    • todo 添加监测可视化计数, 对任务进行可视化监测
      • 每个 tag 入库量/当日实时监测,
      • 大类 (tag 分类) 入库量/当日 7日汇总
    • todo 转化归因进行深度研究
    • todo 封装比对中间层服务, 所有应用服务的比对逻辑都统一进行调用中间层服务对外进行操作, 不能让应用层直接调用对外提供服务, 中间层支持应用层