Skip to content
Projects
Groups
Snippets
Help
Loading...
Help
Submit feedback
Sign in
Toggle navigation
H
hb-data
Project
Project
Details
Activity
Releases
Cycle Analytics
Repository
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
Issues
0
Issues
0
List
Board
Labels
Milestones
Merge Requests
0
Merge Requests
0
CI / CD
CI / CD
Pipelines
Jobs
Schedules
Charts
Wiki
Wiki
Snippets
Snippets
Members
Members
Collapse sidebar
Close sidebar
Activity
Graph
Charts
Create a new issue
Jobs
Commits
Issue Boards
Open sidebar
子恒
hb-data
Commits
1ee440cc
Commit
1ee440cc
authored
Dec 18, 2021
by
子恒
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
修改项目文档
parent
72cf8bc4
Pipeline
#316
canceled with stages
Changes
1
Pipelines
1
Show whitespace changes
Inline
Side-by-side
Showing
1 changed file
with
7 additions
and
17 deletions
+7
-17
README.md
README.md
+7
-17
No files found.
README.md
View file @
1ee440cc
#
tf
-data
#
hb
-data
##
天风
数据解析入库
##
hb
数据解析入库
从data-upload项目中将数据上传到obs,数据路径规则为obs://csvdatas/tfzq/fundAuto/20160108/20160108_fundAuto_detail.csv
20160108: 数据日期
fundAuto: 数据大类
detail: 数据小类,若某大类数据下仅有一种数据则没有此项
上传记录会存储至redis中,通过记录时间戳获取增量redis中记录,根据redis记录的值可以提取数据内容同步到数据库
从hb-datas数据库将数据提取至fd-data,然后通过校验发布至vision_product
### 代码结构
-
db:数据库类
-
sync:数据同步任务
-
data_check:数据审核
-
fund_auto:基金数据任务
-
industry:行业数据任务
-
publish:数据发布
-
fd_manager_factor.py:数据大类下仅有一种数据的情况
-
utillities:工具类
### 开发流程
1.
TF的数据大多以一个项目的形式出现,针对一组新的任务在sync下新建一个package
2.
在package中新建base_xxx_sync.py,代码继承sync/base_sync.py
3.
所有任务需要保留4个参数
-
tmstamp:任务起始时间点
2.
在sync中新建{表名}.py,代码继承sync/base_sync.py
3.
所有任务需要保留2个参数
-
rebuild:是否重建表
-
update:强制刷新tmstamp之后的数据
-
schedule:自动获取上次更新的tmstamp,并刷新后面数据
-
update:自动获取上次更新的tmstamp,并刷新后面数据
### 注意
...
...
@@ -35,4 +26,3 @@ detail: 数据小类,若某大类数据下仅有一种数据则没有此项
2.
is_verify有三种状态,0:新增,1:已审核,2:数据更新未审核
3.
flag有两种状态,1:数据有效,null:数据删除,所有数据均采用逻辑删除
4.
所有数据同步到生产库后,进行审核流程,审核完成后再将数据同步到发布库
\ No newline at end of file
5.
所有数据均有_data_time字段,用于记录数据批次时间,且是每批数据的唯一标识,当数据重新发布时根据此字段删除库中已有数据
\ No newline at end of file
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment