离线标签：按照给定逻辑进行sql编码，+云spark+云hbase（后替换为ots），每天或每小时进行ETL清洗，更新标签信息。
实时标签：kafka+blink++表存储（OTS），标签信息实时更新。
3、负责主键设计，MD5()加密取前四位然后拼接，防止数据热点；
4. 建立二级索引。第一阶段是通过云hbase+内置solr实现的。第二阶段改为表存储OTS+多索引功能。主要用于人群筛查。
业绩：主导并落地用户画像基础功能服务，为业务赋能用户洞察、精准营销、广告投放。
时间：20xx.4-20xx.7
项目名称：幻影大师简历项目2
项目角色：数据开发
由于公司IDC机房自建CDH面临运维成本高、稳定性差、使用复杂繁琐等问题，决定将现有数据仓库迁移到阿里云大数据一站式解决方案（ODPS）上，借助云平台的天然优势，让公司的人力资源更多地向数据服务倾斜，
工作内容：
1、负责批量创建HDFS数据迁移任务，并使用ODPS迁移工具将原hive上的全部数据迁移到odps上；
2、参与部分业务线数据仓库的重构，即重新梳理业务模型，按照业务主题领域进行建模，ods/dws/dws/ads的分层架构；
3、负责搭建实时数据通道、业务研发，将App或小程序端的用户埋点数据输入消息中间件kafka。在此基础上，基于Blink，将用户埋藏数据进行扁平化、分析并存入数据库（odps）。同时关联其他维度表做一些实时计算和统计，比如新老客户、DAU等实时指标。
成果：整个数据仓库迁移到云端，大大节省了运维成本。同时，腾出人力专注于数据应用服务。同时优化了数据仓库结构，将原来的离线计算模式转变为离线+实时的lamda架构。初步满足业务对时间敏感的数据服务的需求。
时间：20xx.6-20xx.12
项目名称：幻影大师简历项目3
项目角色：数据开发
公司风控部门成立初期，没有一套完整的数据仓库。所有数据分析师都直接从业务数据库中获取数据。他们面临着取数据效率低、周期长、跨库查询、拖累业务数据库等问题。为了解决这些问题，并提供更多的数据服务，需要构建标准的数据仓库模型。
工作内容：
1、参与搭建基于开源大数据CDH版生态组件的大数据平台（50个节点）；
2、数据库分层设计，主要设计ods、dwd、dws、ads层；
3、业务数据库数据（主要是mysql）通过sqoop导入到hive数据仓库，少量mongo数据库数据通过自带工具导入到hive数据仓库；
4、使用oozie调度工具定期进行ETL数据处理和清洗；
5、利用监控作业任务状态实时监控作业运行状态，异常报警发送至钉钉群消息；
6、构建分析工具，为数据分析师提供便捷、强大的大数据分析工具。
成果：大大缩短了数据分析师的数据检索周期，也解决了跨库检索的痛点，为数据分析师提供了多元化的报表数据服务和数据分析服务。
时间：20xx.12-20xx.2
项目名称：幻影大师简历项目4
项目角色：数据开发
设计基于随机森林的贷款违约率风险评估模型，旨在确定贷款申请客户的违约概率，为风险控制决策提供相关判断依据。该模型利用历史申请人信息以及当前数据仓库中2000多个外部和内部标签，通过特征工程（数据预处理、特征选择、降维等）提取最相关的客户标签进行训练，随机森林模型为用于实现客户违约概率数据的输出，为客户的贷款风险控制决策提供必要的依据。
时间：20xx.5-20xx.5
项目名称：幻影大师简历项目5
项目角色：数据开发
参与数据分析平台的基础设施建设、表设计、数据处理、编码，使用大数据开源组件（hdfs、spark、hive、sqoop、oozie、）提供数据融合、离线计算、实时对公司贷款业务进行监测预警功能，并为各部门提供各类数据报表，开发业务分析中间表，极大地为风控业务人员获取数据提供了便捷的途径，方便销售人员发现新的特点和新规则的风险控制。和验证。
时间：20xx.5-20xx.7
项目名称：幻影大师简历项目6
项目角色：数据开发
风控规则需要从历史数据中检测贷款申请人的申请信息是否符合当前历史贷款申请数据中的某些风险规则。因此，需要实时、快速地返回历史数据对比结果。本系统使用kafka，作为实时流的入口，使用hbase作为底层数据库，从实时应用信息中提取对应的关键信息，快速查询并插入到hbase数据库中，最后将结果返回给实现历史数据的快速验证。
时间：20xx.3-20xx.5
项目名称：幻影大师简历项目7
项目角色：数据开发
由于旧的历史巡检系统作为数据仓库，无法满足长期跟踪流程（即订单号从采集到下达的整个生命周期的状态）快速、高效查询的要求。收据）。并发查询，所以采用了+hbase的方案来解决上述问题。所有源数据均使用公司自己的 etl 工具提取到 hd。在fs中，在()中进行各种复杂的关联和映射，最终生成单数的生命周期数据，设计key值，然后放入hbase中。现在无论多久之前都可以查询单个号码。时间在毫秒级别，并发查询量也中规中矩。每秒可提供5000个订单号查询。
自我评价
1. 7年研发经验（2年Java研发+5年大数据研发经验）
2、熟悉/Hbase/Hive/Spark/Flink/kafka等主流开源分布式大数据组件；熟悉阿里云大数据开发平台（原ODPS）；熟悉数据仓库分层体系建设、学科领域模型设计、数据仓库标准化落地后参与企业级大数据平台建设，熟悉使用和性能优化，熟悉Linux系统操作，熟悉基于spark开发在斯卡拉上。
# 营销网站的优化分析报告
# 四位
# 长沙seo工资
# 广西seo优化如何做
# 金华seo外包要求
# 作文优化网站图片怎么做
# 西青区网站营销推广
# 苏州抖音seo推荐平台
# 找网站建设专业公司
# 药械营销推广方案模板范文
# 新余百度关键词排名公司
# 本系统
# 武汉网站建设培训机构
# 德州营销网络推广介绍
# 网站怎么做推广员工作
# 中小企业怎么做好seo
# seo优化找哪家服务好
# 大连庄河seo优化
# ai网站推广怎么推广
# 江苏seo教程是什么
# 济宁网站建设服务好
# 营销推广部先进材料
# 导入到
# 离线与实时标签处理
# MaxCompute、云Spark、云HBase与OTS的ETL与用户画像构建
# 离线
# 分析师
# 开源
# 风险控制
# 数据处理
# 数据库中
# 自己的
# 据分析
# 离线与实时标签处理：MaxCompute、云Spark、云HBase与OTS的ETL与用户画像构建
# 多个
# 中规中矩
# 采用了
# 还需要
# 后将
# 自带
# 新老
# 并为
# 主要用于
相关文章：
互联网广告公司都是怎么通过广告赚钱的呢？主要靠这3点！
广告投放怎么做？互联网广告投放方式都有哪些？
百度经验怎么赚钱？利用百度经验赚钱的5个方法！
没本钱怎么在手机一天赚500？这四个项目做好了轻松日赚500！
如何轻松将微信聊天记录导出到电脑？简单步骤来帮忙 软文推广的营销手段
百度、腾讯、头条加入广告联盟三国杀，谁能独占鳌头？
推广赚钱怎么才能达到日赚1000+？你得这样做！
天气渐冷护手霜成刚需！盘点护手霜排行榜10强及好用单品 江海区关键词排名查询
网赚游戏未来将进入3.0时代，想要赚钱的抓紧了！
网站如何利用广告联盟赚钱？
教你如何足不出国就能轻松操作国外广告联盟赚取美金！
小区居委会建群便于管理服务，群成员言论不当谁担责？ 百丽网站建设银行
适合做互联网营销的平台有那些？如何做好互联网营销？
新手没有网站又不懂引流如何去做推广赚钱？
微软发布小冰第五代，小冰FM微信小程序上线玩法介绍 东港关键词seo优化
利用网站赚钱的10大方法，月入万元轻轻松松！
网页优化怎么做有利于提升网站排名？建议从这8个方面入手！
2020年最快一天挣300500元的4个方法，收好了！
广告主是如何选择广告联盟平台来合作的，有什么要求？
社群赚钱攻略，你需要注意这四点！
广告推广怎么做最有效？需要做好这五点！
简单AI绘图教程：如何生成动漫头像及输入画面描述？ 开封淘宝营销推广公司地址
比较热门的6大免费网上兼职赚钱项目分析
微信朋友圈广告的主要推广方法有哪些？
分享6个常见的app推广快速拉新获客方式
网赚大神利用猪八戒月入过万的经验分享！
教你在QQ上这5种傻瓜式引流技巧，引流不再难！
如何才能做好微信营销达到成交转化的效果呢？这44个小技巧分享给你！
网站赚钱怎么做？做什么网站最赚钱？
非常适合网赚新手做的7个网络赚钱项目介绍！日赚500不是问题！
宝妈在家搞副业的4个靠谱路子，手工创作等真能赚钱 淘宝好货关键词排名软件
国外广告联盟常见的五大收款方式，你知道几个？
广告联盟是什么？主要有这三大分类！
联盟营销是什么？加入联盟营销有什么好处?
揭秘利用百度小程序挂广告赚钱的操作玩法，竟然还可以这样玩？
高佣金联盟和淘宝联盟有什么区别？哪个比较好？
最新色流套路！利用腾讯系平台和产品来进行引流变现
12种靠谱又收益不错的在家就可以做的网赚兼职平台介绍
广告联盟不断提速app商业化之路，用户流量不再是问题！
南宁恒易达科技：生鲜超市小程序开发定制，商机无限 独立网站建设常见问题
利用图片变现的网赚项目操作思路分享!
怎么接广告赚钱？四个比较靠谱的接广告赚钱的方式！
今晚播出！秋季开学季·安全自护第一课内容有哪些？ 新郑市网站推广平台
广告投放的渠道和方法有哪些？各自的优势在哪？
引流技巧中的截流玩法具体如何操作？
靠谱的广告接单平台有哪些呢？推荐这8个！
APP推广站是怎么通过推广赚到那么多钱的？
宝妈和全职主妇咨询兼职赚钱，为何捧着金饭碗却不自知？ 德州门店营销推广
最新利用信息差月入过万赚钱项目分享！
网站推广该怎么做？适合网站运营新手的10种网站推广方法！
相关栏目：
【
广告资讯90366 】
【
广告推广18483 】
【
广告优化154267 】
【
广告营销46464 】