离线标签：按照给定逻辑进行sql编码，+云spark+云hbase（后替换为ots），每天或每小时进行ETL清洗，更新标签信息。
实时标签：kafka+blink++表存储（OTS），标签信息实时更新。
3、负责主键设计，MD5()加密取前四位然后拼接，防止数据热点；
4. 建立二级索引。第一阶段是通过云hbase+内置solr实现的。第二阶段改为表存储OTS+多索引功能。主要用于人群筛查。
业绩：主导并落地用户画像基础功能服务，为业务赋能用户洞察、精准营销、广告投放。
时间：20xx.4-20xx.7
项目名称：幻影大师简历项目2
项目角色：数据开发
由于公司IDC机房自建CDH面临运维成本高、稳定性差、使用复杂繁琐等问题，决定将现有数据仓库迁移到阿里云大数据一站式解决方案（ODPS）上，借助云平台的天然优势，让公司的人力资源更多地向数据服务倾斜，大大降低了自建数据仓库高昂的运维成本，解放了人力。同时，离线计算已经不能满足越来越多的时间敏感需求，还需要构建实时的Data通道，即架构的数据仓库：
工作内容：
1、负责批量创建HDFS数据迁移任务，并使用ODPS迁移工具将原hive上的全部数据迁移到odps上；
2、参与部分业务线数据仓库的重构，即重新梳理业务模型，按照业务主题领域进行建模，ods/dws/dws/ads的分层架构；
3、负责搭建实时数据通道、业务研发，将App或小程序端的用户埋点数据输入消息中间件kafka。在此基础上，基于Blink，将用户埋藏数据进行扁平化、分析并存入数据库（odps）。同时关联其他维度表做一些实时计算和统计，比如新老客户、DAU等实时指标。
成果：整个数据仓库迁移到云端，大大节省了运维成本。同时，腾出人力专注于数据应用服务。同时优化了数据仓库结构，将原来的离线计算模式转变为离线+实时的lamda架构。初步满足业务对时间敏感的数据服务的需求。
时间：20xx.6-20xx.12
项目名称：幻影大师简历项目3
项目角色：数据开发
公司风控部门成立初期，没有一套完整的数据仓库。所有数据分析师都直接从业务数据库中获取数据。他们面临着取数据效率低、周期长、跨库查询、拖累业务数据库等问题。为了解决这些问题，并提供更多的数据服务，需要构建标准的数据仓库模型。
工作内容：
1、参与搭建基于开源大数据CDH版生态组件的大数据平台（50个节点）；
2、数据库分层设计，主要设计ods、dwd、dws、ads层；
3、业务数据库数据（主要是mysql）通过sqoop导入到hive数据仓库，少量mongo数据库数据通过自带工具导入到hive数据仓库；
4、使用oozie调度工具定期进行ETL数据处理和清洗；
5、利用监控作业任务状态实时监控作业运行状态，异常报警发送至钉钉群消息；
6、构建分析工具，为数据分析师提供便捷、强大的大数据分析工具。
成果：大大缩短了数据分析师的数据检索周期，也解决了跨库检索的痛点，为数据分析师提供了多元化的报表数据服务和数据分析服务。
时间：20xx.12-20xx.2
项目名称：幻影大师简历项目4
项目角色：数据开发
设计基于随机森林的贷款违约率风险评估模型，旨在确定贷款申请客户的违约概率，为风险控制决策提供相关判断依据。该模型利用历史申请人信息以及当前数据仓库中2000多个外部和内部标签，通过特征工程（数据预处理、特征选择、降维等）提取最相关的客户标签进行训练，随机森林模型为用于实现客户违约概率数据的输出，为客户的贷款风险控制决策提供必要的依据。
时间：20xx.5-20xx.5
项目名称：幻影大师简历项目5
项目角色：数据开发
参与数据分析平台的基础设施建设、表设计、数据处理、编码，使用大数据开源组件（hdfs、spark、hive、sqoop、oozie、）提供数据融合、离线计算、实时对公司贷款业务进行监测预警功能，并为各部门提供各类数据报表，开发业务分析中间表，极大地为风控业务人员获取数据提供了便捷的途径，方便销售人员发现新的特点和新规则的风险控制。和验证。
时间：20xx.5-20xx.7
项目名称：幻影大师简历项目6
项目角色：数据开发
风控规则需要从历史数据中检测贷款申请人的申请信息是否符合当前历史贷款申请数据中的某些风险规则。因此，需要实时、快速地返回历史数据对比结果。本系统使用kafka，作为实时流的入口，使用hbase作为底层数据库，从实时应用信息中提取对应的关键信息，快速查询并插入到hbase数据库中，最后将结果返回给实现历史数据的快速验证。
时间：20xx.3-20xx.5
项目名称：幻影大师简历项目7
项目角色：数据开发
由于旧的历史巡检系统作为数据仓库，无法满足长期跟踪流程（即订单号从采集到下达的整个生命周期的状态）快速、高效查询的要求。收据）。并发查询，所以采用了+hbase的方案来解决上述问题。所有源数据均使用公司自己的 etl 工具提取到 hd。在fs中，在()中进行各种复杂的关联和映射，最终生成单数的生命周期数据，设计key值，然后放入hbase中。现在无论多久之前都可以查询单个号码。时间在毫秒级别，并发查询量也中规中矩。每秒可提供5000个订单号查询。
自我评价
1. 7年研发经验（2年Java研发+5年大数据研发经验）
2、熟悉/Hbase/Hive/Spark/Flink/kafka等主流开源分布式大数据组件；熟悉阿里云大数据开发平台（原ODPS）；熟悉数据仓库分层体系建设、学科领域模型设计、数据仓库标准化落地后参与企业级大数据平台建设，熟悉使用和性能优化，熟悉Linux系统操作，熟悉基于spark开发在斯卡拉上。
# 清徐网站建设哪个正规
# 四位
# 大冶网站建设资质
# 南部商务区网站推广
# 广州网站推广微忻hfqjwl
# 小微企业推广营销方案
# 梧州整站seo优化
# 怎样做好微博关键词排名
# 潍坊网络营销推广怎么样
# 低价网站建设成本
# 怎么做临时网站推广平台
# 本系统
# 热搜关键词排名优化
# 韶关谷歌seo厂家地址
# 网站及推广软件
# 官方网站免费推广
# 通辽定制化网站制作推广
# 网站建设广告模板大全
# 淘宝同类型网站排名优化
# 商河网站推广营销
# 黄石网站建设专业学校
# 网站优化推广搜索优化
# 导入到
# 离线与实时标签处理
# MaxCompute、云Spark、云HBase与OTS的ETL与用户画像构建
# 离线
# 分析师
# 开源
# 风险控制
# 数据处理
# 数据库中
# 自己的
# 据分析
# 离线与实时标签处理：MaxCompute、云Spark、云HBase与OTS的ETL与用户画像构建
# 多个
# 中规中矩
# 采用了
# 还需要
# 后将
# 自带
# 新老
# 并为
# 主要用于
相关文章：
兰州做网站，一站式服务助力企业互联网转型，兰州企业互联网转型一站式网站服务解决方案
2025年网络安全概念股龙头盘点：奇安信、启明星辰表现如何？
扬中网站建设，打造数字化时代的企业新名片，扬中企业数字化升级，网站建设，塑造时代新名片
数字社交时代，微信如何拉黑联系人？详细步骤来啦
长虹财务云引领变革，满足集团管控新趋势，助力财务管控创新
WAP网站 *** 的未来发展趋势与挑战，WAP网站 *** 的发展趋势及面临的挑战分析，WAP网站 *** ，未来发展态势及挑战剖析
推广客服必看！百度搜索推广效果转化漏斗的五个量解析
鸿蒙电脑版微信6月6日晚开启内测邀请，荣耀靠自己能否翻身？
百度推荐怎么推广？常见的这几种推广方法你知道吗？
微信误删好友聊天记录怎么恢复？这三种方法教你搞定
东莞手机网站建设，助力企业数字化转型的关键一步，东莞企业数字化转型新引擎，手机网站建设攻略，东莞企业数字化转型新引擎，手机网站建设攻略
汕头网站 *** ，打造个性化品牌，助力企业腾飞，个性化定制服务，汕头网站 *** 助企业品牌腾飞
微软发布复古手机壁纸，AI绘图工具兴起，你会选哪个做头像？
微信严打朋友圈售违法违禁品，违规将按阶梯处罚
商业网站模板，打造个性化企业形象的利器，个性化企业形象打造，商业网站模板的神奇力量
团购网站建设，打造高效便捷的在线购物新体验，构建高效便捷的团购平台，开启在线购物新纪元，打造团购平台新纪元，高效便捷的在线购物体验之旅
网站推广的五大好处，助力企业腾飞的新引擎，网站推广五大益处，企业飞跃的数字动力源泉
三亚网站建设，打造企业 *** 新形象，助力发展新篇章，三亚企业 *** 新形象塑造，专业网站建设助力发展新里程
3月8日中国版国际旅行健康证明微信小程序正式上线！你了解吗？
网站开发技术，探索新时代的互联网创新之路，新时代互联网创新，网站开发技术探秘，新时代互联网创新探秘，网站开发技术前沿解析
手机出现这三种情况，隐私或已泄露！大数据时代需警惕
太原网站推广，助力企业腾飞的新引擎，太原企业腾飞新引擎，网站推广助力发展，太原企业腾飞新引擎，网站推广助力发展之路
廊坊网站优化，提升 *** 曝光，助力企业腾飞，廊坊企业 *** 曝光新篇章，网站优化助力腾飞
湛江做网站，助力企业打造线上品牌新形象，湛江企业网站建设，塑造线上品牌新风貌
成都企业网站建设，打造数字化品牌新形象的关键步骤，成都企业数字化品牌重塑，网站建设关键步骤解析
长沙企业网站，打造品牌新窗口，助力企业腾飞，长沙企业网站，开启品牌新篇章，助力企业飞跃发展
互联网营销必看！百度搜索框下拉词优化关键词实战经验
嘉定网站设计，打造个性化、专业化的 *** 品牌形象，嘉定专业网站定制，塑造独特品牌形象，嘉定专业网站定制，塑造个性化品牌形象
免费网站设计，打造个性化品牌形象，无需高额预算的完美解决方案，零成本打造品牌，免费网站设计与个性化形象构建方案
长沙市网站建设公司，助力企业互联网转型升级，长沙市助力企业互联网转型升级的优质网站建设服务
上海网站优化公司，助力企业提升 *** 竞争力，上海专业网站优化服务，助企业抢占 *** 竞争制高点
微信被封莫苦恼！教你三步实现微信账号自助解封
做好网络推广，盘点十大互联网免费推广方式，软文推广效果如何？
11月19日深圳新版二手房交易网签系统上线，这些重点要注意
杭州网站 *** ，打造个性化企业品牌形象，助力企业腾飞，杭州定制网站 *** ，塑造独特企业品牌，推动企业飞跃，杭州定制网站 *** ，塑造独特品牌形象，助力企业飞跃腾飞
网站背景音乐，营造沉浸式体验的艺术，音乐织梦，网站背景音乐如何打造沉浸式体验
重庆网站，城市发展的新引擎，重庆网站，助力城市发展的数字动力源泉，重庆网站，数字动力源泉，驱动城市创新发展
秋风送爽新学期开启，网警进校园带来网络安全课啦
网站推广软文案例解析，如何用故事打动人心，提升网站流量，故事营销解密，网站流量提升的软文创作艺术
早上好！愿你天天开心，在逆境中努力做到最好
快眼看书等网站经营者因侵权被指控！未经许可复制发行文字作品
长沙网站优化，提升企业在线竞争力的关键策略，长沙企业网站优化攻略，塑造在线竞争优势的必胜策略
360再发内部邮件：禁止员工用微信讨论工作，违规将罚款
成都建网站，打造本地化 *** 品牌的新趋势，成都 *** 品牌建设新风向，本地化网站建设崛起
义乌网站 *** ，打造专业电商平台的更佳选择，义乌专业电商平台定制服务——网站 *** 首选方案，义乌专业电商平台定制，网站 *** 首选义乌方案
莆田网站建设，助力企业数字化转型，打造高效 *** 营销平台，莆田企业数字化升级新引擎，专业网站建设与 *** 营销平台打造
网站运营，策略与实践，打造高效在线平台，高效在线平台打造，网站运营策略与实践解析
3月7日王毅宣布推出中国版国际旅行健康证明，8日正式上线
资金周转不开怎么办？微粒贷是正规可靠的小额信贷首选！如何使用？
抖音生活服务发布数据！2025年达人探店为线下商家带来超1333亿收益
相关栏目：
【
广告资讯90366 】
【
广告推广18483 】
【
广告优化154267 】
【
广告营销46464 】