本人于2017-10-至今就职于链赢未来担任大数据工程师一职

2015.07 - 2017.08 郑州博丰软件有限公司 （2年2个月）
大数据开发工程师 | 100000-9999999元/月
互联网/电子商务
数据采集,数据清洗,数据处理

项目名称2017.08 - 至今 高铁信号大数据平台
责任描述ATP上的数据通过G网实时传送,通过利用protobuf将数据序列化到ZMQ中,再从ZMQ上订阅数据,再利用protobuf反序列化解密。
通过判断获得数据包,按照既定规则对这些数据包中的数据进行剔除和归并。通过调用百度的LBS和天气气象接口将经纬度转换成天气,湿度的情况,然后获得需要的的字段和天气字符串进行拼接。最后将处理好的数据通过kyro序列化和snappy压缩,然后转成parquet文件分别写入hdfs和kafka中进行后期的处理。
项目描述为了提高信号设备维修管理水平，进一步深化信号设备维修智能化应用，加强事前防范与预警、过程控制与监控、应急响应与处置、事后分析与评估等关键环节信息技术支撑，所以需要建设铁路信号设备设施技术状态大数据应用,去实现信号设备全寿命周期状态管理，建立科学的分析评价体系，全面掌握信号设备工作状态及运用情况，提高设备维修维护质量，降低铁路信号运营维护成本，提升信号设备的运输安全保障能力,做好故障预测从而最大化的减少故障成本。
项目名称2016.12 - 2017.08 轻客洗衣系统
责任描述将日志需要的字段,订购时间,所在经纬度,所属省,市,区,用户状态,所属类型,用户手机号,订购的金额等,在程序后台代码中进行设定,当用户触发事件进行请求时,nginx直连kafka将数据直接写到kafka中。
将kafka中的数据通过flume的hdfs sink直接下沉到HDFS中,通过spark sql和spark core做离线处理。比如以区域,时间,终端,渠道等为维度,进行订购次数,订购类别,分析各维度下充值金额的变化情况,并将结果存到MySQL中，方便Echarts展示。
通过SparkStreaming直连方式从kafka中消费数据，并手动维护偏移量,进行实时统计，以区域和时间为维度，将APP的使用次数、频率、浏览时间的长短进行聚合，进而实现地域、时间段下，用户购物等情况的分析，并将结果存入到Redis中；
项目描述轻客是一款方便生活的洗衣微信小程序，为大学校园中，企业园区里洗衣服还要办理洗衣卡的人们提供更加便利的洗衣方式，省去了洗衣服的时候还得揣着一张洗衣卡的麻烦，只需要拿着手机扫一扫就能完美解决。轻客还能够通过数据分析为您选择最合适的洗衣地点。
项目名称2016.02 - 2016.12 移动都都宝手机充值
责任描述自定义Flume组件,利用tail -F 命令监控文件,采用kafka channel将数据采集到kafka集群。
利用SparkStreaming从kafka实时拉取数据,完成数据清洗；
统计分钟，小时，全天多时段全网充值总订单，订单成功量，充值金额及充值平均时长；
区域付费总金额及充值失败数据量的统计；
统计支付与充值订单的最大时长，最小时长以及平均时长；
统计新增用户、活跃用户、沉默用户；
用户操作系统、运营商等指标的统计。
Redis存储利用Echarts进行前端可视化。
项目描述绿城通是河南省郑州市发行的城市一卡通,过去用户只能通过网点窗口进行充值,但是现在用户可以通过都都宝手机充值平台来轻松充值交通卡。因此想要获取整个平台的充值情况，应用大数据技术体系，搭建一个实时监控充值情况的平台，意义重大。
项目名称2015.07 - 2016.02 直销平台离线分析系统
责任描述ngnix收集web端发送的js埋点数据,并做负载均衡Flume监控ngnix日志文件，采用memory channel收集数据到HDFS上。
对HDFS上的数据做解析处理，如 采用纯真地址解析ip，UASparser解析浏览器User_agent等，将得到的半结构化数据保存到Hbase。
从common，browser,kpi,event_type等为维度统计了访客数，浏览量，新增用户，人均访问深度，人均访问时长，跳出率，成交金额，成交订单数，成交件数，商品浏览量等40多个指标，并存入mysql。
项目描述应合作方的要求，对客户的浏览轨迹，销量情况等进行数据分析，并做统计报表，用以正确的销售导向和评估。

2011.09 - 2015.07 商丘学院 计算机科学与技术 本科