江苏龙网

  1. 主页 > 生活百科 > >

必备的12个技能分享 大数据产品经理需要掌握的技能

AI大数据产品经理
至少要会以下三个方面的技能 。
首先，了解数据
理解数据首先是理解 。
【必备的12个技能分享 大数据产品经理需要掌握的技能】1)数据工程的内容
例如收集、存储、清洗、分析和可视化 。
其次，理解 。
2)数据库的基本概念
和数据表 。CURD操作:创建、更新、读取、删除、关系数据库、非关系数据库等 。
3)数据结构
比如地铁数据，静态数据:线路和车站(不一定带时间戳，更新慢)，动态数据:刷卡记录(一直带时间戳，不断生成)，数据存储有一定的规律 。
4)数据的类型和格式
纯文本
CSV:逗号分隔的值
JSON:键值对
SQL:数据库文件等
二、了解AI机器学习领域
AI的突破性发展一方面得益于数据的爆炸式增长，另一方面得益于机器学习尤其是深度学习算法的发展 。
1)什么是机器学习？
通过计算和经验研究如何提高系统的性能 。一般来说，让代码学会工作就是机器学习，深度学习是机器学习的特例 。
2)机器学习的类型
监督学习:提供标签、分类和回归 。
无监督学习:未标记，聚类
强化:也称为强化学习，马尔可夫决策过程(MDP)
主动学习:边学习边标记
学习:从一个领域转移到另一个领域 。
整合:合奏，三头比诸葛亮，助推装袋 。
3)机器学习的两个痛点
维度灾难:数据量和特征量
过拟合:模型的泛化能力
4)机器学习的过程
预处理:数据整形和缺失值处理(补全、统计为缺失特征)
工程特色:特色没做好，参数调整到老的 。在现有要素上生成新要素、值和类别 。
特征选择和降维:基于MIC、皮尔逊相关系数、正则化方法、模型、PCA和tSNE 。
训练和参数调整:单模型、多模型融合和集成 。
评价模型:急性率、准确值、回忆值、f值、AUC 。
了解以上机器学习的相关内容，算是对AI大数据产品的介绍 。
经理 。
第三，懂数据，能应用AI产品化 。以构建机器学习用户画像产品为例
你说的理解数据处理并能卓有成效地应用AI是什么意思？下面，作者LineLian以建立用户画像实现大数据机器学习推荐为例来谈谈综合应用数据、算法、算力的步骤 。
(步骤1):建模
1)获取原始数据 。比如使用的数据包括用户访问系统的行为日志和用户的基本属性，通过采集日志数据可以获得用户的行为信息；
2)预处理数据，挖掘出事实标签 。对用户数据的表示进行过滤、清洗和简化，得到用户的编号、等级、姓名、首次登录时间等 。来自用户的基本属性信息，属于事实标签；
3)分析用户行为信息，构建用户画像的模型标签 。通过分析用户的行为，可以得到用户访问页面和操作的规律，建立用户的行为模型 。
4)通过模型标签进行预测，完善用户画像 。根据用户的行为模型，可以预测用户的操作行为 。
(第二步):用户画像的多维表征
1):自然属性，如姓名、性别、年龄、电子邮件地址、电话号码、职业等 。由用户在注册时填写 。不同属性的用户兴趣点不同，标签一般比较稳定 。
2):兴趣属性，行为偏好信息，不同时间不同偏好，随时变化！优先标签挖掘算法包括TF-IDF和BM25算法 。
3):地理信息，移动轨迹信息，不同地区的用户访问不同的服务器 。
4):主机IP、MAC地址、不同浏览器等 。通过IP地址，可以找到用户所在的区域 。
5):隐含属性是指从用户的基本信息、行为信息等数据中发现用户信息中隐含的规则或偏好 。比如用户的活跃度可以从用户的在线频率计算出来，可以反映出用户对系统的粘性 。
(步骤3):标签
Mec(互斥集体穷举)原则，即标签需要独立且穷举 。
(1)用户需求和使用场景会不断更新，所以标签体系是一个不断完善的过程，不可能一次建成；
(2)不同领域的用户需求和业务场景不同，用户画像的标签体系也不同 。关键是从不同层面更透彻地分析用户在特定领域的决策行为 。在建立标签制度时，要根据具体的业务情况进行切合实际的分析；
(3)根据具体需求合理划分标签架构，一般需要使标签系统有一个结构框架，呈现一定的层次关系以方便标签管理，同时也增加标签之间的链接 。
标签架构有三种:结构化、半结构化和非结构化 。
事实标签和模型标签的例子按系统划分标题 。
(步骤4)映射用户画像


推荐阅读


上一篇：数据分析中最好用的估算法 费米估算法的原理是什么

下一篇：适合30岁改行的5个职业 设计师转行做什么工作比较好