MySQL数据库工程师入门实战课程视频教程
5175 人在学
其实,在机器学习中,选择合适的模型评价指标以及确定最小可接受误差,是两个最具挑战性的任务。你不需要(也不可能)为手头的任务提供极高的精确度。另一方面,对于整体业务来说高错误率太话费时间人力成本。因此,你应该积极主动地学习评估指标和可接受的误差范围。例如,当机器学习产品正在替换一个已经存在的任务时,你可以使用当前的错误率作为衡量标准。总的来说,评估标准将取决于可用的数据、所使用的模型以及手头的应用程序。
每一个公司都有产品经理。
根据定义,产品经理负责统筹各方需求,选择业务模式,并根据公司产品的生命周期进行协调、研发、营销、运营。
传统业务还好说,毕竟一些流程已经成熟。但是对于数据科学这一比较新的领域来说,需要发掘的东西太多,不能拘于传统范式。
如何做好数据圈的产品经理?一位曾在Uber战略&运营部门的数学科学家Wafic EI-Assi给出了七条建议,助你成为合格产品经理。
对于任何产品团队,都需要一个人来对产品生命周期的负责。换句话说,我们需要一个数据科学产品经理。而且,由于当时的组织结构有变动,我不得不暂时接盘这个职位。下面是我对如何成功地做一枚数据产品经理的理解:
1. 培养对机器学习的认知
我有一个朋友最近在加拿大的魁北克开始了一份工作。魁北克省是加拿大讲法语的省份,而作为一个只说英语的加拿大人,他很难适应,直到他学会了法语!你懂我的意思了吧……
作为一个数据产品,你必须能够发现机会,在哪里可以利用到机器学习。此外,你需要能够与你的数据科学家和工程师对得上话。如果你不了解如何用机器学习构建模块,你就很难与团队建立同理心。索性,在网上有无数的免费资源可以帮助你提高速度(coursera,medium,youtube……)。
2. 理解模型评估
在机器学习中,选择合适的模型评价指标以及确定最小可接受误差,是两个最具挑战性的任务。你不需要(也不可能)为手头的任务提供极高的精确度。另一方面,对于整体业务来说高错误率太话费时间人力成本。因此,你应该积极主动地学习评估指标和可接受的误差范围。例如,当机器学习产品正在替换一个已经存在的任务时,你可以使用当前的错误率作为衡量标准。总的来说,评估标准将取决于可用的数据、所使用的模型以及手头的应用程序。
3. 对实验要虚心
判断机器学习产品何时可以交付是一个 具有挑战性的任务。在测试误差较低、不存在过拟合的情况下,是否应该采用模型?我们是否应该先在生产环境中使用我们的客户群样本来测试模型,然后再声明它可以供所有客户使用?答案会在时间,成本和准确性之间可能会做出权衡。事实上,机器学习的产品生命周期依赖于大量的实验,所以我的建议是你在产品路线图中加入测试的时间。
4. 先考虑冷启动
因为很难确定一个机器学习产品是否可以运转,所以先考虑冷启动。冷启动在收集顾客反馈信息方面非常有用。
在B2B环境中的软启动可能与在B2C环境中非常不同。在B2B环境中,你可以用客户群的代表性样本来测试机器学习的产品。在这里,你可以与你的客户建立合作伙伴关系,在发布时请求产品反馈。另一方面,在B2C环境中,你可以进行A/B测试,验证产品是否达到预期的结果。
5. 还没完事呢!
你已经制造了你的机器学习产品。干得好!然而,你还远未完成。除了传统的部署后PM职责之外,还有一些应该注意的事情。
首先,你需要一个应急计划。确保有监视和警报系统设置,当模型的性能开始下降时警告你和你的团队。如果你有一个更通用的备份模型(尽管可能不那么准确),甚至有一个基于规则的系统,可以在预测下降时部署来替代你的选择模型,这是比较理想的状态。
其次,为你的客户设定清晰的关于模型性能、错误边际和时间延迟的期望。你的SLA(服务品质协议)中还应该反映这一点。
最后,为了保持其SLA以及推广再培训模型所需的时间,你需要确定需要多少次模型再训练。
6. 采取敏捷的心态,而不是具体的敏捷框架
Scrum或类似的方法在软件社区中相当流行。然而,并不是机器学习周期的所有阶段都接受定时的或t恤大小的用户故事。至少,在研究或POC阶段,大量的实验是必要的,在那个阶段采用一个限制较少的敏捷框架(如看板)可能是理想的。
除了熟悉机器学习概念和机器学习产品生命周期之外,你作为数据产品经理的角色与常规产品经理没有太大区别。你仍然需要构建一个待办事项列表,提供发布计划,开发业务案例,并充当团队与内部和外部接洽的接口。
7. 最后:把大家整合在一起
如果你要从这篇文章中去掉一样东西,那就是你需要对你的数据团队中不同成员的角色和责任形成一定程度的理解和同理心。不用说,这在传统软件环境中也是如此。如果你了解你的同事们所经历的事情,你就会开始思考如何才能帮助他们成功。
小编结语:其实,在B2B环境中的软启动可能与在B2C环境中非常不同。在B2B环境中,你可以用客户群的代表性样本来测试机器学习的产品。在这里,你可以与你的客户建立合作伙伴关系,在发布时请求产品反馈。另一方面,在B2C环境中,你可以进行A/B测试,验证产品是否达到预期的结果。