随着大模型时代的到来，传统数据科学家（DS）的岗位似乎变得越来越“鸡肋”。除了之前提到的一些general的DS，主要以统计和传统的机器学习为主，市场还存在大量的要求自然语言处理（NLP）和计算机视觉（CV）技能的DS岗位。这些岗位通常看起来更加高端，更有门槛。
实际上，大多数公司并不需要zui先进的算法，也不需要对模型进行大量的微调。这些NLP或CV的工作往往是整个产品流程的一部分，公司可能并不会将大量资源倾斜在这上面。相比之下，推荐算法在电商或广告公司中，一个百分点的提升就可能意味着上千万的利润，所以公司会将大量资源倾斜在这上面。
大模型时代的到来使得这样的岗位岌岌可危。早于ChatGPT出现之前，就有这样的趋势，但当时大模型还不像现在一样风靡整个行业，也没有这么多大公司提供廉价的大模型API。想要使用大模型的能力会需要一定的门槛。而从ChatGPT出现后，整个AI行业井喷，随着scaling law的发展，模型能力越来越强，多模态的能力也越来越强。伴随而来的是inference能力的优化，API价格越来越便宜，使用大模型的门槛越来越低。
这些DS岗位，随着大模型的普及，便会进入到一个非常尴尬的地位。当大量公司都可以使用廉价的API，享受zui先进的NLP和CV功能时，成熟的工程师或软件开发人员可以用AI快速实现整个产品流程中的NLP和CV环节，这一类的DS岗位的定位就显得非常尴尬。
当然，这并不意味着DS岗位会完全消失。未来会出现明显的两极分化：一端是专注底层模型研发和优化的研究岗位（需要极强的数学/算法背景），另一端则是聚焦业务理解和工程落地的应用型岗位。后者反而可能催生出更多岗位机会，也是大多数资质平平的DS从业者的出路。这个方向的核心竞争力，恰恰是工程能力与业务理解的结合。
zui新的研究表明，高收入职业更容易受到AI的冲击。guo際学术期刊《科学》发表的一项研究显示，软件工程师和数据科学家等高收入者比收入较低的人更容易受到人工智能（AI）的影响。这项研究分析了923种职业，强调了AI对劳动力市场影响的不确定性。分析显示，近1/5的职业至少有一半的工作可能会受到机器学习进步的影响。
受影响zui大的职业包括区块链分析师、临床数据管理人员、公共关系专家和jin融量化分析师。摩托车修理工、打桩机操作员和石匠等工作不会受到影响。宾夕法尼亚大学运营、信息与决策助理教授Daniel Rock表示：“接触（AI）对员工来说可能是好事，也可能是坏事。”他补充道：“在这个阶段，我们很难预测对劳动力需求的长期影响。但通过暴露度指标可以得知，哪些地方可能会发生变化。”
Rock和他的团队通过GPT-4来分析，AI是否能在不降低质量的情况下，将一个人完成一项任务所需的时间至少缩短一半。他们得出的结论是，18.5%的职业的工作中，有50%或更多的任务符合上文描述的情况，而且这些工作通常是高薪领域。
此外，英国政府在去年发布的一项关于AI对就业市场影响的研究中得出了类似结论。该研究指出，伦敦jin融城的jin融专业人士将受到图像识别、语言建模和语音识别等AI应用的zui大影响。guo際货币基金组织（IMF）zui近也发表了关于生成式AI对就业市场的报告，结果显示，AI转型对高技能劳动者和白领工人的冲击更高度且更频繁。
对于数据分析师而言，AI的崛起带来了巨大的挑战。传统的数据清洗、报表生成等重复性工作正逐渐被AI所替代。初级分析师的职业发展变得更加艰难，整个行业面临新的挑战：如何在AI的挑战中找到新的机会？
数据清洗：数据的准确性和完整性对于分析的结果至关重要。传统的数据清洗工作需要耗费大量时间，数据分析师需要花费数小时来qu除重复、处理缺失值等。而AI能够通过预测算法自动识别数据中的异常和错误，秒速完成这些基础工作。
模型生成：在数据分析的核心环节，AI可以根据历史数据自动生成预测模型。例如，通过机器学习算法，AI能够分析出数据中的潜在规律，并为企业决策提供支持。根据Gartner的一项研究，70%的决策都是基于数据分析，AI的辅助将给这些决策带来更高的准确性。
报告生成：AI还可以自动化生成分析报告，通过可视化图表和文字解释将复杂的数据呈现给用户。根据Forrester研究，AI的应用使得数据报告的生成速度提高了50%以上，这无疑降低了分析师的工作负担。
面对AI技术的迅猛发展，数据分析师的角色正在经历重新塑造。通过有效的工具，他们能够更好地适应这种变化，提升自己的竞争力。让我们一起在AI时代，把数据分析的工作做到更加简洁高效！
#数据科学家 #人工智能 #NLP #CV #推荐算法 #大模型 #职业发展 #数据分析
实际上，大多数公司并不需要zui先进的算法，也不需要对模型进行大量的微调。这些NLP或CV的工作往往是整个产品流程的一部分，公司可能并不会将大量资源倾斜在这上面。相比之下，推荐算法在电商或广告公司中，一个百分点的提升就可能意味着上千万的利润，所以公司会将大量资源倾斜在这上面。
大模型时代的到来使得这样的岗位岌岌可危。早于ChatGPT出现之前，就有这样的趋势，但当时大模型还不像现在一样风靡整个行业，也没有这么多大公司提供廉价的大模型API。想要使用大模型的能力会需要一定的门槛。而从ChatGPT出现后，整个AI行业井喷，随着scaling law的发展，模型能力越来越强，多模态的能力也越来越强。伴随而来的是inference能力的优化，API价格越来越便宜，使用大模型的门槛越来越低。
这些DS岗位，随着大模型的普及，便会进入到一个非常尴尬的地位。当大量公司都可以使用廉价的API，享受zui先进的NLP和CV功能时，成熟的工程师或软件开发人员可以用AI快速实现整个产品流程中的NLP和CV环节，这一类的DS岗位的定位就显得非常尴尬。
当然，这并不意味着DS岗位会完全消失。未来会出现明显的两极分化：一端是专注底层模型研发和优化的研究岗位（需要极强的数学/算法背景），另一端则是聚焦业务理解和工程落地的应用型岗位。后者反而可能催生出更多岗位机会，也是大多数资质平平的DS从业者的出路。这个方向的核心竞争力，恰恰是工程能力与业务理解的结合。
zui新的研究表明，高收入职业更容易受到AI的冲击。guo際学术期刊《科学》发表的一项研究显示，软件工程师和数据科学家等高收入者比收入较低的人更容易受到人工智能（AI）的影响。这项研究分析了923种职业，强调了AI对劳动力市场影响的不确定性。分析显示，近1/5的职业至少有一半的工作可能会受到机器学习进步的影响。
受影响zui大的职业包括区块链分析师、临床数据管理人员、公共关系专家和jin融量化分析师。摩托车修理工、打桩机操作员和石匠等工作不会受到影响。宾夕法尼亚大学运营、信息与决策助理教授Daniel Rock表示：“接触（AI）对员工来说可能是好事，也可能是坏事。”他补充道：“在这个阶段，我们很难预测对劳动力需求的长期影响。但通过暴露度指标可以得知，哪些地方可能会发生变化。”
Rock和他的团队通过GPT-4来分析，AI是否能在不降低质量的情况下，将一个人完成一项任务所需的时间至少缩短一半。他们得出的结论是，18.5%的职业的工作中，有50%或更多的任务符合上文描述的情况，而且这些工作通常是高薪领域。
此外，英国政府在去年发布的一项关于AI对就业市场影响的研究中得出了类似结论。该研究指出，伦敦jin融城的jin融专业人士将受到图像识别、语言建模和语音识别等AI应用的zui大影响。guo際货币基金组织（IMF）zui近也发表了关于生成式AI对就业市场的报告，结果显示，AI转型对高技能劳动者和白领工人的冲击更高度且更频繁。
对于数据分析师而言，AI的崛起带来了巨大的挑战。传统的数据清洗、报表生成等重复性工作正逐渐被AI所替代。初级分析师的职业发展变得更加艰难，整个行业面临新的挑战：如何在AI的挑战中找到新的机会？
数据清洗：数据的准确性和完整性对于分析的结果至关重要。传统的数据清洗工作需要耗费大量时间，数据分析师需要花费数小时来qu除重复、处理缺失值等。而AI能够通过预测算法自动识别数据中的异常和错误，秒速完成这些基础工作。
模型生成：在数据分析的核心环节，AI可以根据历史数据自动生成预测模型。例如，通过机器学习算法，AI能够分析出数据中的潜在规律，并为企业决策提供支持。根据Gartner的一项研究，70%的决策都是基于数据分析，AI的辅助将给这些决策带来更高的准确性。
报告生成：AI还可以自动化生成分析报告，通过可视化图表和文字解释将复杂的数据呈现给用户。根据Forrester研究，AI的应用使得数据报告的生成速度提高了50%以上，这无疑降低了分析师的工作负担。
面对AI技术的迅猛发展，数据分析师的角色正在经历重新塑造。通过有效的工具，他们能够更好地适应这种变化，提升自己的竞争力。让我们一起在AI时代，把数据分析的工作做到更加简洁高效！
#数据科学家 #人工智能 #NLP #CV #推荐算法 #大模型 #职业发展 #数据分析
