人工智能的应用持续增长，在 2021 年的一项调查中，56% 的受访者表示人工智能已应用于至少一项业务职能，高于前一年的 50%。与此同时，人工智能本身也在快速发展，模型越来越大、速度越来越快，对计算能力和训练数据的需求似乎永无止境。长期以来，人们关注的焦点一直是“不惜一切代价做大做强”：更广泛的数据集、更大的模型和更重要的部署。对规模的持续需求是通过传统摩尔定律在芯片密度上的提升、向更专业硬件（如 GPU）的过渡以及在日益庞大的计算集群中使用蛮力来满足的。
然而，使得人工智能/机器学习应用扩展成为可能的、经常被忽视的因素是能效。大多数计算机环境，无论是移动设备、笔记本电脑、工作站还是数据中心，都早已达到其功率预算的上限。这意味着，未来规模和速度的提升必须来自于以相同的能量做更多的事情。这种对效率的关注将引领硬件和软件设计师之间紧密合作的新时代，以及数据科学家分析工作流程的更模块化方法。
我们是如何走到这一步的
从历史上看，服务器的高昂资本成本意味着在各种任务中的灵活性和性能是一个可靠系统的标志，该系统在多年内都将非常有用。然而，这种灵活性确实带来了一些权衡：由于硬件需要适应各种任务，因此无法针对特定工作负载实现最大效率。当大多数人运行的模型规模较小时，这还不是什么大问题，但在拥有数十亿参数模型和数万亿数据点的时代，这就不太理想了。
因此，我们开始看到硬件针对特定用例的专业化，例如 GPU 和 TPU。这种方法确实提高了效率，但前提是有一个合适的软件生态系统来支持硬件。随着专用芯片和服务器的迅速普及，近年来，使软件和硬件协同工作变得更加复杂。以移动设备为中心的芯片架构（如 ARM）开始在笔记本电脑、台式机和服务器市场取得重大进展；像 Apple M1 这样的新进入者也纷纷涌现；仅在 2020 年，风险投资家就向美国芯片初创公司投入了 18 亿美元。这是一个产品市场，准备迎来比以往任何时候都更多的新进入者；即使面对不可避免的整合，也很明显对专用硬件的需求在短期内不会放缓。
那么，数据科学家如何在尝试高效运行各种工作负载时，既能利用所有这些新的选择和创新，又不受兼容性挑战的困扰呢？
软件和硬件之间更紧密的关系带来更高的效率
随着人工智能/机器学习任务在行业中继续更广泛地部署，我们将开始看到一股强大的推动力，朝着更节能的架构以及软件和硬件的协同设计方向发展，以更有效地协同工作。这在实践中是什么样的呢？
随着硬件的进步，至关重要的是，这些公司也要投资于软件开发体验。对于数据科学领域而言，这尤其包括与开源社区的沟通，以实现信息的双向流动：硬件制造商可以更好地了解从业者的需求和工作流程，软件开发人员可以看到硬件创新的方向，并创建支持性架构，以便针对新的和不断发展的芯片进行优化。数据科学是一个有趣的用例，因为社区是开源驱动的，这意味着可能并不总是有明显的联系点供硬件供应商联系。但是，为了使新芯片和服务器被采用，以及为了使开源项目继续保持广泛的兼容性，建立联系的努力是非常值得的。
更模块化的工作流程方法最大化了优化的机会
创建高效数据科学体验的责任不仅在于硬件和软件开发人员。数据科学家也需要调整他们的工作习惯，以便在最大限度地减少开销的同时，获得硬件创新带来的好处。特别是，他们应该对分析采取更模块化的方法，以便利用最有效地支持其工作流程每个元素的硬件。随着时间的推移，当新的选择出现时，这也将使数据科学家更容易混合和匹配硬件和软件。单体软件方法在概念上很吸引人，但会限制数据科学家从即将到来的创新中获益的能力。
为了实施模块化工作流程，数据科学家在考虑每个硬件平台和软件包时，应问问自己“这个工具最适合做什么？”。建立一个关于哪种硬件和软件包在特定情况下表现良好的心智模型，将为数据科学家和 MLOps 人员节省大量时间和精力。当然，这是一项具有挑战性的工作——尤其是在随着新进入者的出现，选择不断增加的情况下。但是，当您为您的特定用例找到一个出色的硬件/软件组合时，效率的提升可能是显著的。
使模块化工作流程更实用
使模块化分析工作流程可行且易于使用的最大组成部分将是各种硬件平台和软件包之间的持续集成。这两个长期以来被认为是独立实体的部分，越能和谐地工作，就越容易混合搭配以实现最大效率。数据科学家还可以通过考虑其工作流程中最关键的部分是什么，并专注于将最适合工作的硬件与最适合这些任务的软件相匹配，从而使模块化方法更容易实施。这将是最大收益的来源；加速一个只占您整个工作流程运行时间 5% 的任务，并没有太多好处。
遗憾的是，今天没有针对所有数据科学工作流程优化的万能硬件解决方案，而且可能永远也不会有。但是，正如云提供商为普通用户解锁了大规模计算能力一样，他们可以通过使数据科学家在运行工作负载时更轻松地在不同的专用芯片之间移动，从而在此处发挥重要作用。当然，这种方法的成功将取决于软件和硬件设计人员跟上彼此并构建互补、兼容系统的能力。
光明的前景
为了在人工智能/机器学习工作流程中实现最大效率，需要各方的共同努力，但过去两年的进步已经表明，为这类任务创建具有高性能和低功耗的专用硬件是可能的。随着数据科学家开始更多地关注能效，硬件和软件之间的联系和相互作用将变得更加明显和重要。挑战将在于将大量的软件包引入新平台。能够共同努力应对这一挑战的硬件制造商和软件社区，有望从那些可以利用其技术推动新一轮人工智能/机器学习创新的数据科学家那里获得可观的市场份额。
