现在，当数据被聪明而负责任地收集和部署时，可以提供巨大的竞争优势，我们可以将人工智能视为催化剂，将这种数据驱动的经济提升到一个新的水平。数据如何应用于软件，以及企业如何管理风险和从人工智能计划中获取价值，将是区别。

在这种背景下，商业前景光明，数据和人工智能的融合将为企业提供前所未有的机会——从客户洞察和增强运营，到市场分析和产品创新。

但有一个问题不仅威胁着未来，也威胁着人工智能的存在：数据质量。

我们所有人都希望生活在一个可以构建和扩展颠覆性新人工智能技术的世界里，这种创新有可能让企业和我们的生活变得更好。但要想让人工智能以这种方式蓬勃发展，这项技术需要访问敏感数据，可以理解的是，许多人对将数据交给机器持谨慎态度。

这在人工智能潜在的变革价值和对数据信任的真正担忧之间产生了利益冲突。如果人们不信任人工智能，他们就不会愿意与人工智能开发者分享他们的数据，让它变得更好。如果这种缺乏信任的情况在监管层面发生，可能会阻止该技术的发展。

部分问题在于，我们目前没有人工智能模型的信任机制。与人工智能的信托关系根本不像我们信任医疗专业人员来存储和管理我们的敏感个人数据那样存在。人工智能信任关注的主要是公共领域的敏感数据，以及人工智能提供的结果——模型结果的保真度。

很快就会有一天，与来自机器和嵌入机器学习算法的大量数据相比，来自个人的数据将是沧海一粟。由于这些项目是用数据进行训练的，并且有一天它们自己可能会为未来的项目提供训练数据，因此必须扩大关于数据质量的讨论范围，将其纳入其中。

如果我们做对了，个人对这些模型的信任将意味着他们可以用越来越多样化的数据进行训练，这反过来将产生更高质量的数据输出。

更好的数据质量将转化为人工智能系统的更大价值。随着用户对该模型的信任和信心的增强，该技术可能有机会实现其变革性的、几乎是乌托邦式的、改变世界的潜力。

数据工程师将是构建人工智能增长和采用的基础设施的核心。但他们应该如何应对这一新的数据前沿？

最大的挑战将是确保全球业务标准是一个全面、非侵入性的数据可观察性系统。

数据发现应该被视为数据基础设施的直升机视图，它需要包含系统的每一个元素。观察数据堆栈是至关重要的，但不仅仅是表——日志、经过训练的模型、执行的管道、影响业务用户的任何上游变化——必须观察系统中数据的整个生命周期和系统本身。

数据治理也应该属于这个新的可观察性框架。问问自己：你意识到数据隐私了吗？

传统上，数据治理框架很难实施，各组织都在努力在一个非侵入性系统与有效提供高质量见解和解决问题之间取得正确的平衡在哪里。由于缺乏数据治理，数据可能会变得不一致并充满错误。在人工智能驱动的世界里，这只会变得更成问题。

公司高管应该能够访问数据治理仪表板，在那里检查每个数据点。他们需要知道跨系统的完全同意和许可，并且他们的模型符合法规要求。这里有一个全新的可观察性层，包括信任、合规性和尊重，这将需要构建到未来的数据框架中。

这意味着在数据旅程的每一个环节都要检查信任——从负责任的收集、使用到保留。目前，许多企业都明白，当个人要求删除他们身上的任何个人数据时，他们必须遵守。

有了人工智能，这个数据同意的问题就更难了。仅仅删除数据是不够的。人工智能模型可能已经根据这些数据进行了训练，就模型而言，它可能已经被烘焙出来了。因此，需要设计解决方案和系统，以消除机器中的所有数据痕迹，包括其训练机制。只有这样，我们才能真正说我们尊重数据，相信我们能够处理和使用数据。

人工智能过程的每一个方面——从如何训练到如何部署——都需要首席执行官、技术领导者和工程师给予最高级别的关注，以确保其处理的数据得到充分保护和尊重。监管机构也将迎头赶上。

数据质量必须在内部从头开始构建。第三方供应商不知道你的数据会是什么样子，你想观察的具体指标，以及你想处理的对你的业务至关重要的方面。只有您和您的企业才能构建一个以数据信任为核心的系统。

不仅是业务领导者或合规官需要考虑数据完整性，现在还需要考虑业务分析师和数据工程师的角色。通过结合数据治理、可观察性和信任的原则，数据工程师有基础建立技术基础设施，管理、安全和保护输入人工智能模型的数据。

通过将真正的数据管理作为所有业务运营的核心价值，我们可以确保未来为所有用户及其数据提供事实上的隐私和保护。这也将确保人工智能技术能够发展并取得成功。