作为一家大型临床试验服务提供商，WCG对许多药物和医疗设备的市场路径具有相当大的影响。但作为30多家前独立的公司的集合体，很难获得支持这些服务的一致数据。这就是Tamr的数据掌握解决方案提供帮助的地方。
作为一个临床服务组织，WCG代表制药公司和设备制造商处理临床试验的所有方面，从人力资源和IT到患者参与和道德审查，为默克和罗氏等制药巨头以及数以千计的中小型制药初创公司和研究集团提供关键服务，这些公司寻求获得监管机构对新药和设备的批准。
该公司唯一没有提供的服务就是进行实际试验。“我们不这么做。”该公司的首席技术官兼数据官阿特·莫拉莱斯(Art Morales)说。
在过去十年中，WCG通过收购35家公司，在临床试验行业建立了有利可图的利基市场。每一家公司——其中一些已经有50多年的历史——都专门处理临床试验过程的某些方面。这些公司开发了他们自己的定制软件应用程序来自动化他们的各种业务流程，提供了非常有价值的知识产权来源。
从每个独立业务的角度来看，拥有不同的系统很有意义，但这对WCG构成了挑战，WCG希望对所有子公司的运营保持一致的看法。
该公司最初试图以人工解决数据不一致的问题。一个大约5到10人的团队工作了两年，根除了35家子公司使用的不同系统中存在的拼写错误、重复条目和其他数据错误。经过清理的标准化数据存储在运行在云端的WCG数据仓库中，在那里可以使用各种强大的分析引擎对数据进行分析。
“我们遇到的一个大问题是，你如何确定一个‘节点’在不同的组织中是同一个‘节点’?” 莫拉莱斯解释道。“在一些系统中，可能有地址，也可能没有地址，也可能地址拼写不正确。有些数据可能只是缺失了，真的有很多不确定性。”
由于这种不确定性和需要逐个作出决定，手工掌握数据的过程是乏味和耗时的。该公司花费了数百万美元来掌握数据，但数据仍然存在不一致性。
莫拉莱斯意识到应该有更好的办法。他从Tamr那里听说了一个数据掌握工具，它使用机器学习来自动识别大型数据集中的已知实体。
基于机器学习的数据掌握
Tamr是一个数据质量工具，诞生于八年前，源自麻省理工学院著名计算机科学家Mike Stonebraker进行的学术研究。
据曾长期担任Qlik高管、现为Tamr首席产品官的安东尼·戴顿(Anthony Deighton)称，Stonebraker认为，机器学习对于解决长期存在的数据质量问题是必要的，这些问题在大数据规模下会加剧。
多年来，解决这一难题的规定解决方案一直是主数据管理(MDM)项目。不再依赖于每个单独的系统来确保所有的事情都是正确的，单独的数据系统将拥有指向已知的数据副本的指针——可以称之为“黄金唱片”。
金唱片的方法可以解决问题，至少他们是这么认为的。然而，一旦遇到现实，再周密的计划也有化为尘土的风险。这正是传统MDM所发生的情况。
依靠人类来清理和管理数据是徒劳的。这是行不通的。
Stonebraker对这个问题的深刻见解是使用机器学习来对数据进行分类，就像谷歌在早期互联网上使用机器学习来自动对网站进行分类一样，这打败了雅虎(Yahoo)手动管理互联网的努力。
通过训练机器识别业务系统中的实体，Tamr找到了一种自动创建黄金唱片的方法。团队得出的一个关键结论是，当人们被要求用有限的一组选项来确认一致性时，要比同时使用几十个或数百个选项做得好得多。
临床上黄金唱片
WCG的Tamr试验于2021年5月开始。经过一段时间的训练，Tamr软件观察并学习员工如何处理数据差异。
WCG的一组员工与Tamr一起检查和清理数据仓库中的所有数据源。该软件识别了“集群”，即两个或两个以上的术语，它们在不同的应用程序中表示相同的东西，并作为黄金记录加载在WCG的云数据仓库中。
在将数据加载到数据仓库之前，每个数据源都要通过Tamr运行。数据源的大小从大约50,000条记录到超过100万条记录不等，每个实体可能有200列左右。问题不在于数量，而在于复杂性。除了将数据掌握过程加快约4倍之外，Tamr工具还产生了更标准化的数据，这意味着业务运营的清晰度更高。
“当你清理数据时，现在你可以使用更干净的数据来获得更好的运营洞察力。” 莫拉莱斯说。“我们可以通过Salesforce和我们的应用程序进行匹配，以知道这些是正确的东西。以前，如果数据没有被清洗干净，你会匹配50%。现在我们可以匹配80%。因此，使用我们正在做的事情有非常明显的操作好处。”
Tamr不能成功地将所有实体匹配到集群中，仍然有一些边缘情况需要人类的专业知识。在这些情况下，软件会让操作员知道它对匹配的信心很低。但根据莫拉莱斯的说法，Tamr非常擅长找到明显的匹配。他说，从第一天起，准确率约为95%。
“你必须接受任何数据掌握项目都会出现不匹配。会出现第一类和第二类错误，”他说。“如果你能从….追踪这些错误的来源就很好了。因为人类也会犯同样的错误。”
此外，Tamr还有助于WCG更好地理解其数据。
莫拉莱斯说，该公司的人工数据掌握方法总共花费了数百万美元，而Tamr的费用不到100万美元。数据质量的改善更难量化，但可以说是更重要的。
