标记化可以将文本拆分成更小的部分(标记),以便LLM有效地处理和理解语言模式。这对于LLM处理不同的语言至关重要。

 

如今,GPT-3、GPT-4或谷歌的BERT等大型语言模型(LLM)已经成为人工智能理解和处理人类语言的重要组成部分。但在这些模型展现出令人印象深刻的能力背后,却隐藏着一个很容易被忽视的过程:标记化。本文将解释标记化的定义,标记化如此重要的原因,以及在实际应用中是否能够规避这一步骤。

想象一下,你正在阅读一本书,但书中的文本不是由单词和句子组成,而是由一长串没有空格或标点符号的字母组成,这将很难理解。对于计算机来说,处理原始文本也是如此。为了使语言对机器来说可以理解,文本需要被拆分成更小、更易于消化的部分——这些部分被称为标记(tokens)。

什么是标记化?

标记化是将文本分割成更小的块的过程,这些块使模型更容易理解。这些块可以是:

  • 单词:最自然的语言单位(例如,”I”、”am”、”happy”)。
  • 子词:当模型不知道整个单词时,更小的单位可以提供帮助(例如,”running”中的”run”、”ning”)。
  • 字符:在某些情况下,是单个字母或符号(例如,“a”、”b”、”c”)。

为什么需要标记?

以一个例句为例:”The quick brown fox jumps over the lazy dog.”(敏捷的棕色狐狸跳过懒惰的狗。)

计算机把这个句子看作是一长串字母:Thequickbrownfoxjumpsoverthelazydog.

除非把它拆分成更小的部分或标记,否则计算机无法理解。以下是这个句子的标记化版本:

1.单词级标记化:

  • [“The”, “quick”, “brown”, “fox”, “jumps”, “over”, “the”, “lazy”, “dog”]

2.子词级标记化:

  • [“The”, “qu”, “ick”, “bro”, “wn”, “fox”, “jump”, “s”, “over”, “the”, “lazy”, “dog”]

3.字符级标记化:

  • [“T”, “h”, “e”, “q”, “u”, “i”, “c”, “k”, “b”, “r”, “o”, “w”, “n”, “f”, “o”, “x”, “j”, “u”, “m”, “p”, “s”, “o”, “v”, “e”, “r”, “t”, “h”, “e”, “l”, “a”, “z”, “y”, “d”, “o”, “g”]

然后,大型语言模型(LLM)从这些标记中学习,理解模式和关系。如果没有标记,LLM可能不知道一个单词从哪里开始,另一个单词在哪里结束,或者单词的哪一部分很重要。

标记化如何在LLM中工作

大型语言模型并不能像人类那样”理解”语言。与其相反,LLM分析文本数据中的模式。对此,标记化是至关重要的,因为它有助于将文本拆分为易于模型处理的形式。

大多数LLM使用特定的标记化方法:

1.字节对编码(BPE)

这种方法将字符或子词组合成常用的词组。例如,”running”可以分为”run”和”ning”。BPE对于捕获子词级的模式很有用。

2.WordPiece

BERT和其他LLM使用这种标记化方法。它的工作原理与BPE类似,但基于它们在语景中的频率和含义来构建标记。

3.SentencePiece

这是一种更通用的标记化方法,可以处理没有明确单词边界的语言,例如中文或日语。

标记化在LLM中的重要性

文本拆分的方式会显著影响LLM的性能。以下深入探讨标记化至关重要的几个关键原因:

1.高效处理

LLM需要处理大量的文本。标记化将文本减少为可管理的部分,使LLM更容易处理大型数据集,而不会耗尽内存或变得不堪重负。

2.处理未知单词

有时,LLM会遇到以前从未见过的单词。如果模型只理解整个单词,遇到一些不寻常的单词,例如“supercalifragilisticexpialidocious”,它可能不知道如何处理。子词标记化有助于将单词拆分成更小的部分(例如”super”、”cali”和”frag”),使LLM仍然能够理解。

3.多语言和复杂文本

不同的语言以独特的方式构造单词。标记化有助于拆分不同字母的语言中的单词,例如阿拉伯语或中文,甚至可以处理社交媒体上的标签等复杂的事情(#ThrowbackThursday)。

标记化如何提供帮助的示例

以下看看标记化如何帮助模型处理包含复杂单词的句子。

假设有这样一个语言模型:“Artificial intelligence is transforming industries at an unprecedented rate. ”(人工智能正在以前所未有的速度改变各行业。)

如果没有采用标记化,LLM可能难以理解整个句子。然而,当采用标记化时,它看起来像这样:

标记化版本(子词):

  • [“Artificial”, “intelligence”, “is”, “transform”, “ing”, “industr”, “ies”, “at”, “an”, “unprecedented”, “rate”]

现在,尽管“transforming”和“industries”可能是棘手的单词,但该模型将它们拆分为更简单的部分(“transform”、“ing”、“industrir”、“ies”)。这使得LLM更容易从中学习。

标记化的挑战

虽然标记化至关重要,但它并不完美,并且面临一些挑战:

1.没有空格的语言

有些语言(例如汉语或泰语)单词之间没有空格。这使得标记化变得困难,因为模型必须决定一个单词在哪里结束,另一个单词从哪里开始。

2.模棱两可的单词

当一个单词有多重含义时,标记化可能会遇到困难。例如,“lead”这个单词可以表示“铅”或“领导”。标记化过程不能总是仅根据标记确定正确的含义。

3.罕见单词

LLM经常会遇到罕见单词或新创单词,尤其是在互联网上。如果一个单词不在模型的词汇表中,那么标记化过程可能会将其拆分为笨拙或无用的标记。

能否避免标记化?

考虑到它的重要性,下一个问题是:是否可以避免标记化?

从理论上来说,通过直接在字符级别工作(即将每个字符视为标记),可以构建不依赖于标记化的模型。但这种方法也有以下一些缺点:

1.更高的计算成本

处理字符需要更多的计算量。LLM不再只需处理句子的几个标记,而是要处理数百个字符,这显著增加了模型的内存占用和处理时间。

2.意义缺失

字符本身并不总是具有实际意义,例如,“apple”中的字母“a”和“cat”中的字母“a”是相同的,但是这两个单词的含义却截然不同。如果没有标记来引导模型,LLM则难以把握语境。

尽管如此,仍有一些实验性模型正尝试摆脱标记化。但就目前而言,标记化仍然是LLM处理语言的最高效和最有效的方法。

结论

标记化似乎是一项简单的任务,但它是LLM理解和处理人类语言的基础。如果没有它,LLM将很难理解文本、处理不同的语言或处理罕见单词。虽然一些研究正在寻找标记化的替代方案,但就目前而言,它是LLM工作的重要组成部分。

而人们在使用LLM时,无论是回答问题、翻译文本还是写诗,都要记住的是:这一切都是通过标记化实现的,它将单词拆分成多个部分,这样人工智能就能更好地理解和回应。

关键要点

  • 标记化是将文本拆解成更小、更易管理的单元(称为标记)的过程。
  • 标记可以是单词、子词或单个字符。
  • 标记化对于LLM高效地处理文本、处理未知单词以及跨语言工作至关重要。
  • 虽然存在替代方案,但标记化仍然是现代LLM的重要组成部分。

文章来自:51CTO

Loading

作者 yinhua

发表回复