欢迎光临散文网 会员登陆 & 注册

R语言文本主题模型之潜在语义分析（LDA:Latent Dirichlet Allocation）

2021-01-21 20:15 作者:拓端tecdat  | 我要投稿

原文：http://tecdat.cn/?p=3897

 

文本分析：主题建模

  1. library(tidyverse)

  2. theme_set( theme_bw())

 

目标

  • 定义主题建模

  • 解释Latent Dirichlet以及此过程的工作原理

  • 演示如何使用LDA从一组已知主题中找到主题结构

  • 演示如何使用LDA从一组未知主题中找到主题结构

  • 确定k

  • 选择适当参数的方法

主题建模

 

通常，当我们在线搜索信息时，有两种主要方法：

  1. 关键字 - 使用搜索引擎并输入与我们想要查找的内容相关的单词

  2. 链接。链接的页面可能共享相似或相关的内容。

另一种方法是通过主题搜索和探索文档。广泛的主题可能与文章中的各个部分（国家事务，体育）有关，但这些部分内或之间可能存在特定主题。

为此，我们需要有关每篇文章主题的详细信息。对该语料库进行手工编码将非常耗时，更不用说在开始编码之前需要知道文档的主题结构。

因此，我们可以使用概率主题模型，分析原始文本文档中的单词的统计算法来揭示语料库和单个文档本身的主题结构。在分析之前，它们不需要对文档进行任何手工编码或标记 - 相反，算法来自对文本的分析。

潜在Dirichlet分配

LDA假定语料库中的每个文档都包含在整个语料库中的混合主题。主题结构是隐藏的 - 我们只能观察文档和文字，而不是主题本身。因为结构是隐藏的（也称为潜在的），所以该方法试图在给定已知单词和文档的情况下推断主题结构。

食物和动物

假设您有以下句子：

  1. 我早餐吃了香蕉和菠菜。

  2. 我喜欢吃西兰花和香蕉。

  3. 龙猫和小猫很可爱。

  4. 我姐姐昨天收养了一只小猫。

  5. 看看这只可爱的仓鼠嚼着一块西兰花。

Latent Dirichlet分配是一种自动发现这些句子所包含的主题的方法。例如，给定这些句子并询问2个主题，LDA可能会产生类似的东西

  • 句子1和2：100％主题A.

  • 句子3和4：100％主题B.

  • 句子5：60％主题A，40％主题B.

  • 主题A：30％西兰花，15％香蕉，10％早餐，10％咀嚼，......

  • 主题B：20％龙猫，20％小猫，20％可爱，15％仓鼠，......

您可以推断出主题A是关于食物的主题，主题B是关于可爱动物的主题。但是，LDA没有以这种方式明确地确定主题。它所能做的就是告诉你特定单词与主题相关的概率。

LDA文档结构

LDA将文档表示为以某些概率单词的主题组合。它假设文档以下列方式生成：在编写每个文档时，您

  • 确定单词数N.

  • 为文档选择主题（根据K个主题）

  • 例如，假设我们上面有两个食物和可爱的动物主题。

  • 通过以下方式生成文档中的每个单词：

  • 首先选择一个主题（根据您在上面采样的分配;例如，您可以选择1/3概率的食物主题和2/3概率的可爱动物主题）。

  • 然后使用主题生成单词本身（根据主题分配）。例如，食物主题可能输出概率为30％的“西兰花”，概率为15％的“香蕉”，依此类推。

 

我们怎么能在前面的例子中生成句子？生成文档D时：

  • D 将是一半关于食物和一半关于可爱动物。

  • 选择5为D的单词数

  • 从食物主题中选择第一个词，然后给出“西兰花”这个词。

  • 选择第二个词来自可爱的动物主题，如“熊猫”。

  • 选择第三个词来自可爱的动物主题，如“可爱”。

  • 选择第四个词来源于食物主题，如“樱桃”。

  • 从食物主题中选出第五个词，如“吃”。

因此，在LDA模型下生成的文件将是“可爱的熊猫吃樱桃和西兰花”（LDA使用的是词袋模型）。

通过LDA学习主题模型

现在假设您有一组文档。你选择了一些固定数量的K.

ķ是要发现的主题，我们希望使用LDA来学习每个文档的主题表示以及与每个主题相关联的单词。怎么做到这一点？一种方式（称为吉布斯采样）如下：

  • 浏览每个文档，并将文档中的每个单词随机分配给K中的一个ķ 主题

  • 但由于它是随机的，这不是一个非常准确的结构。

  • 换句话说，在这一步中，我们假设除了当前单词之外的所有主题分配都是正确的，然后使用我们的文档生成模型更新当前单词的赋值。

  • 重复上一步骤很多次，你最终会达到一个大致稳定的状态

  • 您可以使用这些分配来估计两件事：

  1. 每个文档的主题（通过计算分配给该文档中每个主题的单词的比例）

  2. 与每个主题相关的单词（通过计算分配给每个主题的单词的比例）

具有已知主题结构的LDA

如果先验地知道一组文档的主题结构，LDA可能是有用的。

我们可以使用LDA和主题建模来发现章节与不同主题（即书籍）的关系。

作为预处理，我们将这些分为章节，使用tidytext unnest_tokens将它们分成单词，然后删除stop_words。我们将每一章都视为一个单独的“文档” 。


  2. by_chapter <- books %>%

  3. group_by(title) %>%

  4. mutate(chapter = cumsum( str_detect(text, regex("^chapter ", ignore_case = TRUE)))) %>%

  5. ungroup() %>%


  7. count(title_chapter, word, sort = TRUE) %>%

  8. ungroup()

  9. ## Joining, by = "word"

  10. word_counts

  11. ## # A tibble: 104,721 × 3

  12. ## title_chapter word n

  13. ## <chr> <chr> <int>

  14. ## 1 Great Expectations_57 joe 88

  15. ## 2 Great Expectations_7 joe 70

  16. ## 3 Great Expectations_17 biddy 63

  17. ## 4 Great Expectations_27 joe 58

  18. ## 5 Great Expectations_38 estella 58

  19. ## 6 Great Expectations_2 joe 56

  20. ## 7 Great Expectations_23 pocket 53

  21. ## 8 Great Expectations_15 joe 50

  22. ## 9 Great Expectations_18 joe 50

  23. ## 10 The War of the Worlds_16 brother 50

  24. ## # ... with 104,711 more rows

 

 

潜在狄利克雷分配(latnet Dirichlet allocation, LDA)模型

topicmodels包需要一个DocumentTermMatrix（来自tm包）。我们可以用cast_dtm函数转换为DocumentTermMatrix：

  1. chapters_dtm

  2. ## <<DocumentTermMatrix (documents: 193, terms: 18215)>>

  3. ## Non-/sparse entries: 104721/3410774

  4. ## Sparsity : 97%

  5. ## Maximal term length: 19

  6. ## Weighting : term frequency (tf)

 

现在我们准备创建一个四主题LDA模型。

  1. chapters_lda <- LDA(chapters_dtm, k = 4, control = list(seed = 1234))

  2. chapters_lda

  3. ## A LDA_VEM topic model with 4 topics.

 

  • 在这种情况下，我们知道有四个主题，因为有四本书; 这是了解潜在主题结构的价值

  • seed = 1234设置随机迭代过程的起点。如果我们没有设置种子，那么每次运行脚本时我们都可以估算出略有不同的模型

我们从动词开始。

  1. library(tidytext)

  2. chapters_lda_td <- tidy(chapters_lda)

  3. chapters_lda_td

  4. ## # A tibble: 72,860 × 3

  5. ## topic term beta

  6. ## <int> <chr> <dbl>

  7. ## 1 1 joe 5.830326e-17

  8. ## 2 2 joe 3.194447e-57

  9. ## 3 3 joe 4.162676e-24

  10. ## 4 4 joe 1.445030e-02

  11. ## 5 1 biddy 7.846976e-27

  12. ## 6 2 biddy 4.672244e-69

  13. ## 7 3 biddy 2.259711e-46

  14. ## 8 4 biddy 4.767972e-03

  15. ## 9 1 estella 3.827272e-06

  16. ## 10 2 estella 5.316964e-65

  17. ## # ... with 72,850 more rows

 

 

我们可以使用dplyr's top_n来查找每个主题中的前5个词：


  2. top_n(5, beta) %>%

  3. ungroup() %>%

  4. arrange(topic, -beta)

  5. top_terms

  6. ## # A tibble: 20 × 3

  7. ## topic term beta

  8. ## <int> <chr> <dbl>

  9. ## 1 1 elizabeth 0.014107538

  10. ## 2 1 darcy 0.008814258

  11. ## 3 1 miss 0.008706741

  12. ## 4 1 bennet 0.006947431

  13. ## 5 1 jane 0.006497512

 

可视化


  2. ggplot( aes(term, beta, fill = factor(topic))) +

  3. geom_bar(alpha = 0.8, stat

 

  • 这些主题与四本书非常明显相关

  • “nemo”，“sea”和“nautilus”属于海底两万里

  • “jane”，“darcy”和“elizabeth”属于傲慢与偏见

另请注意，LDA()不会为每个主题分配任何标签。它们只是主题1,2,3和4. 我们可以推断这些与每本书有关，但它仅仅是我们的推论。

按文档分类

每一章都是本分析中的“文件”。因此，我们可能想知道哪些主题与每个文档相关联。我们可以把这些章节放回正确的书中吗？

  1. chapters_lda_gamma

  2. ## # A tibble: 772 × 3

  3. ## document topic gamma

  4. ## <chr> <int> <dbl>

  5. ## 1 Great Expectations_57 1 1.351886e-05

  6. ## 2 Great Expectations_7 1 1.470726e-05

  7. ## 3 Great Expectations_17 1 2.117127e-05

  8. ## 4 Great Expectations_27 1 1.919746e-05

  9. ## 5 Great Expectations_38 1 3.544403e-01

  10. ## 6 Great Expectations_2 1 1.723723e-05

  11. ## 7 Great Expectations_23 1 5.507241e-01

  12. ## 8 Great Expectations_15 1 1.682503e-02

  13. ## 9 Great Expectations_18 1 1.272044e-05

  14. ## 10 The War of the Worlds_16 1 1.084337e-05

  15. ## # ... with 762 more rows

 

每行每个主题一个文档。现在我们已经有了这些文档分类，我们可以看到我们的无监督学习在区分四本书方面做得如何。

首先，我们将文档名称重新分为标题和章节：

  1. chapters_lda_gamma <- chapters_lda_gamma %>%

  2. separate(document, c("title", "chapter"), sep = "_", convert = TRUE)

  3. chapters_lda_gamma

  4. ## # A tibble: 772 × 4

  5. ## title chapter topic gamma

  6. ## * <chr> <int> <int> <dbl>

  7. ## 1 Great Expectations 57 1 1.351886e-05

  8. ## 2 Great Expectations 7 1 1.470726e-05

  9. ## 3 Great Expectations 17 1 2.117127e-05

  10. ## 4 Great Expectations 27 1 1.919746e-05

  11. ## 5 Great Expectations 38 1 3.544403e-01

  12. ## 6 Great Expectations 2 1 1.723723e-05

  13. ## 7 Great Expectations 23 1 5.507241e-01

  14. ## 8 Great Expectations 15 1 1.682503e-02

  15. ## 9 Great Expectations 18 1 1.272044e-05

  16. ## 10 The War of the Worlds 16 1 1.084337e-05

  17. ## # ... with 762 more rows

然后我们检查每个章节的正确部分：

  1. ggplot(chapters_lda_gamma, aes(gamma, fill = factor(topic))) +

  2. geom_histogram() +

  3. facet_wrap(~ title, nrow = 2)

  4. ## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

 

我们注意到，几乎所有来自“ 傲慢与偏见”，“世界大战 ”和“ 海底两万里 ”的章节都被确定为一个章节。

  1. chapter_classifications <- chapters_lda_gamma %>%

  2. group_by(title, chapter) %>%

  3. top_n(1, gamma) %>%

  4. ungroup() %>%

  5. arrange(gamma)

  6. chapter_classifications

  7. ## # A tibble: 193 × 4

  8. ## title chapter topic gamma

  9. ## <chr> <int> <int> <dbl>

  10. ## 1 Great Expectations 54 3 0.4803234

  11. ## 2 Great Expectations 22 4 0.5356506

  12. ## 3 Great Expectations 31 4 0.5464851

  13. ## 4 Great Expectations 23 1 0.5507241

  14. ## 5 Great Expectations 33 4 0.5700737

  15. ## 6 Great Expectations 47 4 0.5802089

  16. ## 7 Great Expectations 56 4 0.5984806

  17. ## 8 Great Expectations 38 4 0.6455341

  18. ## 9 Great Expectations 11 4 0.6689600

  19. ## 10 Great Expectations 44 4 0.6777974

  20. ## # ... with 183 more rows

 

主题建模期望最大化算法中的一个重要步骤是将每个文档中的每个单词分配给一个主题。文档中的单词越多分配给该主题，通常，权重（gamma）将在该文档主题分类上。

 

具有未知主题结构的LDA

通常在使用LDA时，您实际上并不知道文档的基础主题结构。通常，这就是您首先使用LDA分析文本的原因。

美联社文章

数据是1992年发布的文章样本的文档术语矩阵。让我们将它们加载到R中并转换为整齐格式。

  1. ## 1 1 adding 1

  3. ## 2 1 adult 2

  5. ## 3 1 ago 1

  7. ## 4 1 alcohol 1

  9. ## 5 1 allegedly 1

  11. ## 6 1 allen 1

  13. ## 7 1 apparently 2

  15. ## 8 1 appeared 1

  17. ## 9 1 arrested 1

  19. ## 10 1 assault 1

  21. ## # ... with 302,021 more rows

为什么要先整理一下？因为原始的dtm包含停用词 - 我们想在建模数据之前删除它们。然后将数据转换回文档矩阵。

  1. ## Sparsity : 99%

  3. ## Maximal term length: 18

  5. ## Weighting : term frequency (tf)

每个主题的顶级词是什么样的？
 


  2. group_by(topic) %>%


  4. top_n(5, beta) %>%


  6. ungroup() %>%


  8. arrange(topic, -beta)


  10. top_terms

  12. ## # A tibble: 20 × 3

  14. ## topic term beta

  16. ## <int> <chr> <dbl>

  18. ## 1 1 soviet 0.009502197

  20. ## 2 1 government 0.009198486

  22. ## 3 1 president 0.007046753

  24. ## 4 1 united 0.006507324

  26. ## 5 1 people 0.005402784

  28. ## 6 2 people 0.007454587

  30. ## 7 2 police 0.006433472

  32. ## 8 2 city 0.003996852

  34. ## 9 2 time 0.003369658

  36. ## 10 2 school 0.003058213

  38. ## 11 3 court 0.006850723

  40. ## 12 3 bush 0.006510244

  42. ## 13 3 president 0.005777216

  44. ## 14 3 federal 0.005512805

  46. ## 15 3 house 0.004657550

  48. ## 16 4 percent 0.023766679

  50. ## 17 4 million 0.012489935

  52. ## 18 4 billion 0.009864418

  54. ## 19 4 market 0.008402463

  56. ## 20 4 prices 0.006693626


  58. top_terms %>%


  60. ) +


  62. coord_flip()

这四个主题通常用于描述：

如果我们设置k=12

我们的结果如何变化？

  1. group_by(topic) %>%


  3. top_n(5, beta) %>%


  5. ungroup() %>%


  7. arrange(topic, -beta)


  9. top_terms

  11. ## # A tibble: 60 × 3

  13. ## topic term beta

  15. ## <int> <chr> <dbl>

  17. ## 1 1 military 0.011691176

  19. ## 2 1 united 0.011598436

  21. ## 3 1 iraq 0.010618221

  23. ## 4 1 president 0.009498227

  25. ## 5 1 american 0.008253379

  27. ## 6 2 dukakis 0.009819260

  29. ## 7 2 bush 0.007300830

  31. ## 8 2 campaign 0.006366915

  33. ## 9 2 people 0.006098596

  35. ## 10 2 school 0.005208529

  37. ## # ... with 50 more rows

 

 嗯，这些主题似乎更具体，但不易理解。

等。

LDA的某些方面是由直觉思维驱动的。但是我们可以提供辅助方法。

困惑度是概率模型预测样本的程度的统计量度。你估计LDA模型。然后给出由主题表示的理论单词分配，将其与实际主题或文档中单词的分配进行比较。

perplexity为给定模型计算该值的函数。

  1. perplexity(ap_lda)


  3. ## [1] 2301.814

但是，统计数据本身有点无意义。这种统计数据的好处在于比较不同模型的不同k的困惑度。具有最低困惑度的模型通常被认为是“最佳”。

让我们估算美联社数据集上的一系列LDA模型。

  1. n_topics <- c(2, 4, 10, 20, 50, 100)


  3. ap_lda_compare <- n_topics %>%


  5. map(LDA, x = ap_dtm, control = list(seed = 1109))


  7. geom_point() +


  9. y = "Perplexity")

看起来100主题模型具有最低的困惑分数。这会产生什么样的主题？让我们看一下模型产生的前12个主题：

  1. ap_lda_td <- tidy(ap_lda_compare[[6]])

  2. top_terms <- ap_l

  3. ungroup() %>%

  4. arrange(topic, -beta)

  5. top_terms

  6. ## # A tibble: 502 × 3

  8. ## topic term beta

  10. ## <int> <chr> <dbl>

  12. ## 1 1 party 0.020029039

  14. ## 2 1 communist 0.013810107

  16. ## 3 1 government 0.013221069

  18. ## 4 1 news 0.013036980

  20. ## 5 1 soviet 0.011512086



  23. ggplot(aes(term, beta, fill = factor(topic))) +


  25. geom_bar(alpha = 0.8, stat = "identity", show.legend = FALSE) +


  27. facet_wrap(~ topic, scales = "free", ncol = 3) +


  29. coord_flip()

我们现在正在获得更具体的主题。问题是我们如何呈现这些结果并以信息方式使用它们。

同样，这也是您作为研究人员时直觉和领域知识非常重要的地方。您可以使用困惑作为决策过程中的一个数据点，但很多时候它只是简单地查看主题本身以及与每个主题相关联的最高概率词来确定结构是否有意义。如果您有一个已知的主题结构，您可以将其与之比较（例如上面的书籍示例），这也很有用。

 

最受欢迎的见解

1.探析大数据期刊文章研究热点

2.618网购数据盘点-剁手族在关注什么

3.r语言文本挖掘tf-idf主题建模，情感分析n-gram建模研究

4.python主题建模可视化lda和t-sne交互式可视化

5.r语言文本挖掘nasa数据网络分析，tf-idf和主题建模

6.python主题lda建模和t-sne可视化

7.r语言中对文本数据进行主题模型topic-modeling分析

8.r语言对nasa元数据进行文本挖掘的主题建模分析

9.python爬虫进行web抓取lda主题语义数据分析


标签：

R语言文本主题模型之潜在语义分析（LDA:Latent Dirichlet Allocation）的评论 (共 条)

分享到微博请遵守国家法律