Spark MLlib LDA主题模型(1),mlliblda


Spark MLlib LDA主题模型(1)

Spark MLlib LDA主题模型是Spark1.3开始加入的,具体介绍看以下文档:

官方编程指南:

http://spark.apache.org/docs/latest/mllib-clustering.html#latent-dirichlet-allocation-lda

Spark MLlib LDA 简介:

http://blog.jobbole.com/86130/

关于LDA主题模型的理论知识讲解放在下期。

1.1 LDA实例

实例步骤:

1)加载数据

返回的数据格式为:documents: RDD[(Long, Vector)],其中:Long为文章ID,Vector为文章分词后的词向量;用户可以读取指定目录下的数据,通过分词以及数据格式的转换,转换成RDD[(Long, Vector)]即可。

2)建立模型

模型参数设置说明:

k: 主题数,或者聚类中心数

DocConcentration:文章分布的超参数(Dirichlet分布的参数),必需>1.0

TopicConcentration:主题分布的超参数(Dirichlet分布的参数),必需>1.0

MaxIterations:迭代次数

setSeed:随机种子

CheckpointInterval:迭代计算时检查点的间隔

Optimizer:优化计算方法,目前支持"em", "online"

3)结果输出

topicsMatrix以及topics(word,topic))输出。

实例代码如下: 

import org.apache.log4j.{ Level, Logger }
import org.apache.spark.{ SparkConf, SparkContext }
import org.apache.spark.mllib.clustering.LDA
import org.apache.spark.mllib.linalg.Vectors

object lda {

  def main(args: Array[String]) {
    //0 构建Spark对象
    val conf = new SparkConf().setAppName("lda")
    val sc = new SparkContext(conf)
    Logger.getRootLogger.setLevel(Level.WARN)
    
    //1 加载数据,返回的数据格式为:documents: RDD[(Long, Vector)]
    // 其中:Long为文章ID,Vector为文章分词后的词向量
    // 可以读取指定目录下的数据,通过分词以及数据格式的转换,转换成RDD[(Long, Vector)]即可
    val data = sc.textFile("data/mllib/sample_lda_data.txt")
    val parsedData = data.map(s => Vectors.dense(s.trim.split(' ').map(_.toDouble)))
    // Index documents with unique IDs
    val corpus = parsedData.zipWithIndex.map(_.swap).cache()

    //2 建立模型,设置训练参数,训练模型
    /**
     * k: 主题数,或者聚类中心数
     * DocConcentration:文章分布的超参数(Dirichlet分布的参数),必需>1.0
     * TopicConcentration:主题分布的超参数(Dirichlet分布的参数),必需>1.0
     * MaxIterations:迭代次数
     * setSeed:随机种子
     * CheckpointInterval:迭代计算时检查点的间隔
     * Optimizer:优化计算方法,目前支持"em", "online"
     */
    val ldaModel = new LDA().
      setK(3).
      setDocConcentration(5).
      setTopicConcentration(5).
      setMaxIterations(20).
      setSeed(0L).
      setCheckpointInterval(10).
      setOptimizer("em").
      run(corpus)

    //3 模型输出,模型参数输出,结果输出
    // Output topics. Each is a distribution over words (matching word count vectors)
    println("Learned topics (as distributions over vocab of " + ldaModel.vocabSize + " words):")
    val topics = ldaModel.topicsMatrix
    for (topic <- Range(0, 3)) {
      print("Topic " + topic + ":")
      for (word <- Range(0, ldaModel.vocabSize)) { print(" " + topics(word, topic)); }
      println()
    }

  }

}

转载请注明出处:

http://blog.csdn.net/sunbow0/

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关内容