2.624

2020影响因子

(CJCR)

• 中文核心
• EI
• 中国科技核心
• Scopus
• CSCD
• 英国科学文摘

## 留言板 引用本文: 付维明, 秦家虎, 朱英达. 基于扩散方法的分布式随机变分推断算法. 自动化学报, 2021, 47(1): 92−99 Fu Wei-Ming, Qin Jia-Hu, Zhu Ying-Da. Distributed stochastic variational inference based on diffusion method. Acta Automatica Sinica, 2021, 47(1): 92−99 doi: 10.16383/j.aas.c200445
 Citation: Fu Wei-Ming, Qin Jia-Hu, Zhu Ying-Da. Distributed stochastic variational inference based on diffusion method. Acta Automatica Sinica, 2021, 47(1): 92−99 ## Distributed Stochastic Variational Inference Based on Diffusion Method

Funds: Supported by National Natural Science Foundation of China (61873252, 61922076), Fok Ying-Tong Education Foundation for Young Teachers in Higher Education Institutions of China (161059)
• 摘要:

分布式网络上的聚类、估计或推断具有广泛的应用, 因此引起了许多关注. 针对已有的分布式变分贝叶斯(Variational Bayesian, VB)算法效率低, 可扩展性差的问题, 本文借用扩散方法提出了一种新的分布式随机变分推断(Stochastic variational inference, SVI)算法, 其中我们选择自然梯度法进行参数本地更新并选择对称双随机矩阵作为节点间参数融合的系数矩阵. 此外, 我们还为所提出的分布式SVI算法提出了一种对异步网络的适应机制. 最后, 我们在伯努利混合模型(Bernoulli mixture model, BMM)和隐含狄利克雷分布(Latent Dirichlet allocation, LDA)模型上测试所提出的分布式SVI算法的可行性, 实验结果显示其在许多方面的性能优于集中式SVI算法.

• 图  1  本文考虑的模型的概率图表示

Fig.  1  The graphic model considered in this paper

图  2  通信网络拓扑图

Fig.  2  The topology of the communication network

图  3  异步分布式SVI算法和集中式SVI算法得到的聚类中心

Fig.  3  Cluster centers obtained by the asynchronous distributed SVI and the centralized SVI

图  4  异步分布式SVI算法、dSVB算法、集中式SVI算法的ELBO的平均值和偏差演化

Fig.  4  The evolution of the means and deviations of the ELBO for the asynchronous distributed SVI, the dSVB, and the centralized SVI

图  5  不同$(\kappa ,\tau )$ 设置下异步分布式SVI和集中式SVI的ELBO的平均值演化

Fig.  5  The evolution of the means of the ELBO for the asynchronous distributed SVI and the centralized SVI under different settings of $(\kappa ,\tau )$ 图  6  LDA模型的贝叶斯网络结构图

Fig.  6  The Bayesian graphic model of LDA

图  7  异步分布式SVI、集中式SVI和dSVB在两个数据集上的表现

Fig.  7  Performance of the asynchronous distributed SVI, the centralized SVI, and the dSVB on the two data sets

图  8  异步分布式SVI和集中式SVI在复旦大学中文文本分类数据集上的表现

Fig.  8  Performance of the asynchronous distributed SVI and the centralized SVI on the Chinese text classification data set of Fudan University

图  9  不同超参数设置下异步分布式SVI和集中式SVI在复旦大学中文文本分类数据集上表现

Fig.  9  Performance of the asynchronous distributed SVI and the centralized SVI on the Chinese text classification data set of Fudan University under different hyperparameter settings

表  1  LDA模型变量

Table  1  Variables in LDA model

 变量 $\alpha$ $\eta$ $K$ $D$ $N$ ${\theta _d}$ ${y_{d,n}}$ ${w_{d,n}}$ ${\beta _k}$ 类型 固定参数 固定参数 固定参数 输入参数 输入参数 局部隐藏变量 局部隐藏变量 单词向量 全局隐藏变量 描述> 主题数 文档数 单词数 决定文档的主题分布 单词所属的主题 决定主题的单词分布 分布 $Dir({\theta _d}|\alpha )$ $Mult({y_{d,n}}|{\theta _d})$ $Mult({w_{d,n}}|{\beta _k},{y_{d,n}})$ $Dir({\beta _k}|\eta )$

表  2  不同参数设置下异步分布式SVI和集中式SVI收敛的值

Table  2  The convergent values of the asynchronous distributed SVI and the centralized SVI under different parameter settings

 参数设置 $\begin{gathered} \alpha = \eta = 0.4 \\ \kappa = 0.5,\tau = 1 \\ \end{gathered}$ $\begin{gathered} \alpha = \eta = 0.8 \\ \kappa = 0.5,\tau = 1 \\ \end{gathered}$ $\begin{gathered} \alpha = \eta = 0.4 \\ \kappa = 0.7,\tau = 10 \\ \end{gathered}$ $\begin{gathered} \alpha = \eta = 0.8 \\ \kappa = 0.7,\tau = 10 \\ \end{gathered}$ $\begin{gathered} \alpha = \eta = 0.4 \\ \kappa = 1,\tau = 100 \\ \end{gathered}$ $\begin{gathered} \alpha = \eta = 0.8 \\ \kappa = 1,\tau = 100 \\ \end{gathered}$ 异步分布式SVI —53791.33 —55554.12 —54350.50 —56212.30 —57003.45 —57567.67 集中式SVI —54198.30 —56327.50 —54776.18 —56721.87 —57805.78 —58191.39

表  3  超参数取值表

Table  3  The values of hyperparameters

 $\kappa$ $\tau$ batch size $\alpha$ $\eta$ 0.5 1 1 0.1 0.1 1.0 10 2 0.2 0.2 — 100 4 — —
•  点击查看大图
##### 计量
• 文章访问数:  691
• HTML全文浏览量:  201
• PDF下载量:  174
• 被引次数: 0
##### 出版历程
• 收稿日期:  2020-06-22
• 录用日期:  2020-09-22
• 网络出版日期:  2021-01-29
• 刊出日期:  2021-01-29

### 目录 / 下载:  全尺寸图片 幻灯片
• 分享
• 用微信扫码二维码

分享至好友和朋友圈