数理情報工学 ／ 2021 Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization(分散縮小型勾配ランジュバン動力学の確率的離散スキームの収束改善およびその最適化への応用)

氏名 木下 佑利
指導教員 鈴木 大慈 准教授
研究室 数理情報第6研究室

研究概要

本研究では確率分布のサンプリングに用いられる勾配ランジュバン動力学の分散縮小型確率的離散スキーム（SVRG-LDとSARAH-LD）の収束条件を緩和しその収束性を改善した．同時に，同条件の非確率的離散スキームに関する既存研究などよりも勾配計算量を改善した．さらに結果を非凸最適化に応用し大域的最適解への収束性を改善，strict saddleの条件を設けることでその収束性を高速化できることも示した．最後に数値実験によってSARAH-LDのSVRG-LDに対する優位性を提示した．
Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization(分散縮小型勾配ランジュバン動力学の確率的離散スキームの収束改善およびその最適化への応用)
SVRG-LDとSARAH-LDのアルゴリズム概略

卒論の感想

論文に書かれている事実や定理だけではなく，研究や明示されていない仮定や論理の動機などを読み解くことの重要性と難しさを改めて学びました．１セメスターという短い期間の中，想定していた定理が証明できず研究が進まない時も多々ありましたが，非常に有意義な経験をさせていただきました．最後まで論文の内容や書き方に関して指導してくださった鈴木先生に大変感謝しています．