The Variational Bayes Method i

1 IntroducTIon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1 How to be a Bayesian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 The VariaTIonal Bayes (VB) Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.3 A First Example of the VB Method: Scalar AddiTIve DecomposiTIon 31.3.1 A First Choice of Prior. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.3.2 The Prior Choice Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.4 The VB Method in its Context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.5 VB as a Distributional Approximation . . . . . . . . . . . . . . . . . . . . . . . . . 81.6 Layout of the Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.7 Acknowledgement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 Bayesian Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.1 Bayesian Benefits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.1.1 Off-line vs. On-line Parametric Inference . . . . . . . . . . . . . . . . 142.2 Bayesian Parametric Inference: the Off-Line Case . . . . . . . . . . . . . . . 152.2.1 The Subjective Philosophy . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162.2.2 Posterior Inferences and Decisions . . . . . . . . . . . . . . . . . . . . . . 162.2.3 Prior Elicitation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.2.3.1 Conjugate priors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.3 Bayesian Parametric Inference: the On-line Case . . . . . . . . . . . . . . . . 192.3.1 Time-invariant Parameterization . . . . . . . . . . . . . . . . . . . . . . . . 202.3.2 Time-variant Parameterization . . . . . . . . . . . . . . . . . . . . . . . . . 202.3.3 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 Off-line Distributional Approximations and the Variational BayesMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253.1 Distributional Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253.2 How to Choose a Distributional Approximation . . . . . . . . . . . . . . . . . 263.2.1 Distributional Approximation as an Optimization Problem . . 263.2.2 The Bayesian Approach to Distributional Approximation . . . 27 3.3 The Variational Bayes (VB) Method of Distributional Approximation 283.3.1 The VB Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283.3.2 The VB Method of Approximation as an Operator . . . . . . . . 323.3.3 The VBMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333.3.4 The VB Method for Scalar Additive Decomposition . . . . . . . 373.4 VB-related Distributional Approximations . . . . . . . . . . . . . . . . . . . . . . 393.4.1 Optimization with Minimum-Risk KL Divergence . . . . . . . . 393.4.2 Fixed-form (FF) Approximation . . . . . . . . . . . . . . . . . . . . . . . . 403.4.3 Restricted VB (RVB) Approximation . . . . . . . . . . . . . . . . . . . 403.4.3.1 Adaptation of the VB method for the RVBApproximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413.4.3.2 The Quasi-Bayes (QB) Approximation . . . . . . . . . 423.4.4 The Expectation-Maximization (EM) Algorithm . . . . . . . . . . 443.5 Other Deterministic Distributional Approximations . . . . . . . . . . . . . . 453.5.1 The Certainty Equivalence Approximation . . . . . . . . . . . . . . . 453.5.2 The Laplace Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . 453.5.3 The Maximum Entropy (MaxEnt) Approximation . . . . . . . . . 453.6 Stochastic Distributional Approximations . . . . . . . . . . . . . . . . . . . . . . 463.6.1 Distributional Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473.7 Example: Scalar Multiplicative Decomposition . . . . . . . . . . . . . . . . . . 483.7.1 Classical Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483.7.2 The Bayesian Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483.7.3 Full Bayesian Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493.7.4 The Variational Bayes (VB) Approximation . . . . . . . . . . . . . . 513.7.5 Comparison with Other Techniques . . . . . . . . . . . . . . . . . . . . . 543.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 564 Principal Component Analysis and Matrix Decompositions . . . . . . . . . 574.1 Probabilistic Principal Component Analysis (PPCA) . . . . . . . . . . . . . 584.1.1 Maximum Likelihood (ML) Estimation for the PPCA Model 594.1.2 Marginal Likelihood Inference of A. . . . . . . . . . . . . . . . . . . . . 614.1.3 Exact Bayesian Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614.1.4 The Laplace Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . 624.2 The Variational Bayes (VB) Method for the PPCA Model . . . . . . . . . 624.3 Orthogonal Variational PCA (OVPCA) . . . . . . . . . . . . . . . . . . . . . . . . 694.3.1 The Orthogonal PPCA Model . . . . . . . . . . . . . . . . . . . . . . . . . . 704.3.2 The VB Method for the Orthogonal PPCA Model . . . . . . . . . 704.3.3 Inference of Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 774.3.4 Moments of the Model Parameters . . . . . . . . . . . . . . . . . . . . . . 784.4 Simulation Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 794.4.1 Convergence to Orthogonal Solutions: VPCA vs. FVPCA . . 794.4.2 Local Minima in FVPCA and OVPCA . . . . . . . . . . . . . . . . . . 824.4.3 Comparison of Methods for Inference of Rank . . . . . . . . . . . . 834.5 Application: Inference of Rank in a Medical Image Sequence. . . . . . 854.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 5 Functional Analysis of Medical Image Sequences . . . . . . . . . . . . . . . . . 895.1 A Physical Model for Medical Image Sequences . . . . . . . . . . . . . . . . 905.1.1 Classical Inference of the Physiological Model . . . . . . . . . . . 925.2 The FAMIS Observation Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 925.2.1 Bayesian Inference of FAMIS and Related Models . . . . . . . . 945.3 The VB Method for the FAMIS Model . . . . . . . . . . . . . . . . . . . . . . . . . 945.4 The VBMethod for FAMIS: Alternative Priors . . . . . . . . . . . . . . . . . . 995.5 Analysis of Clinical Data Using the FAMIS Model . . . . . . . . . . . . . . 1025.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1076 On-line Inference of Time-Invariant Parameters . . . . . . . . . . . . . . . . . . 1096.1 Recursive Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1106.2 Bayesian Recursive Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1106.2.1 The Dynamic Exponential Family (DEF) . . . . . . . . . . . . . . . . 1126.2.2 Example: The AutoRegressive (AR) Model . . . . . . . . . . . . . . 1146.2.3 Recursive Inference of non-DEF models . . . . . . . . . . . . . . . . . 1176.3 The VB Approximation in On-Line Scenarios . . . . . . . . . . . . . . . . . . . 1186.3.1 Scenario I: VB-Marginalization for Conjugate Updates . . . . 1186.3.2 Scenario II: The VB Method in One-Step Approximation . . . 1216.3.3 Scenario III: Achieving Conjugacy in non-DEF Models viathe VB Approximation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1236.3.4 The VB Method in the On-Line Scenarios . . . . . . . . . . . . . . . 1266.4 Related Distributional Approximations . . . . . . . . . . . . . . . . . . . . . . . . 1276.4.1 The Quasi-Bayes (QB) Approximation in On-Line Scenarios 1286.4.2 Global Approximation via the Geometric Approach . . . . . . . 1286.4.3 One-step Fixed-Form (FF) Approximation . . . . . . . . . . . . . . . 1296.5 On-line Inference of a Mixture of AutoRegressive (AR) Models . . . 1306.5.1 The VBMethod for ARMixtures. . . . . . . . . . . . . . . . . . . . . . . 1306.5.2 Related Distributional Approximations for AR Mixtures . . . 1336.5.2.1 The Quasi-Bayes (QB) Approximation . . . . . . . . . . 1336.5.2.2 One-step Fixed-Form (FF) Approximation . . . . . . . 1356.5.3 Simulation Study: On-line Inference of a Static Mixture . . . . 1356.5.3.1 Inference of a Many-Component Mixture . . . . . . . . 1366.5.3.2 Inference of a Two-Component Mixture . . . . . . . . . 1366.5.4 Data-Intensive Applications of Dynamic Mixtures . . . . . . . . . 1396.5.4.1 Urban Vehicular Traffic Prediction . . . . . . . . . . . . . . 1416.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1437 On-line Inference of Time-Variant Parameters . . . . . . . . . . . . . . . . . . . . 1457.1 Exact Bayesian Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1457.2 The VB-Approximation in Bayesian Filtering . . . . . . . . . . . . . . . . . . . 1477.2.1 The VB method for Bayesian Filtering . . . . . . . . . . . . . . . . . . 1497.3 Other Approximation Techniques for Bayesian Filtering . . . . . . . . . . 1507.3.1 Restricted VB (RVB) Approximation . . . . . . . . . . . . . . . . . . . 1507.3.2 Particle Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 7.3.3 Stabilized Forgetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1537.3.3.1 The Choice of the Forgetting Factor . . . . . . . . . . . . . 1547.4 The VB-Approximation in Kalman Filtering . . . . . . . . . . . . . . . . . . . . 1557.4.1 The VB method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1567.4.2 Loss of Moment Information in the VB Approximation . . . . 1587.5 VB-Filtering for the Hidden Markov Model (HMM) . . . . . . . . . . . . . 1587.5.1 Exact Bayesian filtering for known T . . . . . . . . . . . . . . . . . . . 1597.5.2 The VB Method for the HMM Model with Known T . . . . . . 1607.5.3 The VB Method for the HMM Model with Unknown T . . . . 1627.5.4 Other Approximate Inference Techniques . . . . . . . . . . . . . . . 1647.5.4.1 Particle Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1647.5.4.2 Certainty Equivalence Approach . . . . . . . . . . . . . . . 1657.5.5 Simulation Study: Inference of Soft Bits . . . . . . . . . . . . . . . . . 1667.6 The VB-Approximation for an Unknown Forgetting Factor . . . . . . . 1687.6.1 Inference of a Univariate AR Model with Time-VariantParameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1697.6.2 Simulation Study: Non-stationary AR Model Inference viaUnknown Forgetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1737.6.2.1 Inference of an AR Process with SwitchingParameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1737.6.2.2 Initialization of Inference for a Stationary ARProcess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1747.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1768 The Mixture-based Extension of the AR Model (MEAR) . . . . . . . . . . . . 1798.1 The Extended AR (EAR) Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1798.1.1 Bayesian Inference of the EAR Model. . . . . . . . . . . . . . . . . . . 1818.1.2 Computational Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1828.2 The EAR Model with Unknown Transformation: the MEAR Model 1828.3 The VB Method for the MEAR Model . . . . . . . . . . . . . . . . . . . . . . . . . 1838.4 Related Distributional Approximations for MEAR . . . . . . . . . . . . . . . 1868.4.1 The Quasi-Bayes (QB) Approximation . . . . . . . . . . . . . . . . . . 1868.4.2 The Viterbi-Like (VL) Approximation . . . . . . . . . . . . . . . . . . . 1878.5 Computational Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1888.6 The MEAR Model with Time-Variant Parameters . . . . . . . . . . . . . . . . 1918.7 Application: Inference of an AR Model Robust to Outliers . . . . . . . . 1928.7.1 Design of the Filter-bank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1928.7.2 Simulation Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1938.8 Application: Inference of an AR Model Robust to Burst Noise . . . . 1968.8.1 Design of the Filter-Bank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1968.8.2 Simulation Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1978.8.3 Application in Speech Reconstruction . . . . . . . . . . . . . . . . . . . 2018.9 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20