A melhor pior priori
minimizando a variância de amostragem por importância para troca de prioris
Keywords:
Inferência Bayesiana, Amostragem por Importância, Troca de Prioris, Variância, Descida do GradienteAbstract
O paradigma bayesiano de inferência estatística apresenta a grande conveniência de permitir a incorporação de conhecimento a priori ao processo de modelagem. Em especial, em muitos contextos, é de grande interesse estimar Ep[h(θ)], onde h é uma função (mensurável) de teste e θ é o parâmetro de interesse do modelo, cuja distribuição a posteriori é p(θ | X) ∝ L(X | θ)π(θ). Entretanto, nem sempre é possível obter essa posteriori, seja por limitações de poder computacional ou mesmo por má convergência das cadeias de Markov ao realizar MCMC. Nesses casos, uma alternativa é a troca de prioris: utiliza-se uma priori mais simples que a de interesse (“priori substituta”) para a obtenção de uma distribuição a posteriori. Após isso, podemos utilizar amostragem por importância (IS) para amostrar da a posteriori de interesse. No entanto, existe a possibilidade de a variância do estimador ser muito alta ou mesmo infinita, a depender da escolha da priori substituta e da função de teste h. No presente trabalho, utilizamos métodos de descida do gradiente para encontrar uma priori substituta que minimize essa variância.
Downloads
References
D. Kingma e J. Ba. “Adam: A Method for Stochastic Optimization”. Em: International Conference on Learning Representations (ICLR). San Diego, CA, USA, 2015.
W. Neiswanger e E. Xing. “Post-Inference Prior Swapping”. Em: Proceedings of the 34th International Conference on Machine Learning. Vol. 70. 2017, pp. 2594–2602. doi: 10.48550/ARXIV.1606.00787.
A. B. Owen. Monte Carlo theory, methods and examples. Acessado em 14/03/2024, https://artowen.su.domains/mc/Ch-var-is.pdf. 2013. Cap. 9.