Continuous-Time Speed for Discrete-Time Models: A Markov-Chain Approximation Method

Abstract

We propose a Markov-chain approximation method for discrete-time control problems, showing how to reap the speed gains from continuous-time algorithms in this class of models. Our approach specifies a discrete Markov chain on a grid, taking a first-order approximation of conditional distributions in their first and second moments around a reference point. Standard dynamic-programming results guarantee convergence. We show how to apply our method to standard consumption-savings problems with and without a portfolio choice, realizing speed gains of up to two orders of magnitude (a factor 100) with respect to state-of-the-art methods, when using the same number of grid points. This is without significant loss of precision. We show how to avoid the curse of dimensionality and keep computation times manageable in high-dimensional problems with independent shocks. Finally, we show how our approach can substantially simplify the computation of dynamic games with a large state space, solving a discrete-time version of the altruistic savings game studied by Barczyk & Kredler (2014).

German abstract:
Wir schlagen eine Markov-Ketten-Approximationsmethode für zeitdiskrete Steuerungsprobleme vor und zeigen, wie man die Geschwindigkeitsvorteile von zeitstetigen Algorithmen in dieser Modellklasse nutzen kann. Unser Ansatz spezifiziert eine diskrete Markov-Kette auf einem Gitter, wobei eine Approximation erster Ordnung der bedingten Verteilungen in ihren ersten und zweiten Momenten um einen Referenzpunkt herum verwendet wird. Standardergebnisse der dynamischen Optimierung garantieren Konvergenz. Wir zeigen, wie unsere Methode auf kanonische Sparprobleme mit und ohne Portfoliowahl angewandt werden kann, wobei Geschwindigkeitsgewinne von bis zu zwei Größenordnungen (ein Faktor 100) im Vergleich zu modernsten Methoden erzielt werden, wenn dieselbe Anzahl von Gitterpunkten verwendet wird. Dies geschieht ohne signifikanten Verlust an Präzision. Wir zeigen, wie man den Fluch der Dimensionalität vermeidet und die Berechnungszeiten bei hochdimensionalen Problemen mit unabhängigen Schocks überschaubar hält. Schließlich zeigen wir, wie unser Ansatz die Berechnung von dynamischen Spielen mit einem großen Zustandsraum erheblich vereinfachen kann, indem wir eine zeitdiskrete Version des altruistischen Sparspiels lösen, das in Barczyk & Kredler (2014) untersucht wurde.

Keywords: Markov-chain approximation (MCA) methods; altruism; tensors; controlled Markov chains

JEL Classification: C60, C61, C73, E21, G11