Die Kapelle sollte an die schreckliche Zeit der Pest erinnern und wurde 1630 von den Verschonten der Pest nordwestlich des Dorfes an der Straße die Pestkapelle Ellmau errichtet, in unmittelbarer Nähe des Pestfriedhofs (siehe Mappenauszug aus dem Franziszeischen Kataster 1856). Laut Aufzeichnungen wurde sie 1937 restauriert.
In den 1950er Jahren wurde die Bundesstraße ausgebaut und musste die damalige Kapelle dem Straßenbau weichen. So baute man eine neue Kapelle etwas versetzt, das Bild und der Totenkopf blieben erhalten. Das Holztafelgemälde zeigt die Heilige Dreifaltigkeit und Maria, deren Mantel zwei Engel schützend über das Dörfchen Ellmau halten.
Die Kapelle wurde 1955 am Tag von den Hl. Peter und Paul von Pfarrer Koller gesegnet.
Da die Bundesstraße sehr stark frequentiert wird und sich herausstellte, dass die Kapelle schlecht zu erreichen war, entschloss sich die Familie Moser vom gegenüberliegenden Hof Oberschreitling, die Kapelle zu versetzen, entschied dann aber, sie neu aufzubauen und ließ das Holzbild fachmännisch restaurieren. Der Totenschädel, der sich in der alten Kapelle in einer Holzkiste befand, wird nun ebenfalls ausgestellt. Im September 2008 wurde die neue Hofkapelle dann eingeweiht.
