Schloss Annaberg wurde im 13. Jahrhundert erbaut. Die gotische Kapelle stammt aus dem 15. Jahrhundert. Das Schloss war im Besitz der Herrn von Matsch.
Später ging das Schloss in den Besitz der Grafen von Annenberg über.
Chorstuhl und Altar befinden sich im Landesmuseum in Innsbruck.