Der Abschied von Coburg war Albert schwergefallen. Zeitlebens unterhielt er eine enge Verbindung zu seinem Bruder Ernst und seiner Heimatstadt. Victoria teilte seine Liebe zu Coburg und schrieb bei ihrem ersten Besuch 1845 in Schloss Rosenau: “Wäre ich nicht, was ich bin, hätte ich hier mein wirkliches Zuhause.“ In den 1850er Jahren entstanden im Auftrag der englischen Königin mehrere Sammelwerke mit Ansichten aus Alberts Heimat. Zwei Alben von Francis Bedford (1864–1954) bezeugen nicht nur den Wunsch, Landschaft und Menschen in Sachsen-Coburg und Gotha im Bild festzuhalten, sondern auch das Interesse von Albert und Victoria an dem modernen Medium der Fotografie.
Mit seinem Bruder Herzog Ernst II. (1818–1893) teilte Albert politische Ideen, künstlerische Neigungen und die Hinwendung an Kultur, Wissenschaft und Wirtschaft. Die Einigung Deutschlands unter preußischer Führung gehörte zu den gemeinsamen politischen Zielen. Innenpolitisch war Ernst ebenso wie sein Bruder Albert dem liberalen Gedanken zugetan. Ernst II. war nach seinem militärischen Engagement bei Eckernförde im Deutsch-Dänischen Krieg 1849 die führende Rolle im Kreise liberal gesinnter deutscher Fürsten zugefallen.
Im Bewusstsein um die Bedeutung von Kultur und Wissenschaft förderte Albert zeitlebens den Ausbau der herzoglichen Sammlungen in Coburg. Er initiierte eine Autographensammlung und fügte ihr selbst immer wieder Objekte hinzu. Er begründete eine Bibliothek mit Erstausgaben von Luther-Schriften auf der Veste und machte den Sammlungen eine große Münzkollektion zum Geschenk. Als Ernst II. 1882 in Erwägung zog, das bedeutende Coburger Kupferstichkabinett aus finanziellen Gründen zu verkaufen, verweigerten die Söhne Alberts die Zustimmung. Sie erkannten die Bedeutung einer solchen Einrichtung für eine kleine Residenzstadt und wollten das Engagement Alberts für die herzogliche Sammlung in Coburg dauerhaft gewürdigt wissen.