Od początku XX wieku na parceli, którą dziś zajmuje kamienica, stał parterowy budynek. Gdy spory zakład z tartakiem przy ul. Młyńskiej i stojące przy ul. Zamkowej kamienice nr 1, 2 i 4 stały się własnością architekta i mistrza murarskiego Emila Rösera postanowił on wybudować nową kamienicę. Budynek zaprojektowała i wybudowała firma właściciela, a że był on posiadaczem budynków sąsiadujących, nową kamienicę postanowił wznieść bez ścian szczytowych. Z tego też względu budynek musiano dostosować wysokością do stojących już kamienic nr 2 i 4, a jego bryła wygląda nieregularnie i sprawia wrażenie dwóch różnych budowli. Budowę rozpoczęto pod koniec 1928 roku, a zakończono rok później.
Od 1946 do 1991 roku mieszkała tu poetka, Marta Aluchna-Emelianow, a fakt ten od 1997 roku upamiętnia wisząca na kamienicy tablica pamiątkowa.
Kamienica przy ul. Zamkowej 3 zlokalizowana jest w Specjalnej Strefie Rewitalizacji i w tegorocznym naborze uzyskała dofinansowanie. Wspólnota Mieszkaniowa Zamkowa 3, jako jedna z pięciu otrzymała w 2026 r. dofinansowanie w ramach naboru kamienic ze Specjalnej Strefy Rewitalizacji.
Prace obejmą remont elewacji frontowej i tylnej, remont balkonów i loggie, remont dachu i poddasza.
Remont wyceniono na blisko 700 tysięcy zł, a dotacja od miasta to 100.000 zł.