Muzeum mieści się w barokowej kamienicy z 1650 roku - Plac Wolności 11 (rynek). Powstało ono w 1947 roku i kontynuowało działalność założonego w 1932 roku Muzeum Regionalnego. Od 1967 roku muzeum specjalizuje się w zbiorach związanych z historią tkactwa dolnośląskiego. Początki kolekcji pochodzą ze zbiorów przedwojennych zgromadzonych przy bibliotece i archiwum miejskim.
Od 1990 roku muzeum prowadzi ekspozycje stałe: "Z dziejów Kamiennej Góry" oraz "Rozwój tkactwa i włókiennictwa na Dolnym Śląsku".
Muzeum posiada około 13 tysięcy zabytków, które gromadzi w dwóch działach: tkactwa i sztuki. W dziale tkactwa kolekcjonowane są między innymi: ludowe czepce śląskie, elementy ludowego i mieszczańskiego stroju śląskiego, szablony i stemple do znakowania i zdobienia tkanin, wzorniki hafciarskie, chorągwie cechowe, warsztaty tkackie, kołowrotki i przęślice.
Na dział sztuki składają się: numizmaty, ludowe meble śląskie, rzeźby ludowe, obrazy na szkle, wyroby z cyny oraz zabytki kowalstwa i ślusarstwa.