密韻樓早期稱「傳書堂」，是浙江南潯藏書家蔣汝藻(1876–1954)的藏書樓，因復得祖傳宋代湖州詞人周密著《草窗韵語》孤本，故改稱「密韻樓」。蔣氏字元采，號孟蘋，別署樂庵，實業家。其藏書豐富，以宋元善本為多，是清末民初湖州四大藏書樓之一。

蔣汝藻長子蔣祖詒(1902–1973)，字穀孫，號顯堂，又號峴翁。濡染家學，師從王國維先生，善辨碑拓古藉，精鑒書畫，嗜古器物，收藏經眼甚廣，與吳湖帆、龐萊臣、葉恭綽、譚敬、張珩等時有往來易物。40年代移居台灣，曾參與1961年「中國古藝術品展覽會」之設置展品審議，於美國等地展出多件國立故宮博物院之文物精品。晚年꧙曾授教於台灣大學，常與莊尚嚴、台靜農等談藝賞翫，台靜農先生著《題顯堂所藏書畫錄》可窺探其收藏之精妙。