新中国建立前，杭州市回民归真多葬于凤凰山麓万松岭（今之“浙江省革命烈士纪念馆”）、南园（今之“柳浪闻莺”）、青芝坞（今之灵峰“清真永安公墓”）等处。其土地均系族人出资购置，遂形成区别於汉民族丧葬的多处回族公墓。

    1955年春，为支援国家城市建设，扩建柳浪闻莺公园，杭州市政府在留下荆山岭拨地125亩，建立回族公墓，南园搬迁，定名为“杭州市回族公墓”。

    1991年，杭州市政府为美化西湖风景区，地处玉泉景区的“永安公墓”实行禁葬，遗址作回族古冢永久保留。原有寿穴44座，由政府出资迁至回族公墓安置。

    1994年，省政府批准02省道杭昱段改建工程，征用留下荆山岭墓区土地15.66亩，回族公墓被分为南北两块，北侧为墓葬区，南侧为自养基地。