В XIX веке особняк Дубининых был известен как «дом над пещерой».
Купцы Дубинины, приехавшие в Кунгур из города Вязники, занялись продажей мануфактуры и постепенно скупили в центре несколько домовладений, где и построили целый комплекс: нарядный особняк, более скромный по размерам флигель и многочисленные хозяйственные постройки. Строительные работы завершились в 1883 году — эта дата выложена на декоративном фронтоне главного дома. За год до окончания строительства особняк посетил российский ученый Евграф Степанович Фёдоров, кристаллограф и минералог. Он был женат на племяннице Ефима Яковлевича Дубинина.
Молодого ученого заинтересовали рассказы о кунгурских пещерах, он сам исследовал эти подземелья и позднее сделал о них доклад в Петербурге. Рассказал там Фёдоров и о дубининской пещере с двумя входами, один из которых к тому времени уже был завален крупными камнями. Вскоре не стало и второго входа. Об использовании этого подземелья в старину рассказывают две кунгурские легенды. Первая гласит, что триста лет тому назад жил богатый купец, который пожелал быть похороненным вместе со своим добром в пещере в центре Кунгура. Наследники исполнили его волю, поставили гроб с умершим в природный каменный склеп, туда же поместили нажитое купцом богатство, после чего вход в подземелье замуровали. Прошло много лет, о необычном захоронении проведали грабители и под покровом ночи проникли в пещеру. Забрали купеческое богатство, но на поверхности всё превратилось в пыль и прах. А массивная золотая цепь, которую взял предводитель шайки, вдруг стала громадной гадюкой. Обвилась змея вокруг главаря, сковав его по рукам и ногам. А затем вдруг обернулась и посмотрела на застывших от ужаса разбойников глазами умершего купца. Грабители еле ноги унесли, и больше в Кунгуре их никто не видел. Вторая легенда, объясняющая исчезновение входов в дубининскую пещеру, звучит совсем незамысловато. Будто бы когда завершилось строительство зданий усадьбы Дубининых, то осталось много строительного мусора, который и свалили в пещеру, замуровав входы. И с тех пор никто не может их найти.