“先有潭柘寺，后有北京城”。
潭柘寺始建于西晋永嘉元年（公元307年），是佛教传入北京地区后修建最早的一座寺庙，距今已有1700年。北京城的许多地方都是依照潭柘寺的样子修建的，例如故宫太和殿就是仿照潭柘寺的大雄宝殿而建的，所不同的是更高大了一些而已。

这棵高大的银杏树，已有1400多年高龄，高40多米，种植于唐代，直径4米多，要六七个人才能合抱。相传每有一位新皇帝继位登基，此树的根部都会长出一枝新干来，以后逐渐和老干合为一体。乾隆皇帝来游玩的时候，御封它为“帝王树”。20世纪60年代初，已经成为普通老百姓的爱新觉罗·溥仪来这里游览时，指着大树东北角的一颗未能与主干相合的新树说：这一颗就是我，因为我不成材，所以就长成了歪脖子树。

元代元世祖忽必烈的女儿，妙严公主为了替其父赎罪，而到潭柘寺出家。后终老于寺中，她每日里在观音殿内跪拜诵经，“礼忏观音”，年深日久，竟把殿内的一块铺地方砖磨出了两个深深的脚窝。现今妙严公主“拜砖”依然供奉在潭柘寺的观音殿内，是潭柘极为珍贵的一件历史文物。

几百年间，皇帝几次对寺院赐名，因而寺名几次更改。
明宣宗赐名“龙泉寺”。
天顺元年，明英宗“敕改仍名嘉福寺”。
康熙三十六年，康熙皇帝亲赐寺名为“敕建岫云禅寺”，并亲笔题写了寺额……
但民间仍称其为潭柘寺。

潭柘寺，它现在的名其实是老百姓给起的，原因是寺后有龙潭，山上有柘树。有潭有柘，自然就叫潭柘寺了。民间习惯叫法居然有如此大的生命力，习惯成自然。这也提示那些老是想给城市、街道、建筑改名的人要收敛一些了。