“白下”一词的来历有两种说法。

一种说法认为是因春秋时楚平王太子建的儿子白公胜在这里住过而称白下。

第二种说法是，因东晋在白石山（今幕府山）筑垒，南朝宋又在此山与金川门之间建了一座“白下城”而得名。

东晋咸和二年（327年），历阳（今安徽省和县）内史苏峻叛乱，荆州刺史陶侃率兵6万来解救京师。陶侃当时采纳了部将李根的意见，筑垒于白石陂以拒敌。而唐灭隋后，于武德元年设了金陵县，筑城于白石山下的白下村，唐武德九年又改金陵县为白下县，移治于白下城，所以白下就成为金陵的别称。