王阳明回到家乡余姚以后，筑室于四明山之阳明洞。洞在四明山之阳，故曰阳明。阳明先生爱其风景雅致，隐居于此，并自号曰“阳明”，世人也因此而称之为“阳明先生”。

王阳明曾在结婚当夜在铁柱宫内和道士对谈，道士还教给他神仙导引之术。在当地人的眼里，阳明洞是神仙聚会之所，所以王阳明才会选择到此洞中静坐，可以看出，王阳明身体内想出世的念头又萌发了。

前文已述，王阳明或多或少存在着一些南方人的地区性特质，一旦遇到困难，就想逃离尘世，归隐山林。虽然他的这一特质还不是那么强烈，但是如果一直沉迷于道家或佛氏的话，那他最终成为出世之人也未可知。