紧接着就辞职隐居，于义熙元年405年转入建威将军江州刺史刘敬宣部任建威参军三月，他奉命赴建康替刘敬宣上表辞职刘敬宣离职后，他也随着去职了同年秋，叔父陶逵介绍他任彭泽县令，到任八十一天，碰到浔阳郡督邮，属吏说“当束带迎之”他叹道“我岂能为五斗米折腰向乡里小儿”。