顧憲之先后任職多個地方，在他任職的每一個地方，都留下了清正廉潔的故事。在他代行會稽郡守期間，其治下的山陰縣有個名叫呂文度的人，此人在當時皇帝面前頗受恩寵，仗著皇帝的寵幸，在地方上建立規模宏大的府邸，平時行事囂張跋扈，欺壓百姓，無人敢惹。據說呂文度的母親去世時，為了討好皇帝面前的紅人郡縣內的達官貴人爭先恐后地前去吊祭。但正直的顧憲之不怕他，史書記載“文度深銜之，卒不能傷也”，大大打擊了地方權貴勢力的氣焰。

在他任建威將軍、行婺州事的時候，當時的司徒、竟陵王蕭子良占據了數百里的山林湖澤，作為自己的行獵游樂之地，禁止百姓進入樵采。顧憲之極力勸說此事不可，言辭懇切，終于說動了他。竟陵王蕭子良回答他：“非君無以聞此德音。”隨即命人解除了封禁。

后來，顧憲之又在地方和朝中數次遷轉任職，直到梁朝建立，身患重病才回鄉養老。他歸家后，由于為官清廉、不貪錢財，家里積蓄的米粟不多，僅夠勉強度日，住房條件相當狹小簡陋，史書形容他的陋室為“環堵”，意即只有四面的墻壁而已，因此他和家人都“不免饑寒”。顧憲之生活的時代，跟他同級別的官員，任職地方幾年后，大多積蓄了相當可觀的財富。然而，像他這樣祖上官居顯要，自己又出任過多個要職，而能為官清廉，不蓄私財的，在當時是絕少見的。

梁天監八年（509），顧憲之在家中逝世，終年74歲。在臨終留給兒子的文書中，他要求自己的葬禮要一切從簡，只要“衣周于身，示不違禮，棺周于衣，足以蔽臭”即可，“入棺之物，一無所需”，不要像當時的流俗那樣厚葬；以后到了忌日，按照禮儀給自己供奉素食果蔬就行了，不要用珍貴的肉食。他認為祭祀祖先“本貴誠敬，豈求備物哉”！他的清正、廉潔可謂貫徹始終，堅守一生！

顧憲之擁有這樣的品性，與他家的家風、門風是分不開的。他的祖父，曾任湘州刺史、吏部尚書的顧覬之，據史書記載，也是一位清廉有為的好官，頗為時人稱贊。顧覬之在吏部做官時，曾于衙門庭中種植了一株“嘉樹”，對人說：“我任職吏部，職責牽涉整個國家的選官用才，定要竭力為國家選拔德才兼備的良材嘉樹，這樣才能世風日上，百業俱興。”他還說這棵嘉樹是“吾為憲之種耳”，蘊含了對孫子的良好期許。

在輾轉多地后，顧憲之也曾被調到吏部擔任吏部郎中，他亦如祖父所愿，與當年祖父種下的樹木一樣，已經長成了茂盛挺拔的良材。顧覬之種植嘉樹、寄望子孫成材的做法，為時人艷羨，也給今人以啟示。顧憲之生活的時代雖然已經過了一千多年，但他的為官佳話，尤其是不負家門、清正有為的故事，仍在流傳。