謝氏家譜里記載，其先祖自宋代晚期由江西南昌遷入該地建宅立村，聚族而居。曾祖父謝仲和，祖父謝永昌，父親謝必賢。謝必賢為官不求發財，清正廉潔聞名于朝廷上下。在謝必賢的教導熏陶下，兩個兒子謝文祥、謝文善都舉于鄉，謝文祥更是青出于藍而勝于藍。

成化二年（1466年），謝文祥由進士授翰林庶吉士，任刑科給事中。明代的刑科給事中主要是輔助皇帝處理政務,并監察六部,糾彈官吏。謝文祥秉性嚴正剛直，崇尚氣節，屢次上書言政，很快升為陜西道監察御史。謝文祥擔任監察御史時，謹記父親教導，持身中正，不趨炎附勢，盡心為君分憂、為國效力，遇到不正確、不合理的事情都會奮不顧身地站出來,在任期間曾彈劾不少官員，也得罪了不少人。當時，他和羅倫、莊昶三人，“性皆骨鯁”，這三位“硬骨頭”的朝廷官員，世號“三剛”。

謝文祥家教嚴格，對后代要求很高。謝文祥長子謝咨是成化二十二年（1486）進士，官至重慶司馬。三子謝訥，字尚敏，號一齊，弘治十八年(1505)考中進士，開始授戶科給事中，奉旨調查兩廣糧食儲備，執法公允，不開后門。后升至刑部都給事中。當時正逢劉瑾專權。劉瑾乃明朝正德年間宦官，本姓談，六歲時被太監劉順收養，改姓劉，入宮當了宦官，弘治年間犯罪被赦免后侍奉朱厚照，以進獻飛禽走獸來博取明武宗的歡心，得以數次升遷，官拜司禮監掌印太監。劉瑾把持朝政時，黨羽遍天下，排除異己殆盡，賄賂公行，征斂苛暴，人民處于水深火熱之中，滿朝文武敢怒不敢言，只有謝訥時刻銘記父親謝文祥持身中正、為國除惡的教誨，毅然第一個上《請誅劉瑾疏》，揭發劉瑾的罪行。除了《請誅劉瑾疏》，謝訥諫章甚多，比較重要的還有《自劾不職乞除奸黨疏》《請設兵憲疏》等，為國進言，殫精竭慮。

漢代以來，以直言進諫、忠心事主聞名于世的耒陽籍官員，最早有西漢的谷永，其后有唐代的谷那律，再就是謝文祥，而謝文祥剛直的氣節和不怕死的秉性影響了他的兒子謝訥，以及與謝訥同輩的胡文璧。多年后，當胡文璧也成為一名監察御史時，胡文璧請求謝文祥父子與他一起在耒陽古城修建了一座“澄清坊”，以寄托他們的“澄清天下之志”。