自從建炎年間（1127—1130）宋室南渡以來，為充實軍餉，有在衡州等地征收所謂“大軍月樁過湖錢”的慣例。單此一項，整個衡州每年要多交七八萬緡錢。其來源是衡州四個縣所入曲引錢和畸零稅，這大大增加了百姓負擔。這些雜稅與正稅混淆在一起，大大加重了百姓的負擔，有時雜稅雜費的征收反而會影響正稅的征收。這種錢“取民之辭不正，良民偏受其害”，而地方豪強刁民往往與胥吏勾結，不僅不交這些雜稅雜費，甚至連正稅都時常拖欠偷漏，直接經手的官吏也有不少人從中大獲其利。

劉清之調查清楚后，將這一情況寫成奏疏上報朝廷。他向朝廷建議，州縣地方可以根據本地實情與大軍總領處協商，適當減少“大軍月樁過湖錢”，同時希望能逐漸取消曲引錢等害民的苛捐雜稅，可惜未得到朝廷的回應。他只好在自己的權力范圍內作出努力，力求減輕百姓的負擔，他下令轄下各縣：要清理好稅收項目，正稅嚴格按時、足額征收，一些雜稅盡量緩征，不準預征稅收，要嚴管征稅吏員，嚴懲貪贓、舞弊、擾民之人。經過一番整治，把原來“兵無糧，官無俸，上供送使無可備”的衡州，整治得“費用有節，滲漏有防，稽考有政，補置有漸”，衡州“郡計漸裕，民力稍蘇”。

劉清之反對大吃大喝、對上阿諛奉承、行賄受賄。之前衡州官場有種壞風氣，凡有公事往來，特別是迎送上級官員，都要舉行一次宴會，官員們大吃大喝，還互相贈送禮品。當劉清之聽到州衙廚師講述這種情況后，深有感觸地說：“真是豈有此理！與其讓他們來吃喝老百姓的血汗，倒不如裁減這些官吏的用度。下級官員對待上級官員，應該在職責范圍內做好自己的工作，不辜負上級的期望，要問心無愧，忠心耿耿地為老百姓辦事，怎么能經常以酒肉、貨財討好上司，滿足貪婪者的私欲呢？”劉清之不但抵制、打擊這種做法，還把自己的俸祿拿出來補貼公費的不足，“悉歸之公帑，以佐經用”。