正巧這一年，京城又逢到大旱，明太祖十分著急。劉基乘機跟明太祖說：“戰爭中的死亡將士，他們的妻子需要撫恤；一些在筑城中死亡的工匠，尸骨還暴露在田野上，沒人收埋。

　　把這些事辦了，說不定能下雨。”

　　明太祖一心求雨，當然很快批準了劉基的要求，撫恤了將士妻子，掩埋了工匠的尸骨。劉基雖然辦了一件好事，但是靠這種辦法勸諫，畢竟靠不住。這一次，他的預測不準，過了十天，還是烈日當空，一滴雨也沒下。

　　這可使明太祖生了氣，再加上李善長在旁邊說壞話，叫劉基不能不害怕。這時候，他妻子在家鄉得病死去。劉基請個假回老家了。

　　其實，明太祖對劉基是特別器重的。有一次，明太祖要拜劉基為丞相。劉基連忙推辭說：“選丞相好比挑棟梁。要挑個大木材，如果用小木頭當梁柱，房屋就有倒坍的危險。”

　　后來，明太祖撤了丞相李善長的職，又想請劉基出來當丞相。劉基說：“我性子褊急，容不得壞人：再說年紀大了，也擔當不了這樣重任。天下有的是人材，希望陛下好好物色。”

　　劉基回到青田，過著隱居生活，從來不跟人談起他過去的功勞。青田縣令一再求見，都被劉基婉言拒絕。有一次，縣令換上便服，裝扮個鄉下人去拜訪劉基。劉基正在洗腳，見來了陌生人，連忙穿了鞋子，把來人請進屋，熱情地留飯。

　　劉基請教來人姓名，縣令只好實說：“我是青田知縣，特來拜見先生。”劉基大吃一驚，連忙起身作揖，自稱是治下的普通百姓。打那以后，再也不跟縣令見面了。

　　劉基住在家鄉，仍舊很關心明朝的政事。有一次，明太祖派人到青田向劉基問天象吉兇。劉基說：“冬天剛下過嚴霜凍雪：接下來便是陽春季節。現在國家已經安定，希望陛下施政稍為寬和一點。”