明太祖一心求雨，当然很快批准了刘基的要求，抚恤了将士妻子，掩埋了工匠的尸骨。刘基虽然办了一件好事，但是靠这种办法劝谏，毕竟靠不住。这一次，他的预测不准，过了十天，还是烈日当空，一滴雨也没下。

这可使明太祖生了气，再加上李善长在旁边说坏话，叫刘基不能不害怕。这时候，他妻子在家乡得病死去。刘基请个假回老家了。

其实，明太祖对刘基是特别器重的。有一次，明太祖要拜刘基为丞相。刘基连忙推辞说：“选丞相好比挑栋梁。要挑个大木材，如果用小木头当梁柱，房屋就有倒坍的危险。”

后来，明太祖撤了丞相李善长的职，又想请刘基出来当丞相。刘基说：“我性子褊急，容不得坏人：再说年纪大了，也担当不了这样重任。天下有的是人材，希望陛下好好物色。”

刘基回到青田，过着隐居生活，从来不跟人谈起他过去的功劳。青田县令一再求见，都被刘基婉言拒绝。有一次，县令换上便服，装扮个乡下人去拜访刘基。刘基正在洗脚，见来了陌生人，连忙穿了鞋子，把来人请进屋，热情地留饭。

刘基请教来人姓名，县令只好实说：“我是青田知县，特来拜见先生。”刘基大吃一惊，连忙起身作揖，自称是治下的普通百姓。打那以后，再也不跟县令见面了。

刘基住在家乡，仍旧很关心明朝的政事。有一次，明太祖派人到青田向刘基问天象吉凶。刘基说：“冬天刚下过严霜冻雪：接下来便是阳春季节。现在国家已经安定，希望陛下施政稍为宽和一点。”