但胡惟庸觉得这样还不够，不断加害与他，便在前些时日，正逢刘伯温感染了风寒，卧病在家中，被皇帝知道了，皇帝顾念刘伯温昔年的功勋，便让胡惟庸带了御医去探望。
御医开了药方，他照单抓药回来煎服用，觉得肚子里好像有一些不平整的石块挤压在一起，让他十分痛苦。
二月中，刘基抱病觐见朱元璋，婉转的向他禀告胡惟庸带着御医来探病，以及服食御医所开的药之后更加不适的情形。朱元璋听了之后，只是轻描淡写的说了一些要他宽心养病的安慰话，这使刘基相当的心寒。三月下旬，已经无法自由活动的刘伯温，由刘琏陪伴，在朱元璋的特遣人员的护送下，自京师动身返乡。回家后，拒绝亲人和乡里为他找来的一切药石，只是尽可能的维持正常的饮食。
几天后，病情越来越重，刘伯温学究天人，自知来日无多，找来两个儿子交代后事。交代完后事时，又让刘琏从书房拿来一本天文书，对他说：“我死后你要立刻将这本书呈给皇上，一点都不耽误；从此以后不要让我们刘家的子孙学习这门学问，还让子孙给朱家留下了许多治国良言，消息送到京城，不断皇帝痛哭，便是文武百官也痛哭不已，后来皇帝派人找来刘伯温的长子刘琏询问刘伯温的死时的情况，刘琏事无巨细一一说了出来，皇帝觉得有疑，便让御医检查刘伯温的尸体，才知刘伯温并非是病死的，而是吃了不明的药物而死。