唐人李百药撰《北齐书》，在《魏收传》中，借时人之口，对魏收多加诋毁。如说他轻薄无行，“人号云‘魏收惊蛱蝶’”；“人称其才而鄙其行”。又说他阿谀权臣，“见当途贵游，每以言色相悦”。还说他贪财好利，曾遣门客随陈使封孝琰南行，“遇昆仑舶至，得奇货猓然褥表、美玉盈尺等数十件，罪当流，以赎论。”并借“诸家子弟”之口，把《魏书》号为“秽史”，等等。稍后，唐李延寿撰《北史·魏收传》，又因袭李百药的某些说法。后世中的一些人不加深究，套用李氏旧说，不仅继续责骂魏收，而且对“秽史”说深信不疑。如宋代学者刘攽、刘恕、范祖禹等撰《旧本魏书目录序》，指斥魏收“党齐毁魏，褒贬肆情，时论以为不平，……号为‘秽史’”。直至清代，“秽史”说仍不绝于耳，赵翼说：“然则（魏）收之书趋附避讳，是非不公，真所谓秽史也！”[44]
魏收的人品如何？公正地说，他恃才自傲，轻忽同辈，不矜细行，性又褊急。每言：“何物小子，敢共魏收作色，举之则使上天，按之当使入地。”[45]如此而已。无论怎样说，魏收绝非轻薄无行的无聊文人。《北齐书》本传指斥魏收“昔在京洛，轻薄尤甚”的例证，是在文襄帝出游东山途中的一次宴会上，君臣之间的某些戏言。文襄说：“魏收恃才无宜适，须出其短。”魏收、杨愔等人相互戏弄，“往复数番”，杨愔从容地说：“我绰有余暇，山立不动，若遇当涂，恐翩翩遂逝。”当涂者，魏也；翩翩者，蛱蝶也。杨愔讥笑魏收是只惊蛱蝶，文襄帝听后大笑。这本来是相互揭短、嬉戏的话，是为了增添宴会的活跃气氛，一笑了之，未必真有其事。李百药却以此诋毁魏收轻薄无行，岂不可笑！其实，魏收在魏朝时，立身行事，颇以忠直自见。《北史》本传称他上《南狩赋》以谏孝武帝，“虽富言淫丽，而终归雅正”。聘梁回朝，尚书右仆射高隆之向他索取南货，不能如愿，遂遭禁止，久之得释。任高欢中外府主簿时，“以受旨乖忤，频被嫌责，加以箠楚，久不得志”。观此，魏收并非阿谀取容之辈。入北齐后，位太子少傅，文宣帝每次喝醉酒，便说太子性懦，须更易。收对杨愔说：“魏收既忝师傅，正当守之以死，但恐国家不安。”其委曲进谏被杨愔奏告文宣，太子遂得以保全。晚年著《枕中篇》以戒厉子侄，内多立身行道等劝诫之言。事实证明，魏收迥异于轻薄无行的文人。李延寿在《北史·魏收传》中，虽袭用李百药的某些说法，但又有自己的见解，他说：“（魏）收硕学大才，然性褊，不能达命体道。……然提奖后辈，以名行为先，浮华轻险之徒，虽有才能，弗重也。”这一评价还是比较客观的。《北齐书》本传诋毁魏收派门客入南陈搜求金宝事，在当时禁止南北互市的情况下，双方使臣藉通聘以求利乃司空见惯，这比起那些贪墨成性的官僚来，又何足挂齿。