贺若弼年轻的时候慷慨、正直，胸有大志，矫健勇敢，精熟骑马射箭，能写文章，博览书史，在当时很有名望。北周齐王宇文宪听到这些，非常敬重他，召他做自己的参军。不久，又封他为当亭县公，升任王国内史。后来他成为隋朝的要官。
刚开始的时候贺若弼还能记住他父亲的话，经常以“君不密则失臣，臣不密则失身”来提醒自己，遇事三缄其口。可随着他在隋朝功劳日大，地位日高，便把父亲的告诫忘到脑后去了。同父亲一样，他也因对朝廷封官不满而大发牢骚，被免去了官职；他不接受教训，反而怨言更多，于是被逮捕下狱，隋文帝斥责他道：“我用高颖、杨素为宰，你在下面说这两个人只配吃干饭，这是什么意思？”
有人因此奏请将他处死，文帝因他立有大功，免他一死，但一针见血地向他指出：“你有三犯：嫉妒心太强；自以为是，看不起别人；目无君主。”
这的确是贺若弼的致命要害，同僚有功他妒嫉，同僚升官他不服气。有一次，皇太子杨广同他谈起朝中几位杰出将领，问他：“杨素、韩擒虎、史万岁三个人都是良将，他们的优劣如何？”贺若弼口无遮拦，毫无顾忌地回答：“杨素是员猛将，但没有谋略；韩擒虎是员战将，但不会带兵；史万岁是员骁将，别的本领平常。”