与柳家的恩怨，驸马的父亲叔叔与杨素本来同朝为友，皇帝立隋时，那两位并没有明确支持。自然在新朝地位不高。

杨素显赫后奚落二人曰“二柳俱摧，孤杨独耸”父叔被这般耻笑，柳述自然记恨，要与之势不两立，他平生之好，便是当众折辱杨素。

如今杨素位居宰辅趋使诸部，唯有兵部无视他，只要是杨素的命令传达到兵部，柳述就会干脆利落的拒绝：“语仆射，道尚书不肯！”