门望族，却从小就失去了父亲，但此人聪慧好学，很快赢得了大家的赞誉，他的大伯父就说：“观汝神识，足成才士，欲求宦达，当资干世之务。”

隋炀帝时期，高智慧、汪文进作乱，裴矩自告奋勇去平乱，带着三千老弱病残士卒大获全胜，尽显孙武、白起一般的军事才能。

杨广非常高兴，对高颍、杨素等人说：“韦洗将二万兵，不能早度岭，朕每患其兵少。裴矩以三千敝卒，径至南康。有臣若此