荀茂德有三子，长子承袭爵位，次子在外经商，小儿子建立清源殿。

小儿荀灿这一系并无后人，因此荀茂德的后人皆是长子煜一系和次子焕一系。但不管是哪一系，死后都会重归茂林，在柏山之中长眠。

荀时是荀焕一系的子孙。按照当初荀钰的建议，日字辈的嫡系“日头”在上，日字辈的旁系“日头”在左。

所以，荀易、荀昙、荀昆、荀晟这些都是嫡系子孙，而荀时、荀晖这些都是旁系子孙。