康日知祖籍西域康国（今乌兹别克斯坦撒马尔罕）。后内迁定居灵州，便以灵州为籍贯。祖父康植在开元九年（721年），曾跟随朔方大总管王晙，在参加征讨突厥康待宾部，收复鲁、丽、含、塞、依、契六胡州的历次战斗中，立有战功，受到唐玄宗的召见，提升为左武卫大将军，封天山县男。

康日知青年从军，在成德（今河北正定）节度使李宝臣部下做一名军官，官至赵州（今河北赵县境内）刺史。

建中二年（781年），李宝臣死，其子李惟岳自请继承节度使，朝廷不批准，于是他就勾结淄青（今山东东平境内）李正己和魏博（今河北大名）田悦等地方割据势力联合叛变。康日知坚守赵州，不与叛军同流合污，拒不听从李惟岳的将令，与别驾李濯和部将们“渫血为盟”，决心继续效忠朝廷。于是李惟岳就命令兵马使王武俊等率部攻打赵州，康日知站在城头上大声劝告王武俊道：田悦攻打邢台，死伤惨重，没有得手。我赵州要比邢台城更为坚固，你来攻城也是徒劳的。并质问王武俊：“使者赍诏喻中丞（王武俊），中丞奈何负天子，从小儿跳梁哉？”王武俊听后，颇感悔悟，加上昭义节度使李抱真的招揽，他反戈杀死李惟岳，向朝廷献城反正。