松平忠輝是德川家康的第六個兒子,天正二十年(1592年)生於江戶,幼名辰千代。
他的母親茶阿局是德川家康的側室。茶阿局出身低微,有說因為這個原因,所以德川家康並不喜歡辰千代這個孩子;也有一說當辰千代出生時,德川家康嫌他膚色黝黑,相貌醜陋,對他十分嫌惡。據說德川家康把辰千代棄在寺社門前,由重臣本多正信拾得,交由下野大名皆川廣照撫育長大。當時正值侵朝戰爭爆發(文祿慶長之役),德川家康奉命到名護屋待機,直到戰爭完結,都沒有見過辰千代一面。慶長三年(1598年),兩父子終於見上一面,不過德川家康依舊討厭這個親生兒子,史料記載當時德川家康形容松平忠輝相貌怪異,長得跟幼小時的松平信康差不多。