Неговиот дедо бил премиер за муниција за време на Втората Светска војна. Во 1987-ма година се оженил за Аки Абе, која додека работела како радио-водител остро ги критикувала неговите политики. Се бореле со неплодност, но не успеале да добијат деца - Факти за поранешниот јапонски премиер Шинзо Абе, кому му беше извршен атентат.