首先，当双方离婚时，一方有家庭暴力，这可以作为法院判决双方离婚的主要依据，也可以作为另一方提出离婚损害赔偿的依据。然而，它不能作为孩子抚养权利归属的基础。
第二，当双方离婚时，如果双方不能达成协议，子女抚养的权利问题可以通过诉讼解决。当法院审理有关儿童抚养权利的问题时，它将根据有利于儿童的原则作出判决，如生活条件，抚养能力等。并将考虑以下因素：
1岁或2岁以下的孩子通常和他们的母亲住在一起。如果母亲有下列情况之一，她可以与父亲生活在一起：
(1)患有传染病或其他长期无法治愈的严重疾病的儿童不应与他们一起生活；
(2)在抚养条件下负有抚养义务，而父亲要求子女与其生活在一起；
(3)出于其他原因，儿童不能与母亲生活在一起。
第二，对于两岁或两岁以上的孩子，父母双方都要求和他们一起生活。有下列情形之一的，可以给予优先权：
(一)因其他原因已经绝育或者丧失生育能力的；
(2)随着儿童生存时间的延长，生活环境的变化明显不利于儿童的健康成长；
(三)没有其他子女，且对方有其他子女的；
(四)子女的生活有利于子女的成长，而对方患有传染病或者其他长期不能治愈的严重疾病，或者有其他不利于子女身心健康的情形，不适合与子女共同生活的。
第三，父母双方都应该考虑一个10岁以上的未成年孩子的意见，这个孩子与他的父亲或母亲有争议。
法律依据：
《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》第1条
两岁以下的孩子通常和他们的母亲住在一起。在下列任何情况下，母亲可以与父亲生活在一起：
(1)患有传染病或其他长期无法治愈的严重疾病的儿童不应与他们一起生活；
(2)在抚养条件下负有抚养义务，而父亲要求子女与其生活在一起；
(3)出于其他原因，儿童不能与母亲生活在一起。
《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》第3条
对于两岁或两岁以上的孩子，父母双方都要求和他们一起生活。有下列情形之一的，可以给予优先权：
(一)因其他原因已经绝育或者丧失生育能力的；
(2)随着儿童生存时间的延长，生活环境的变化明显不利于儿童的健康成长；
(三)没有其他子女，且对方有其他子女的；
(四)子女的生活有利于子女的成长，而对方患有传染病或者其他长期不能治愈的严重疾病，或者有其他不利于子女身心健康的情况，不适合与子女共同生活的。