Ο Κώστας Βουτσάς δεν έκρυψε ποτέ του την αδυναμία που είχε στο γυναικείο φύλο.
Αν και ο ίδιος δήλωνε πως δεν υπήρξε καλός σύζυγος, όσες γυναίκες πέρασαν από τη ζωή του είχαν πάντα κάτι καλό να πουν για εκείνον.
Από τα πρώτα του κιόλας βήματα στον χώρο της υποκριτικής κατάφερε να κάνει τη Σπεράντζα Βρανά να χάσει τα λόγια της. Οι δυο τους γνωρίστηκαν το καλοκαίρι του 1959 κατά τη διάρκεια μιας θεατρικής παράστασης στο Θέατρο Ακροπόλ, ενώ στη συνέχεια η φιλία τους εξελίχθηκε σε μία θυελλώδη σχέση που πέρασε από όλα τα στάδια. Ο δεσμός τους έληξε έπειτα από 4,5 χρόνια και αφού είχαν αρχίσει οι ετοιμασίες του γάμου μιας και ο ηθοποιός ζήτησε από τη Σπεράντζα Βρανά μετά το μυστήριο να εγκαταλείψει την καριέρα της και να επικεντρωθεί στην οικογένεια που θα δημιουργήσουν. Την ίδια όμως περίοδο πριν καν ακόμη χωρίσουν ο Κώστας Βουτσάς είχε βρει τον έρωτα στα μάτια της Έρρικας Μπρογιερ.
Αν και οι δυο τους παντρεύτηκαν και απέκτησαν μαζί μια κόρη, τη Σάντρα και παρόλο που ήταν πολύ αγαπημένοι δεν κατάφεραν να κρατήσουν την οικογένειά τους. Ο λόγος, όπως είχαν δηλώσει και οι δυο ήταν το νεαρό της ηλικίας τους και οι μεγάλες φιλοδοξίες που είχαν για την καριέρα τους.
Μετά το διαζύγιο από την πρώτη σύζυγό του, ο κωμικός ηθοποιός γνωρίζει τη Θεανώ Παπασπύρου με την οποία παντρεύτηκε και μαζί της απέκτησε ακόμη δυο κόρες, τη Θεοδώρα και την Νικολέττα. Ούτε αυτός ο γάμος όμως κράτησε αφού τελικά οι δυο τους χώρισαν όταν η μικρή τους κόρη Νικολέττα ήταν εννέα ετών.
Στη συνέχεια ο Κώστας Βουτσάς προχώρησε σε έναν ακόμη γάμο, αυτή τη φορά με το πρώην μοντέλο Εύη Καραγιάννη. Εκείνη είχε ήδη έναν γιο από προηγούμενο γάμο, τον οποίο όμως ο Κώστας Βουτσάς υιοθέτησε και μεγάλωσε σαν να ήταν δικό του παιδί. Αυτός δεν είναι άλλος από τον Άνθιμο Ανανιάδη που συχνά έχει αναφερθεί στο πρόσωπο του ηθοποιού με τρυφερά λόγια.
«Ατελείωτες ήταν οι όμορφες στιγμές που περάσαμε με τον Κώστα Βουτσά. Είναι χαρισματικός πατέρας, τον αγαπούσε και τον αγαπάει τον Άνθιμο, όπως και ο Άνθιμος εκείνον και δεν τον ξεχώρισε ποτέ» είχε δηλώσει η Εύη Καραγιάννη για τον γνωστό ηθοποιό στο παρελθόν.
Οι δρόμοι τους όμως χώρισαν και ο Κώστας Βουτσάς συνέχισε να ζει και να αγαπά τις γυναίκες χωρίς να διστάσει να προχωρήσει και σε έναν τέταρτο γάμο, αυτή τη φορά με την κατά 39 χρόνια μικρότερή του Αλίκη Κατσαβού. Οι δυο τους έγιναν ζευγάρι το 2015 και έναν χρόνο μετά παντρεύτηκαν ενώ την ίδια χρονιά ήρθε στον κόσμο και ο γιος τους Φοίβος.
