Το τέμενος του Καρά Μουσά βρίσκεται στην παλιά πόλη του Ρεθύμνου στη συμβολή των οδών Ουγκό και Αρκαδίου, κοντά στην κεντρική πλατεία με το μνημείο του Αγνώστου Στρατιώτη.
Κατά την εποχή της Ενετοκρατίας στην Κρήτη, στο χώρο που βρίσκεται σήμερα το τζαμί προϋπήρχε η καθολική εκκλησία της Αγίας Βαρβάρας.
Όταν όμως οι Τούρκοι κατέλαβαν το Ρέθυμνο το 1646, το μέχρι τότε χριστιανικό μοναστήρι, μετατράπηκε βιαίως σε μουσουλμανικό τέμενος από το διοικητή των τουρκικών ναυτικών δυνάμεων που κατέλαβαν το Ρέθυμνο, Καρά Μουσά Πασά, ο οποίος του έδωσε και το όνομά του.
Μπροστά και δεξιά από τον ημιερειπωμένο μιναρέ υπάρχει τριμελής προθάλαμος, στεγασμένος με 3 θόλους. Στον περίβολο σώζεται ένα μέρος από τοντουρμπέ (θολωτή νεκρική κατασκευή) όπου ίσως είχε ενταφιαστεί ο ιδρυτής του τζαμιού.
Τέλος Ν.Α. του κεντρικού κτιρίου σώζονται αρκετές μεζαρόπετρες,μαρμάρινες, δηλαδή, διακοσμημένες στήλες που τοποθετούνταν στους τούρκικους τάφους, ενώ το κεντρικό κτίριο έχει τυπική τετράγωνη κάτοψη.
Στη στεγασμένη είσοδο του τεμένους υπάρχει και μια κρήνη που αποτελούσε αναπόσπαστο τμήμα του τεμένους.