Γεννημένος το 1932 στο χωριό Ζαβράγιε (Zavraje), ήταν γιος του σημαντικού ποιητή Αρσένυ Ταρκόφσκι (Arseniy Tarkovsky). Σπούδασε μουσική, ζωγραφική, γλυπτική και αραβικά, ενώ για ένα διάστημα συμμετείχε σε γεωλογική αποστολή στην ανατολική Σιβηρία. Από το 1956 φοίτησε για περίπου τέσσερα χρόνια στην κινηματογραφική σχολή VGIK (Ινστιτούτο κινηματογράφου της Σοβιετικής Ένωσης), υπό τις οδηγίες του Μιχαήλ Ρομ.
Σπούδασε μουσική, ζωγραφική, γλυπτική και αραβικά, ενώ για ένα διάστημα εργάστηκε ως γεωλόγος στη Σιβηρία. Το 1956 εισέρχεται στην περίφημη κινηματογραφική σχολή της Μόσχας VGIK και παρακολουθεί μαθήματα, με δάσκαλο τον σπουδαίο σκηνοθέτη Μιχαήλ Ρομ (Αληθινός Φασισμός). Συμμαθητής του ήταν ένας άλλος μεγάλος της 7ης τέχνης, ο γεωργιανός Σεργκέι Παρατζάνωφ (Σαγιάτ Νόβα). Το 1960 αποφοιτά, υποβάλλοντας ως πτυχιακή εργασία τη διάρκειας 46 λεπτών ταινία Ο βιολιστής και ο οδοστρωτήρας, που ουσιαστικά αποτελεί την πρώτη του κινηματογραφική δουλειά.
Η διεθνής αναγνώριση του Ταρκόφσκι ήρθε με την πρώτη του μεγάλου μήκους ταινία, Τα παιδικά χρόνια του Ιβάν (1962), η οποία κέρδισε τρεις “Χρυσούς Λέοντες” στο Κινηματογραφικό Φεστιβάλ της Βενετίας, μεταξύ των οποίων το βραβείο σκηνοθεσίας και καλύτερης ταινίας. Επόμενη κινηματογραφική ταινία του Ταρκόφσκι αποτέλεσε η επική παραγωγή Αντρέι Ρουμπλιόφ (1969), η οποία αντιμετώπισε τον εξονυχιστικό έλεγχο και πολλές παρεμβάσεις εκ μέρους των σοβιετικών αρχών, με αποτέλεσμα η δημόσια προβολή της στη Ρωσία να καθυστερήσει για αρκετά χρόνια μέχρι το 1971. Η ταινία προβλήθηκε στο φεστιβάλ των Καννών, αποκομίζοντας τελικά το βραβείο FIPRESCI.
Ο Ταρκόφσκι σκηνοθέτησε τις περισσότερες ταινίες του στη Ρωσία. Το 1983 πραγματοποίησε για πρώτη φορά γυρίσματα εκτός της Ρωσίας, στην Τοσκάνη της Ιταλίας, για τις ανάγκες της ταινίας Νοσταλγία και στη συνέχεια εγκαταστάθηκε μόνιμα στην Ιταλία και αργότερα στη Γαλλία.
Το έργο του Ταρκόφσκι χαρακτηρίζεται από έντονα προσωπικά και μεταφυσικά στοιχεία, με επιρροές από τη λογοτεχνία και τη ζωγραφική. Αργοί ρυθμοί, εικόνες εξαιρετικής αισθητικής και σταθερά απόμακρα και μακράς διάρκειας πλάνα είναι μερικά από τα κύρια χαρακτηριστικά των ταινιών του. Σταδιακά ανέπτυξε μία προσωπική θεωρία γύρω από τον κινηματογράφο, που αποκαλείται συχνά και ως γλυπτική του χρόνου. Σύμφωνα με αυτή, ο Ταρκόφσκι πίστευε πως ένας από τους κύριους στόχους του κινηματογράφου ήταν η καταγραφή της αληθινής ανθρώπινης εμπειρίας του χρόνου. Οι ταινίες του χαρακτηρίζονται συχνά για την έλλειψη γραμμικής αφήγησης, υιοθετώντας ποιητικούς συνειρμούς και «ονειρική λογική».
Ο ίδιος δεν θεωρούσε τα έργα του συμβολικά, δηλώνοντας χαρακτηριστικά: «…είμαι εχθρός των συμβόλων. Είναι μια πολύ στενή έννοια από την άποψη ότι ένα σύμβολο υπάρχει με σκοπό την αποκρυπτογράφησή του. Από την άλλη πλευρά, μια καλλιτεχνική εικόνα δεν χρειάζεται αποκρυπτογράφηση, είναι ένα ισοδύναμο του κόσμου που μας περιβάλλει. Η βροχή στο Σολάρις δεν είναι σύμβολο, είναι απλά μια βροχή που στην συγκεκριμένη στιγμή έχει μια ιδιαίτερη σημασία για τον ήρωα. Δεν συμβολίζει τίποτε, απλά εκφράζει. Είναι μια καλλιτεχνική αλληλουχία εικόνων. Το σύμβολο κατ’ εμέ, είναι κάτι πολύ περίπλοκο». Συχνά οι ταινίες του Ταρκόφσκι κατατάσσονται στο είδος του ποιητικού κινηματογράφου. Ο ίδιος ο Ταρκόφσκι δεν αποδεχόταν αυτό το χαρακτηρισμό, που απέδιδε κυρίως σε άλλους σκηνοθέτες όπως στον Φελίνι και στον Παζολίνι, θεωρώντας πως ο αποκαλούμενος ποιητικός κινηματογράφος γίνεται σκόπιμα ακατανόητος.
Η τελευταία του ταινία Η Θυσία, γυρίστηκε στη Σουηδία το 1986 κερδίζοντας τέσσερα βραβεία στις Κάννες. Πέθανε την ίδια χρονιά στην Γαλλία από καρκίνο.
Ο Ταρκόφσκι δεν υπήρξε ποτέ ανοικτά «διαφωνών» με την σοβιετική πολιτική. Το κυριότερο παράπονο από τις σοβιετικές αρχές ήταν ότι δεν του επέτρεψαν να μεταφέρει στη μεγάλη οθόνη όλα του τα σχέδια και τις ιδέες. Πάντως, λόγω της προσωπικής του γραφής, θα ήταν πολύ δύσκολο να τύχει μεγαλύτερης γενναιοδωρίας στη Δύση.
Είμαι χαμένος. Δεν μπορώ να ζήσω στη Ρωσία, αλλά ούτε μακριά από αυτήν,
έγραφε το 1983 στο ημερολόγιό του.
Βρισκόταν στην Ιταλία για τις ανάγκες της ταινίας του “Νοσταλγία”. Εγκαθίσταται μόνιμα αρχικά στη γειτονική χώρα και στη συνέχεια στη Γαλλία. Η τελευταία του ταινία “Η Θυσία” γυρίστηκε στη Σουηδία το 1986 και κερδίζει τρία βραβεία στις Κάννες. Στις 29 Δεκεμβρίου 1986 άφησε την τελευταία του πνοή στο Παρίσι, χτυπημένος από την επάρατη νόσο.