Όταν πατάς το κουμπί λήψης στο κινητό δεν τραβάς απλώς μία φωτογραφία — τι συμβαίνει πραγματικά

Σύνοψη

• Η φωτογραφία ενός σύγχρονου smartphone μπορεί να είναι αποτέλεσμα πολλών καρέ και εκτεταμένης επεξεργασίας.
• Εξηγούμε την αλυσίδα από τη λήψη έως το HEIF/JPEG.

Πατάς το κουμπί λήψης και σχεδόν αμέσως εμφανίζεται μία φωτογραφία στην οθόνη. Σε πολλά σύγχρονα smartphones, όμως, αυτό που βλέπεις δεν προέρχεται απαραίτητα από μία μοναδική έκθεση: μπορεί να είναι το αποτέλεσμα πολλών καρέ, διαφορετικών εκθέσεων, ευθυγράμμισης, συγχώνευσης και σημαντικής επεξεργασίας πριν καν ανοίξεις την εικόνα.

Δεν λειτουργούν όλα τα smartphones με τον ίδιο τρόπο. Η διαδικασία αλλάζει ανά κατασκευαστή, μοντέλο, κάμερα και λειτουργία λήψης, ενώ ακόμη και στην ίδια συσκευή μπορεί να χρησιμοποιείται διαφορετική μέθοδος την ημέρα, τη νύχτα, στο ζουμ ή όταν επιλέγεται RAW.

Αυτό είναι στην πράξη η υπολογιστική φωτογραφία: ο φακός και ο αισθητήρας εξακολουθούν να καταγράφουν το φως, αλλά το λογισμικό έχει πλέον καθοριστικό ρόλο στο πώς αυτά τα δεδομένα θα μετατραπούν στην τελική φωτογραφία.

Το κουμπί λήψης δεν σημαίνει απαραίτητα μία μόνο έκθεση

Στην απλούστερη εκδοχή της ψηφιακής φωτογραφίας, το φως περνά από τον φακό, φτάνει στον αισθητήρα κατά τη διάρκεια μιας έκθεσης και τα δεδομένα μετατρέπονται σε εικόνα. Στα smartphones η διαδικασία μπορεί να είναι πολύ πιο σύνθετη.

Ανάλογα με τη συσκευή και τη λειτουργία, το σύστημα μπορεί να αξιοποιήσει περισσότερα από ένα καρέ. Η Google έχει περιγράψει, για παράδειγμα, ότι στο Night Sight των Pixel η κάμερα μπορεί να χρησιμοποιεί προσωρινά καρέ από την προεπισκόπηση και, όταν πατηθεί το κουμπί λήψης, να καταγράφει επιπλέον καρέ μεγαλύτερης έκθεσης. Η Apple από την πλευρά της τεκμηριώνει ότι τα επεξεργασμένα HEIC ή JPEG μπορούν να προκύπτουν από συγχώνευση πολλών καρέ μέσω Smart HDR, Deep Fusion ή Night mode.

Αυτό δεν σημαίνει ότι κάθε κινητό τραβά πάντοτε πολλά καρέ. Η στρατηγική αλλάζει ανάλογα με το μοντέλο, το διαθέσιμο φως, την κίνηση της σκηνής και τη λειτουργία που χρησιμοποιείται.

Διαφορετικές εκθέσεις για μεγαλύτερο δυναμικό εύρος

Μία σκηνή μπορεί να περιλαμβάνει ταυτόχρονα έναν πολύ φωτεινό ουρανό και βαθιές σκιές. Αν βασιστούμε σε μία μόνο έκθεση, μπορεί να χρειαστεί να θυσιάσουμε πληροφορία είτε στα φωτεινά είτε στα σκοτεινά σημεία.

Μία λύση είναι η λήψη καρέ με διαφορετική έκθεση, διαδικασία γνωστή και ως exposure bracketing. Ένα καρέ μπορεί να προστατεύει καλύτερα τις φωτεινές περιοχές και ένα άλλο να περιέχει περισσότερη πληροφορία στις σκιές. Το σύστημα στη συνέχεια συνδυάζει τα κατάλληλα δεδομένα για να δημιουργήσει μία εικόνα μεγαλύτερου δυναμικού εύρους.

Η Google τεκμηριώνει το HDR+ with Bracketing στα Pixel ως συγχώνευση εικόνων διαφορετικής έκθεσης. Η Samsung έχει περιγράψει αντίστοιχη διαδικασία στο Night Mode του Galaxy S21, όπου καταγράφονται πολλαπλές εικόνες με διαφορετικά επίπεδα έκθεσης πριν από τη συγχώνευση και την τελική επεξεργασία. Αυτά είναι συγκεκριμένα παραδείγματα κατασκευαστών και όχι απόδειξη ότι κάθε smartphone ακολουθεί ακριβώς την ίδια αλυσίδα.

Πριν συγχωνευτούν, τα καρέ πρέπει να ευθυγραμμιστούν

Η λήψη πολλών καρέ δημιουργεί ένα προφανές πρόβλημα: τίποτα δεν μένει απολύτως ακίνητο. Το χέρι του φωτογράφου μετακινείται, ένα πρόσωπο αλλάζει έκφραση, τα φύλλα κινούνται και ένα αυτοκίνητο μπορεί να έχει αλλάξει θέση ανάμεσα σε δύο διαδοχικά καρέ.

Γι’ αυτό η ευθυγράμμιση είναι κρίσιμο στάδιο. Το σύστημα προσπαθεί να εντοπίσει ποια στοιχεία αντιστοιχούν μεταξύ των εικόνων και να διορθώσει τις διαφορές πριν από τη συγχώνευση. Η Samsung έχει περιγράψει ρητά ότι στην πολυκαρέ επεξεργασία του Galaxy S21 επιλέγεται ένα καρέ αναφοράς και στη συνέχεια τα υπόλοιπα ευθυγραμμίζονται και καταχωρίζονται σε σχέση με αυτό.

Από πολλά καρέ σε μία φωτογραφία

Μετά την επιλογή και την ευθυγράμμιση των κατάλληλων δεδομένων ακολουθεί η συγχώνευση. Δεν πρόκειται απαραίτητα για έναν απλό μέσο όρο πολλών εικόνων. Το σύστημα μπορεί να αξιοποιεί διαφορετικά δεδομένα από κάθε καρέ ανάλογα με το τι χρειάζεται για το τελικό αποτέλεσμα: περισσότερο δυναμικό εύρος, χαμηλότερο θόρυβο, καλύτερη λεπτομέρεια ή καλύτερη αντιμετώπιση της κίνησης.

Η Apple αναφέρει ότι τα επεξεργασμένα HEIC ή JPEG μπορούν να δημιουργούνται με συγχώνευση πολλών καρέ μέσω Smart HDR, Deep Fusion ή Night mode. Το ProRAW επίσης μπορεί, ανάλογα με τη σκηνή, να προκύπτει από πολλαπλές εκθέσεις, παρότι διατηρεί πολύ μεγαλύτερη ευελιξία επεξεργασίας από ένα τελικό JPEG ή HEIF.

Μείωση θορύβου με περισσότερη διαθέσιμη πληροφορία

Οι μικροί αισθητήρες των smartphones αντιμετωπίζουν ιδιαίτερες δυσκολίες όταν μειώνεται το φως. Η χρήση πολλών σωστά ευθυγραμμισμένων καρέ δίνει στο λογισμικό περισσότερα δείγματα της ίδιας σκηνής. Στοιχεία που παραμένουν σταθερά είναι πιθανότερο να αποτελούν πραγματική λεπτομέρεια, ενώ μέρος του τυχαίου θορύβου μπορεί να περιοριστεί κατά τη συγχώνευση.

Η Google αναφέρει ότι το HDR+ with Bracketing χρησιμοποιείται στο Night Sight μαζί με τεχνικές μηχανικής μάθησης για μείωση θορύβου, ενώ η Samsung περιγράφει πολυκαρέ επεξεργασία και μεταγενέστερη επεξεργασία από τον επεξεργαστή σήματος εικόνας με στόχο τη μείωση θορύβου και τη διατήρηση λεπτομέρειας.

Η οξύτητα δεν προέρχεται μόνο από τον φακό

Μετά τη μείωση του θορύβου μπορεί να ακολουθήσει επεξεργασία που ενισχύει την αντιληπτή οξύτητα. Αυτό δεν σημαίνει ότι το λογισμικό δημιουργεί αυτομάτως πραγματική οπτική λεπτομέρεια. Μπορεί όμως να τονίσει ακμές και μικρές διαφορές αντίθεσης ώστε η εικόνα να φαίνεται καθαρότερη.

Η Google αναφέρει ρητά ότι στη νεότερη αλυσίδα HDR+ των Pixel γίνονται παρεμβάσεις στην έκθεση, στη χαρτογράφηση τόνων, στην οξύτητα και στην αντίθεση. Δύο smartphones με παρόμοιο αισθητήρα μπορούν επομένως να αποδίδουν πολύ διαφορετική υφή, επειδή οι κατασκευαστές επιλέγουν διαφορετική ισορροπία ανάμεσα στη μείωση θορύβου και στην ενίσχυση της οξύτητας.

Χαρτογράφηση τόνων και τοπική αντίθεση

Ακόμη κι αν το τηλέφωνο έχει συλλέξει πληροφορία από πολύ φωτεινές και πολύ σκοτεινές περιοχές, πρέπει να αποφασίσει πώς θα παρουσιαστεί όλο αυτό το εύρος στην τελική εικόνα. Εδώ εμφανίζεται η χαρτογράφηση τόνων, ή tone mapping.

Το σύστημα μετατρέπει το μεγάλο εύρος φωτεινότητας των διαθέσιμων δεδομένων σε μια εικόνα που μπορεί να εμφανιστεί σωστά, επιλέγοντας πώς θα αποδοθούν οι σκιές, οι μεσαίοι τόνοι και τα φωτεινά σημεία. Παράλληλα μπορούν να εφαρμοστούν τοπικές προσαρμογές αντίθεσης, ώστε διαφορετικά τμήματα της εικόνας να μην αντιμετωπίζονται υποχρεωτικά με τον ίδιο τρόπο.

Όταν το λογισμικό καταλαβαίνει τι υπάρχει μέσα στο κάδρο

Η σύγχρονη επεξεργασία δεν χρειάζεται να αντιμετωπίζει όλα τα pixel με τον ίδιο τρόπο. Με τεχνικές μηχανικής μάθησης και υπολογιστικής όρασης, συγκεκριμένες υλοποιήσεις μπορούν να αναγνωρίζουν το περιεχόμενο διαφορετικών περιοχών μιας εικόνας και να προσαρμόζουν την επεξεργασία τους.

Αυτό δεν σημαίνει ότι κάθε smartphone αναγνωρίζει τα ίδια αντικείμενα ή χρησιμοποιεί το ίδιο μοντέλο τεχνητής νοημοσύνης. Υπάρχουν όμως τεκμηριωμένα παραδείγματα όπου η επεξεργασία προσαρμόζεται σε στοιχεία όπως το πρόσωπο, ο τόνος του δέρματος, η υφή ή οι σκιές.

Τι συμβαίνει με πρόσωπα και τόνους δέρματος

Η επεξεργασία ανθρώπινων προσώπων είναι σημείο όπου χρειάζεται ιδιαίτερη προσοχή στις γενικεύσεις. Δεν είναι σωστό να λέμε ότι «το smartphone αλλάζει πάντα το πρόσωπο».

Η Google, για παράδειγμα, περιγράφει το Real Tone ως σύνολο βελτιώσεων που αφορούν την αναγνώριση προσώπων, την αυτόματη ισορροπία λευκού και την αυτόματη έκθεση με στόχο ακριβέστερη απόδοση διαφορετικών τόνων δέρματος. Στα Pixel 9 η εταιρεία αναφέρει επίσης ότι η ανανεωμένη HDR+ pipeline βελτιστοποιεί, μεταξύ άλλων, την απόδοση skin tones.

Η Samsung από την πλευρά της αναφέρει ότι ο AI ISP του Galaxy S24 αναλύει τμήματα μιας εικόνας ώστε να προσαρμόζει συγκεκριμένα στοιχεία όπως οξύτητα, τόνο δέρματος και μείωση θορύβου. Πρόκειται και εδώ για συγκεκριμένη υλοποίηση, όχι για καθολικό κανόνα της mobile photography.

Περισσότερες από μία κάμερες μπορούν να συμμετέχουν στο αποτέλεσμα

Τα smartphones διαθέτουν συχνά κύρια, υπερευρυγώνια και τηλεφακή κάμερα. Η προφανής υπόθεση είναι ότι το τηλέφωνο απλώς επιλέγει μία από αυτές ανάλογα με το ζουμ. Σε ορισμένες υλοποιήσεις όμως μπορούν να χρησιμοποιηθούν δεδομένα από περισσότερες κάμερες για το ίδιο τελικό αποτέλεσμα.

Η Google έχει τεκμηριώσει το Fusion Zoom, έναν αλγόριθμο που ευθυγραμμίζει και συγχωνεύει εικόνες από διαφορετικές κάμερες όταν το επίπεδο μεγέθυνσης βρίσκεται ανάμεσα στη βασική και στην τηλεφακή κάμερα. Αυτό δείχνει ότι η κάμερα που φαίνεται ενεργή στην οθόνη δεν περιγράφει πάντοτε ολόκληρη την προέλευση της τελικής πληροφορίας.

Το ψηφιακό ζουμ δεν είναι πάντα απλώς ένα κόψιμο της φωτογραφίας

Στις παλιότερες ψηφιακές κάμερες το ψηφιακό ζουμ σήμαινε συχνά αποκοπή ενός μικρότερου τμήματος της εικόνας και μεγέθυνσή του. Στα σύγχρονα smartphones η διαδικασία μπορεί να είναι πολύ πιο σύνθετη.

Η Google έχει περιγράψει στο Super Res Zoom των Pixel συνδυασμό τεχνικών που περιλαμβάνουν crop από αισθητήρα υψηλής ανάλυσης, remosaicing, HDR+ with Bracketing, μείωση θορύβου και, σε συγκεκριμένα εύρη, Fusion Zoom με συγχώνευση δεδομένων από διαφορετικές κάμερες.

Αυτό δεν σημαίνει ότι οποιοδήποτε υπολογιστικό ζουμ είναι ισοδύναμο με έναν πραγματικό φακό μεγαλύτερης εστιακής απόστασης. Σημαίνει όμως ότι ο όρος «ψηφιακό ζουμ» δεν περιγράφει πλέον πάντα μια απλή μεγέθυνση.

RAW και υπολογιστικό RAW δεν είναι το ίδιο πράγμα

Το RAW συνδέεται παραδοσιακά με δεδομένα όσο το δυνατόν πιο κοντά σε αυτά που καταγράφει ο αισθητήρας. Στα smartphones όμως πρέπει να γίνει μία σημαντική διάκριση.

Η Apple χαρακτηρίζει το συμβατικό RAW ως ελάχιστα επεξεργασμένα δεδομένα του αισθητήρα και επισημαίνει ότι η λήψη σε standard RAW παρακάμπτει τις προηγμένες τεχνικές υπολογιστικής φωτογραφίας της κανονικής αλυσίδας λήψης.

Το Apple ProRAW ακολουθεί διαφορετική προσέγγιση: συνδυάζει την ευελιξία του RAW με πολλές από τις τεχνικές πολυκαρέ συγχώνευσης της computational photography. Έτσι, το γεγονός ότι ένα αρχείο είναι DNG δεν αρκεί από μόνο του για να γνωρίζουμε πόση επεξεργασία έχει ήδη προηγηθεί.

Τι έχει ήδη συμβεί πριν πάρουμε το HEIF ή JPEG

Όταν χρησιμοποιούμε την κανονική εφαρμογή κάμερας ενός smartphone, συνήθως δεν βλέπουμε τα ενδιάμεσα δεδομένα της διαδικασίας. Βλέπουμε το τελικό αρχείο.

Ανάλογα με τη συσκευή και τη λειτουργία λήψης, πριν εμφανιστεί η φωτογραφία στην οθόνη μπορεί να έχουν προηγηθεί πολλά από τα παρακάτω στάδια:

• λήψη ενός ή περισσότερων καρέ
• λήψεις με διαφορετική έκθεση
• επιλογή και ευθυγράμμιση καρέ
• συγχώνευση εικόνων και HDR
• μείωση θορύβου και ενίσχυση οξύτητας
• επεξεργασία χρώματος, ισορροπίας λευκού και χαρτογράφηση τόνων
• τοπικές ή σημασιολογικές προσαρμογές
• επεξεργασία ζουμ ή χρήση δεδομένων από περισσότερες κάμερες
• κωδικοποίηση του τελικού αρχείου σε HEIF ή JPEG

Δεν εφαρμόζονται υποχρεωτικά όλα αυτά σε κάθε φωτογραφία ούτε με την ίδια σειρά. Μεγάλο μέρος της ακριβούς αλυσίδας επεξεργασίας παραμένει ιδιοκτησιακή τεχνολογία των κατασκευαστών.

Ο αισθητήρας και ο φακός εξακολουθούν να έχουν σημασία

Η υπολογιστική φωτογραφία δεν καταργεί τους νόμους της φυσικής. Ο φακός εξακολουθεί να καθορίζει πώς το φως φτάνει στον αισθητήρα, ενώ το μέγεθος και η τεχνολογία του αισθητήρα επηρεάζουν τον θόρυβο, το δυναμικό εύρος, την ανάλυση και τη συμπεριφορά σε χαμηλό φωτισμό.

Το λογισμικό δεν μπορεί να ανακτήσει απεριόριστη πραγματική πληροφορία που δεν καταγράφηκε ποτέ. Μπορεί όμως να χρησιμοποιήσει την πληροφορία που έχει στη διάθεσή του πολύ πιο αποτελεσματικά από μια απλή διαδικασία μίας έκθεσης.

Γι’ αυτό δύο smartphones με παρόμοιο αριθμό megapixel ή παρόμοιο sensor hardware μπορούν να δίνουν αισθητά διαφορετικό αποτέλεσμα. Η τελική εικόνα εξαρτάται όχι μόνο από τον φακό και τον αισθητήρα, αλλά και από τον επεξεργαστή σήματος εικόνας, τους αλγορίθμους HDR, τη μείωση θορύβου, τη συγχώνευση καρέ, τη διαχείριση χρώματος και τα μοντέλα μηχανικής μάθησης.

Η επεξεργασία έχει γίνει πριν πατήσεις «Επεξεργασία»

Αυτή ίσως είναι η σημαντικότερη αλλαγή που έφερε η υπολογιστική φωτογραφία. Η επεξεργασία δεν αρχίζει όταν ανοίξεις το Lightroom ή πατήσεις «Επεξεργασία» στη συλλογή φωτογραφιών. Σε πολλές περιπτώσεις αποτελεί μέρος της ίδιας της λήψης.

Μέχρι να εμφανιστεί η φωτογραφία στην οθόνη, αποφάσεις σχετικά με το δυναμικό εύρος, τον θόρυβο, την οξύτητα, το χρώμα, την αντίθεση και διαφορετικές περιοχές του κάδρου μπορεί να έχουν ήδη ληφθεί αυτόματα.

Το smartphone επομένως δεν είναι απλώς μια πολύ μικρή φωτογραφική μηχανή. Είναι ένα ολοκληρωμένο σύστημα απεικόνισης στο οποίο φακός, αισθητήρας, επεξεργαστής και λογισμικό συνεργάζονται για να δημιουργήσουν το τελικό αρχείο.

Όταν πατάμε το κουμπί λήψης, δεν αποθηκεύουμε απαραίτητα μία απλή έκθεση. Σε πολλές περιπτώσεις το smartphone συνθέτει υπολογιστικά την τελική φωτογραφία χρησιμοποιώντας πολύ περισσότερη πληροφορία από ένα μοναδικό καρέ.

Τι πιστεύουμε

Η υπολογιστική φωτογραφία είναι ένας από τους βασικούς λόγους που τα smartphones μπορούν να δίνουν τόσο υψηλή ποιότητα εικόνας παρά τους αυστηρούς περιορισμούς μεγέθους των φακών και των αισθητήρων τους. Για τον φωτογράφο είναι σημαντικό να γνωρίζει ότι το τελικό αποτέλεσμα δεν καθορίζεται πλέον μόνο από την έκθεση και το οπτικό σύστημα αλλά και από πολλές αυτόματες αποφάσεις του λογισμικού.

Καθώς αυξάνεται η χρήση μηχανικής μάθησης και επεξεργασίας που εξαρτάται από το περιεχόμενο της εικόνας, γίνεται ακόμη σημαντικότερο οι κατασκευαστές να εξηγούν πότε το software αξιοποιεί πραγματικά καταγεγραμμένα δεδομένα και πότε προχωρά σε πιο παρεμβατικές αλλαγές.

Συχνές ερωτήσεις

Το smartphone τραβά πάντα πολλές φωτογραφίες όταν πατάω το κουμπί λήψης;

Όχι. Εξαρτάται από τη συσκευή, την κάμερα, τη λειτουργία και τις συνθήκες λήψης. Υπάρχουν όμως πολλές επίσημα τεκμηριωμένες περιπτώσεις όπου χρησιμοποιούνται πολλαπλά καρέ.

Το HDR σημαίνει απλώς ότι φωτίζονται οι σκιές;

Όχι. Σε υλοποιήσεις όπως το HDR+ with Bracketing της Google χρησιμοποιούνται καρέ διαφορετικής έκθεσης τα οποία συγχωνεύονται υπολογιστικά.

Ένα RAW από smartphone είναι πάντα σχεδόν ανεπεξέργαστο;

Όχι. Ένα συμβατικό RAW και ένα υπολογιστικό RAW όπως το Apple ProRAW είναι διαφορετικές περιπτώσεις. Το ProRAW μπορεί να περιλαμβάνει πολυκαρέ συγχώνευση και δεδομένα από περισσότερες εκθέσεις.

Το ψηφιακό ζουμ είναι πάντα απλώς μεγέθυνση ενός crop;

Όχι. Σε συστήματα όπως το Super Res Zoom της Google μπορούν να χρησιμοποιούνται δεδομένα υψηλής ανάλυσης, πολλαπλές λήψεις, HDR processing και, σε ορισμένες περιπτώσεις, πληροφορία από περισσότερες κάμερες.

Η φωτογραφία που βλέπω στην οθόνη έχει ήδη υποστεί επεξεργασία;

Στις κανονικές επεξεργασμένες λήψεις, ναι. Μέχρι να εμφανιστεί ένα HEIF ή JPEG μπορεί να έχουν ήδη προηγηθεί συγχώνευση καρέ, HDR, μείωση θορύβου, ενίσχυση οξύτητας, χρωματικές και τοπικές προσαρμογές.