Επεξεργασία των βασικών γνώσεων της κάμερας (2)

3. Εισαγωγή στις κάμερες κινητών τηλεφώνων

Εισαγάγετε περιγραφή εικόνας εδώ

Για το σύστημα κάμερας σε κινητά τηλέφωνα, λόγω των περιορισμών μεγέθους και κατανάλωσης ενέργειας, δεν μπορεί να είναι σαν μια επαγγελματική κάμερα.μπορεί εύκολα να αντικατασταθεί με μεγαλύτερο φακό και μπορεί να προστεθεί μεγαλύτερη φωτοευαίσθητη συσκευή CCD/CMOSΗ ενσωμάτωση μιας πιο ισχυρής μονάδας επεξεργασίας εικόνας, έτσι ώστε ο χώρος που απομένει για τα κινητά τηλέφωνα να μην είναι πολύ μεγάλος.Οι μεγάλοι κατασκευαστές κινητών τηλεφώνων εξακολουθούν να χρησιμοποιούν περιορισμένο χώρο και διάρκεια ζωής της μπαταρίας για να κάνουν το σύστημα κάμερας συγκρίσιμο με τις επαγγελματικές κάμερες σε ορισμένους τομείςΣτη συνέχεια, ας παρουσιάσουμε εν συντομία αυτό το σύστημα κάμερας που είναι μικρού μεγέθους αλλά έχει μεγάλη ισχύ.

Όπως φαίνεται στο σχήμα, το σύστημα κάμερας ενός κινητού τηλεφώνου μπορεί να διαιρεθεί σε δύο μέρη, το ένα είναι η μονάδα κάμερας και το άλλο είναι ο επεξεργαστής εικόνας ISP.Η μονάδα της κάμερας χρησιμοποιείται για φωτοηλεκτρική μετατροπήΣτη συνέχεια, ας ρίξουμε μια ματιά στο πώς λειτουργούν τα δύο στο κινητό τηλέφωνο.

1Μοντέλο κάμερας
Λόγω περιορισμών μεγέθους, οι ενότητες κάμερας κινητών τηλεφώνων κατασκευάζονται συχνά πολύ λεπτές και συμπαγές, οι οποίες περιλαμβάνουν κυρίως φακούς, κινητήρες εστίασης, φίλτρα και αισθητήρες.

Οι φακοί στα κινητά τηλέφωνα χρησιμοποιούν γενικά συνδυασμό πολλαπλών φακών για την εξάλειψη της χρωματικής εκτροπής.Τα περισσότερα από τα υλικά τους είναι συνδυασμός γυαλιού και πλαστικού.Οι πλαστικοί φακοί έχουν χαμηλότερα κόστη και είναι κατάλληλοι για εφαρμογές χαμηλού επιπέδου.αλλά το κόστος είναι λίγο υψηλότερο από αυτό των πλαστικών φακών, έτσι χρησιμοποιείται συχνά σε ορισμένα κινητά τηλέφωνα που επιδιώκουν την ποιότητα εικόνας.

Γενικά, όσο μεγαλύτερο είναι το FOV, τόσο μεγαλύτερο είναι το εύρος σκηνών που μπορεί να δει κανείς.αλλά μπορεί να προκαλέσει σοβαρή στρέβλωσηΟι αλγόριθμοι διόρθωσης στρεβλώσεων μετά το στάδιο χρησιμοποιούνται συνήθως για τη διόρθωση της σκηνής.

Το εστιακό μήκος F ορίζει ότι το σημείο όπου όλες οι ακτίνες φωτός παράλληλες προς τον κύριο άξονα του φακού συγκλίνουν ονομάζεται εστίαση,και η απόσταση από το επίκεντρο στο κέντρο του φακού είναι η εστιακή απόσταση εδώΓενικά, όσο μεγαλύτερη είναι η εστιακή απόσταση, τόσο μικρότερη είναι η εστιακή απόσταση του φακού.

Η τιμή διαφάνειας f καθορίζεται από τη σχέση της εστιακής απόστασης του φακού προς τη διάμετρο του πραγματικού διαφάνειου.Οι φακοί κινητών τηλεφώνων χρησιμοποιούν γενικά ένα σταθερό ανοιχτό φως f/2.0.

Για να διευκολυνθεί η ρύθμιση του φακού, ο ολόκληρος φακός ενσωματώνεται συνήθως στη μονάδα κινητήρα.Η μητρική πλακέτα μεταδίδει οδηγίες μέσω της I2C λεωφορείου για να οδηγήσει τον κινητήραΓια να μετακινήσετε και να ρυθμίσετε τον φακό για να επιτύχετε εστίαση ή ζουμ, εδώ παρουσιάζουμε εν συντομία τον κινητήρα φωνητικής τροχιάς.

Ο κινητήρας φωνητικού κυλίνδρου ονομάζεται κινητήρας φωνητικού κυλίνδρου στα ηλεκτρονικά.Είναι μέσα σε ένα μόνιμο μαγνητικό πεδίο και αλλάζει το ρεύμα συνεχούς ρεύματος της τροχιάς στον κινητήραΕλέγχει τη θέση ανύψωσης του φύλλου του ελατηρίου και στη συνέχεια οδηγεί τον φακό να κινείται προς τα πάνω και προς τα κάτω για να επιτύχει εστίαση ή μεγέθυνση.έχει γίνει ένα βασικό συστατικό για τα κινητά τηλέφωνα.

Στα κινητά τηλέφωνα, η χρήση των κινητήρων φωνητικών περιστροφών χωρίζεται γενικά σε δύο τρόπους, ο ένας είναι ζουμ και ο άλλος είναι εστίαση.

Ζουμ: Ο κινητήρας ρυθμίζει την κίνηση ενός συγκεκριμένου φακού στην ομάδα φακών, αλλάζοντας έτσι την εστιακή απόσταση ολόκληρου του φακού, προκαλώντας αλλαγές στο οπτικό πεδίο,Με αυτόν τον τρόπο επιτυγχάνεται ο σκοπός της μεγέθυνσης και της σκηνήςΑυτή η μέθοδος είναι αυτό που συχνά ονομάζουμε οπτική ζουμ. Το πλεονέκτημα αυτής της μεθόδου ζουμ είναι ότι οι λεπτομέρειες της εικόνας δεν θα χαθούν κατά τη διαδικασία της μεγέθυνσης.Λόγω του περιορισμού του όγκουΩς εκ τούτου, οι κατασκευαστές κινητών τηλεφώνων χρησιμοποιούν γενικά έναν συνδυασμό οπτικής και ψηφιακής μεθόδου ζουμ για την επίτευξη σκοπών ζουμ υψηλού εύρους.

Εστίαση: Ο κινητήρας φωνητικής περιστροφής μετακινεί άμεσα ολόκληρο τον φακό προς τα εμπρός και προς τα πίσω για να κάνει το επίπεδο εικόνας του αντικειμένου να συμπίπτει με το φωτοευαίσθητο επίπεδο του φωτοαποδέκτη,έτσι ώστε να λαμβάνεται σαφής εικόναΑυτή η μέθοδος είναι η διαδικασία της εστίασης. Ο σκοπός είναι να πάρει μια καθαρή εικόνα.

Αφού το φως περάσει από τον φακό, θα εισέλθει πρώτα στο επόμενο συστατικό - το φίλτρο.

Φιλτράρισμα υπέρυθρων ακτίνων: Δεδομένου ότι ο φωτοαποδέκτης θα αισθανθεί μέρος των αόρατων υπέρυθρων ακτίνων, οι οποίες θα παρεμβαίνουν στην επακόλουθη επεξεργασία εικόνας,απαιτείται φίλτρο για να φιλτράρει αυτό το μέρος των υπέρυθρων ακτίνων και να επιτρέψει μόνο το ορατό φως να περάσει.

Διορθωτικό φως: Αφού το φως περάσει από τον φακό, δεν είναι όλα παράλληλα και κατακόρυφα με τον φωτοαποδέκτη.Προφανώς αν δεν το αναχαιτίσουν., θα προκαλέσει κάποια παρεμβολή στον φωτοδεκτή,Οι φυσικές πόλωσες ιδιότητες του κουάρτς διατηρούν το άμεσο φως και αντανακλούν τα στρεβλή μέρη για να αποφευχθεί η επίδραση σε κοντινά φωτοευαίσθητα σημεία, βελτιώνοντας περαιτέρω την εικόνα.

Μετά το φιλτράρισμα και τη διόρθωση από το φίλτρο, το φως που εισέρχεται έχει μια ορισμένη σταθερότητα.είναι απαραίτητο να πραγματοποιείται φωτοηλεκτρική μετατροπή μέσω του πυρήνα φωτοαποδέκτη του συστήματος κάμερας.

Οι φωτοαποδέκτες στα κινητά τηλέφωνα περιλαμβάνουν κυρίως CCD και CMOS. Ωστόσο, λόγω του υψηλού κόστους και του μεγάλου μεγέθους τους, το CCD δεν χρησιμοποιείται πολύ στα κινητά τηλέφωνα.Το CMOS έχει γίνει ο κύριος φωτοαποδέκτης σε αυτόν τον τομέαΤο CMOS στα κινητά τηλέφωνα εξακολουθεί να χρησιμοποιεί μια δομή τριών στρωμάτων. , μικροσωλήνες/φίλτρο/φωτοευαίσθητο στρώμα, ο ειδικός ορισμός είναι ο ακόλουθος:

Το στρώμα των μικρολιθών χρησιμοποιείται κυρίως για να επεκτείνει την περιοχή λήψης φωτός ενός μόνο pixel.

Η λειτουργία Bayer που χρησιμοποιείται από το φίλτρο είναι παρόμοια με τη λειτουργία RGB. Χρησιμοποιεί συστατικά χρώματος RGB για να μετρήσει την τιμή γκρι των τριών καναλιών κάθε pixel.βασισμένο στον βασικό κανόνα ότι το ανθρώπινο μάτι είναι πιο ευαίσθητο στο πράσινο, Bayer Η λειτουργία τονίζει περαιτέρω την πράσινη συνιστώσα, ορίζοντας έτσι τις πράσινες συνιστώσες ως Gr και Gb αντίστοιχα για να εκφράσει καλύτερα το χρώμα και τη φωτεινότητα της εικόνας.

Το φωτοευαίσθητο στρώμα χρησιμοποιείται για τη μετατροπή φωτονίων σε ηλεκτρονικά σήματα.και μετά τα μετατρέπει σε ψηφιακά σήματα μέσω του κυκλώματος ενίσχυσης και του κυκλώματος μετατροπής αναλογικού σε ηλεκτρικό..

Ο πυρήνας του φωτοευαίσθητου στρώματος είναι μια φωτοευαίσθητη διώδης, και κάθε διώδης περιέχει έναν ενισχυτή και ένα κύκλωμα μετατροπής ψηφιακού σε αναλογικό.αν και επιταχύνει την ανάγνωση σε κάποιο βαθμόΤο σύστημα αυτό δεν μπορεί να εγγυηθεί ότι η επίδραση ενίσχυσης κάθε ενισχυτή είναι συνεπής, επομένως ο σχεδιασμός αυτός θα προκαλέσει πιθανό θόρυβο.δεδομένου ότι το CMOS προσθέτει πρόσθετα κυκλώματα υλικού δίπλα σε κάθε διόδηΗ σχεδίαση αυτή ονομάζεται εμπρόσθια φωτισμένη.Οι κατασκευαστές CMOS έχουν εισαγάγει ένα σχεδιασμό με πίσω φωτισμόΟ σχεδιασμός αυτός τοποθετεί φωτοευαίσθητα pixel και μεταλλικά ηλεκτροδικά τρανζίστορα και στις δύο πλευρές του φωτοευαίσθητου φύλλου, το οποίο αυξάνει τον κύκλο λειτουργίας pixel, αυξάνει την αποτελεσματικότητα της ανίχνευσης φωτός,αυξάνει τον αριθμό των pixelΗ εικόνα βελτιώνεται σημαντικά.

2Επεξεργαστής εικόνας
Η διαδικασία υλοποίησης του επεξεργαστή εικόνας στο κινητό τηλέφωνο είναι βασικά παρόμοια με εκείνη του συστήματος κάμερας μη κινητού τηλεφώνου.περιλαμβάνει κυρίως ενότητες υλικού όπως IFE/BPS/IPE/JPEG. Είναι αντίστοιχα υπεύθυνα για εργασίες επεξεργασίας εικόνας που δεν περνάνε.

IFE (Image Front End): Η έξοδος δεδομένων από τον αισθητήρα θα φτάσει πρώτα στο IFE.στατιστικά στοιχεία και demosaicing για προεπισκόπηση και επεξεργασία δεδομένων βίντεο 3A.

BPS (Bayer processing segment): Αυτή η μονάδα υλικού χρησιμοποιείται κυρίως για την αφαίρεση νεκρών pixel, εστίαση φάσης, demosaicing, downsampling,Η επεξεργασία HDR και η υβριδική επεξεργασία της Bayer για τη μείωση του θορύβου των φωτογραφικών δεδομένων εικόνας.

IPE (μηχανή επεξεργασίας εικόνας): Αυτό το υλικό αποτελείται κυρίως από NPS και PPS, και είναι υπεύθυνο για τις εργασίες επεξεργασίας εικόνας, όπως η μείωση θορύβου υλικού (MFNR, MFSR), η κούρεμα εικόνας,μείωση του θορύβου, επεξεργασία χρώματος, και βελτίωση λεπτομέρειας.

JPEG: Η αποθήκευση των δεδομένων φωτογραφίας εκτελείται από αυτή τη μονάδα υλικού για κωδικοποίηση jpeg.

Σε σύγκριση με τις επαγγελματικές φωτογραφικές μηχανές, το κοινό για τις φωτογραφικές μηχανές κινητών τηλεφώνων δεν γνωρίζει πολλές επαγγελματικές γνώσεις φωτογραφίας,Αλλά αυτή η ομάδα έχει ένα χαρακτηριστικό που είναι προφανώς διαφορετικό από το κοινό για τις επαγγελματικές κάμερεςΓια την φορητότητα, οι κάμερες κινητών τηλεφώνων ως σύνολο είναι διάσημες για την συμπαγή τους μορφή.αλλά από την άποψη της παιξιμότητας, οι μεγάλοι κατασκευαστές κινητών τηλεφώνων έχουν επίσης καταβάλει μεγάλες προσπάθειες και υιοθετήσει πολλές στρατηγικές για να επεκτείνουν τη δυνατότητα παιχνιδιού των φωτογραφικών μηχανών, μεταξύ των οποίων η πολλαπλή λήψη είναι ένα σύγκριση κλασικό παράδειγμα.

Οι πρώτες κάμερες κινητών τηλεφώνων είχαν γενικά μία πίσω κάμερα και ήταν δημοφιλείς σε όλο τον κόσμο.Με την εξέλιξη των καιρών και τον αυξανόμενο αριθμό των νέων χρηστών, η ζήτηση για selfies έγινε ισχυρότερη, και υπήρξαν επίσης και τεχνολογικές ανακαλύψεις σε αυτόν τον τομέα. Ως εκ τούτου, οι κατασκευαστές κινητών τηλεφώνων εκμεταλλεύτηκαν την τάση και ξεκίνησαν μια λειτουργία διπλής κάμερας, προσθέτοντας μια πρόσθετη μονάδα κάμερας στο μπροστινό μέρος του τηλεφώνου κυρίως για selfies.Επίσης πρόσθεσαν καινοτόμα έναν αλγόριθμο ομορφιάς στον ISP.Αμέσως μετά, οι κατασκευαστές κινητών τηλεφώνων ενσωμάτωσαν πολλαπλές ενότητες σε κινητά τηλέφωνα για να καλύψουν τις ανάγκες φωτογραφίας πολλαπλών σκηνών.Επόμενο., θα παρουσιάσουμε σύντομα το σύστημα πολλαπλών καμερών.

Οι σημερινές κάμερες κινητών τηλεφώνων χρησιμοποιούν συχνά πολλαπλές ενότητες κάμερας.και συστήματα διπλής κάμερας που αναπτύχθηκαν για να ανταποκριθούν σε ειδικές ανάγκεςΛόγω της ταχείας ανάπτυξης της τεχνολογίας διπλής κάμερας, έχουν παραχθεί πολλές ώριμες λύσεις.

Όπως υποδηλώνει το όνομα, η τεχνολογία διπλής κάμερας χρησιμοποιεί δύο μονάδες κάμερας για να εικόνα ξεχωριστά,και τις επεξεργάζεται μέσω ειδικών αλγορίθμων για να τις συγχωνεύσει σε μία εικόνα για να ικανοποιήσει τις ειδικές απαιτήσεις απεικόνισηςΓενικά, η τρέχουσα λύση διπλής κάμερας χρησιμοποιείται κυρίως για την επίτευξη θολού φόντου, τη βελτίωση της ποιότητας εικόνας υπό συνθήκες σκοτεινού φωτός / νυχτερινής σκηνής και την οπτική ζουμ.Ακολουθεί μια σύντομη εισαγωγή:

α) Ασαφή εικόνα φόντου (RGB + RGB)
Για να επιτευχθεί αυτός ο σκοπός, χρησιμοποιούνται κυρίως δύο μονάδες κάμερας RGB για την απεικόνιση της σκηνής ταυτόχρονα.Βασισμένοι σε αυτή τη σειρά δεδομένων, το προσκήνιο και το φόντο διαχωρίζονται, και στη συνέχεια μέσω του αλγόριθμου θολού στοχεύει την επεξεργασία θολού φόντου και τελικά δημιουργεί ένα θολό φόντο εικόνας.Αξίζει να σημειωθεί ότι λόγω των περιορισμών της αρχής της τριγωνοποίησης, οι δύο μονάδες κάμερας πρέπει να βαθμολογούνται έτσι ώστε τα επίπεδα απεικόνισης των δύο να βρίσκονται στο ίδιο επίπεδο και τα pixel να ευθυγραμμίζονται.

β) Ενίσχυση του σκοτεινού φωτός (RGB + MONO)

Σε ένα πιο σκοτεινό περιβάλλον, το αποτέλεσμα λήψης φωτογραφιών είναι συχνά μη ικανοποιητικό, έτσι ώστε οι κατασκευαστές κινητών τηλεφώνων να χρησιμοποιούν ένα RGB και ένα μαύρο και λευκό μοντέλο κάμερας (MONO) για να βελτιώσουν το αποτέλεσμα απεικόνισης με σκοτεινό φως.Η συγκεκριμένη αρχή είναι ότι επειδή η μαύρη και λευκή μονάδα κάμερας δεν υπάρχει φίλτρο BayerΗ διαμόρφωση της φωτογραφικής μηχανής με το RGB μπορεί να εξασφαλίσει τη βελτίωση της ποιότητας της εικόνας, με αποτέλεσμα να εξασφαλίζεται μεγαλύτερη διαφάνεια σε συνθήκες σκοτεινού φωτός, διατηρώντας έτσι περισσότερες λεπτομέρειες της εικόνας.Όσον αφορά την ποιότητα εικόνας υπό σκοτεινό φως, δεδομένου ότι η απεικόνιση των δύο μονάδων κάμερας πρέπει επίσης να συγχωνευθεί, εξακολουθεί να απαιτείται μια λειτουργία βαθμονόμησης ώστε οι δύο μονάδες κάμερας να μπορούν να διατηρήσουν την ευθυγράμμιση των pixel.

γ) Οπτική ζουμ (λαμπρή γωνία + τηλεφωτογραφία)

Η οπτική ζουμ, όπως εισήχθη προηγουμένως, μπορεί να επιτύχει τον σκοπό της ζουμ, ρυθμίζοντας την εστιακή απόσταση ενός μόνο φακού στον κινητήρα εστίασης.είναι συχνά αδύνατο να ληφθεί μεγαλύτερη περιοχή ζουμ από μία μονάδα κάμεραςΩς εκ τούτου, οι κατασκευαστές κινητών τηλεφώνων έχουν προτείνει τη χρήση δύο μονάδων κάμερας με διαφορετικές εστιακές αποστάσεις (ευρυκοί γωνίες και τηλεφωτογραφία) για να επιτευχθεί από κοινού ο σκοπός της οπτικής ζουμ.Η αρχή είναι να χρησιμοποιηθεί η ευρυογκόλια μονάδα για να παρουσιάσει ένα ευρύ φάσμα σκηνώνΓια τις απομακρυσμένες σκηνές, η εναλλαγή των μονάδων και οι εξαιρετικοί αλγόριθμοι σύντηξης επιτυγχάνουν σχετικά ομαλές λειτουργίες ζουμ κατά τη λήψη φωτογραφιών.

Από την παραπάνω εισαγωγή, μπορούμε να δούμε ότι ένα σύστημα φωτογραφικής μηχανής αποτελείται από έναν φακό, ένα κλείστρο διαφάνειας, έναν φωτοαντικειμενικό και έναν επεξεργαστή εικόνας.κινητήρες εστίασηςΤαυτόχρονα, για να ενσωματωθεί το σύστημα κάμερας στο κινητό τηλέφωνο, ορισμένες περικοπές υλικού είναι αναπόφευκτες.Για παράδειγμα:, το άνοιγμα συχνά εγκαταλείπεται στη ρυθμιζόμενη μορφή και υιοθετεί ένα σταθερό άνοιγμα.χρησιμοποιείται κυρίως CMOSΗ εστίαση του κινητήρα εστίασης μειώνεται επίσης λόγω των περιορισμών όγκου.μέσω της συνεχούς ανάπτυξης των τσιπ επεξεργασίας εικόνας και της συνεχούς βελτιστοποίησης των αλγορίθμων τα τελευταία χρόνια, τα συστήματα κάμερας κινητών τηλεφώνων μειώνουν σταδιακά το χάσμα με τις επαγγελματικές κάμερες.Οι εικόνες από τις κάμερες των κινητών τηλεφώνων θα είναι εντελώς συγκρίσιμες με τις επαγγελματικές κάμερες..