Dauguma mano, kad „Google Pixel“ kamera yra geriausia. Kalbant
iš techninės pusės, komponentai nedaug kuo skiriasi nuo konkurentų – pagrindinis skirtumas
užslėptas programinėje įrangoje. Kiti gamintojai taip pat turi dirbtinio
intelekto (angl. AI) vaizdo apdorojimą, nakties režimą ir kt., tačiau nepaisant
visko, net biudžetinis „Pixel 3a“ visiems nušluostė nosis. Šiuolaikinėse
mobiliose kamerose apdorojimo algoritmai yra svarbesni nei aparatinė įranga. Kuo
labiau giliniesi į technologinius niuansus ir skirtumus, tuo geriau supranti,
kad „Google“ kamerą sukūrė tikri genijai. Pažvelkime į „Google“ nuotraukų apdorojimo
unikalumą ir į tai, kaip paieškos puslapis tapo mobiliųjų fotografijų
karaliumi.
Jei kas nors nežinote, pirmasis telefonas, kuriame pasirodė
garsusis HDR+ režimas, buvo „Google“ telefonas „Nexus 5“, tačiau šis apdorojimo
algoritmas buvo sukurtas ne jam ir net ne išmaniesiems telefonams, o
futuristiniam „Google Glass“.
Google Glass
Viskas prasidėjo 2011 m., kai „Google X“ eksperimentinio padalinio
vadovas Sebastian Thrun atkreipė dėmesį į tai, kad didelio foto sensoriaus ir
optikos į akinius nesutalpinsi, bet jie privalo kažkaip fotografuoti. Todėl
vienintelė išeitis buvo pagerinti vaizdą naudojant programinę įrangą. Šiai
problemai išspręsti buvo pakviestas „Stanfordo universiteto“ profesorius,
kompiuterinės fotografijos srities ekspertas Marc Levoy.
Marc Levoy
Būtent jis 2011 m. išleido „SynthCam“ programą, skirtą „iPhone 4“, kuri imitavo profesionalių DSLR kamerų sulietą foną (angl. bokeh). Rezultatas nebuvo labai įspūdingas, tačiau „Google“ pastebėjo Marc Levoy ir pakvietė jį vadovauti kūrėjų komandai, kuri save pavadino „Gcam“.
Kuriant algoritmą, buvo pažymėti 4 kertiniai principai,
kurie padarė didelę įtaką kompiuterinės fotografijos vystymui:
- Būti žaibišku. Vaizdo apdorojimas neturėtų užtrukti
ilgiau, kaip kelios sekundės, o visi skaičiavimai turėtų būti atliekami
įrenginio viduje, o ne debesyje. Taigi, algoritmas turėtų būti paprastas. - Būti automatiniu. Jokių rankinių nustatymų. Vartotojas
turėtų gauti aukštos kokybės vaizdus, negalvodamas apie algoritmo subtilybes. - Būti savaime suprantamu. Algoritmo pritaikytų
efektų poveikis neturėtų paversti nuotraukos siurrealistiniu vaizdu, o naktis
neturėtų atrodyti, kaip bloga nuotrauka dienos metu. Beje, šis principas ir
dabar pastebimas: „Pixel“ telefonai ne visada pritaiko tokį ryškų HDR, kaip
konkurentai, nors ir galėtų atkartoti, padaryti nuotrauką ryškesne. - Būti konservatyviu. HDR+ turėtų būti laikomas
numatytuoju režimu, jį pritaikius, nuotraukoje neturėtų būti artefaktų, o galutinis
rezultatas turėtų būti bent jau ne blogesnis nei nuotrauka užfiksuota įprastu
režimu.
Šie principai paskatino „Gcam“ komandą pažvelgti į savo
darbą visai kitu kampu, nes visi kiti to meto sprendimai neatitiko šių
principų.
Paprastai mobiliojoje fotografijoje dinaminis diapazonas
išplečiamas naudojant kelių kadrų techniką (angl. bracketing). Vienu metu
padaroma keletas nuotraukų – viena normalaus ryškumo, viena šviesesnė, viena
tamsesnė ir tada jos suklijuojamos į vieną nuotrauką – šešėliai paimami iš šviesaus
kadro, spalvos iš tamsaus, visa kita informacija iš normalaus ryškumo kadro. Gautas
rezultatas – platus dinaminis diapazonas arba kitaip tariant – HDR. Dabar
tai gali padaryti bet kuris šiuolaikinis išmanusis telefonas, net ir
biudžetinės klasės, bet šis metodas taip pat turi ir trūkumų:
- Sunku suklijuoti paveikslėlius su skirtingu
apšvietimu ir vaizdo išlaikymu, todėl nuotraukoje atsiranda artefaktų, tokių
kaip susidubliuojantis vaizdas panašus į persekiojantį vaiduoklį (angl. ghosting). - Naudojant šį metodą, galima per daug paryškinti
šešėlius ir spalvas, ko pasėkoje galutinis rezultatas gausis nenatūralus (angl.
excessive range compression). - Neišspręsta nuotraukos vaizdo triukšmo problema,
todėl dėl papildomo agresyvaus triukšmo mažinimo prarandamas tekstūrų detalumas
ir atsiranda korėtos šlapios kempinės efektas (angl. excessive denoising).
Deja, visos šios problemos, vienaip ar kitaip, vis dar atsiranda
išmaniųjų telefonų nuotraukose ir šiais laikais.
Taigi, ką sugalvojo „Gcam“ inžinieriai? Jie nusprendė,
kad efektyviau būtų suklijuoti vaizdus ne su skirtingomis ekspozicijomis, o
tokias pačias, tačiau šiek tiek nepakankamai eksponuota, t.y. tamsesnes, neapšviestas. Skamba
nelogiškai! Apskritai, kaip gali padėti tamsių, nepakankamai apšviestų
nuotraukų suklijavimas? Iš kur gauti informacijos šešėliuose? Kaip
tai padeda atsikratyti triukšmo? Ir štai čia prasideda „Google“ magija.
Visų pirma, HDR+ atveju nuotraukos nėra klijuojamos į vieną,
o tarsi dedamos viena ant kitos, išvedant spalvų vidurkį po kiekvieno kadro
pridėjimo. Vėliau, dėl to, kad nuotraukos daromos mažesniu išlaikymu, jos yra
aiškesnės, detalės ne tokios išsiliejusios. Kadangi nuotraukos daromos vienodo
ryškumo ir tamsios, jas klijuoti tampa daug lengviau ir, žinoma, esant lėtam
užrakto greičiui, vienu metu galima išsaugoti daugiau kadrų. Vidutiniškai
įvertinant kiekvieno paveikslėlio pikselius iš skirtingų nuotraukų, ženkliai sumažėja
triukšmo ir išsaugomas nuotraukos detalumas.
Be to, spalvos gylis padidėja nuo 10 iki 14 bitų ir tai
leidžia dirbtinai išryškinti šešėlius be artefaktų. Viskas skamba
išradingai ir paprastai, tačiau iš tikrųjų algoritmas yra nepaprastai
sudėtingas, nes turi užtikrinti ne tik nepriekaištingą rezultatą, bet ir veikti
bet kokiomis sąlygomis, drebant rankoms, taip pat nesodinti akumuliatoriaus
atliekant sunkius skaičiavimus ir nedaryti klaidų.
Paleidus fotoaparato programą, ji pradeda nepertraukiamai
fotografuoti, saugodama laikinoje ciklinėje atmintyje nuo 15 iki 30 nuotraukų,
atsižvelgiant į apšvietimo lygį. Fotografavimo metu įrašymas sustabdomas
ir imami paskutiniai kadrai iš laikinosios atminties. Iš trijų pirmųjų
kadrų pasirenkamas ryškiausias, tada ant jo pridedami kiti paveikslėliai, išskyrus
fragmentus, kurie nepasikeitė per tą laiką. Kiekvienas vaizdas lyginamas su
prieš tai buvusiu, o visos pakeistos sritys yra eliminuojamos. Gavus suklijuotą
vaizdą, imamasi visų rūšių gerinimo priemonių: pašalinamas triukšmas, nukrypimai,
migla, vinjetė, padidinamas kontrastas, ryškumas ir pan. Iš karto po to pritaikoma:
automatinis baltos spalvos balanso reguliavimas, triukšmo pašalinimas, tonų kompresavimas,
chromatinių nukrypimų pašalinimas, pustonių išlyginimas, spalvų gamos korekcija,
jų sodrumas, jei reikia dar kartą vinjetavimas, miglos šalinimas, kontrasto
padidėjimas bei ryškumų koregavimas. Viskas atliekama automatiškai ir per
kelias sekundes!
Patyrusiems fotografams ar tiesiog nuotraukų koregavimo
laisvę vertinantiems mėgėjams „Google“ turi galimybę išsaugoti RAW failus,
gautus sujungus kelis kadrus, tačiau neapdorotus algoritmo. Net ir šiuo
atveju bendrovė derina visus kompiuterinės fotografijos pranašumus ir tuo pačiu
palieka visiška kūrybos laisvę.
„Gcam“ RAW parinktis
Žinoma, „Google“ nėra vienintelė, kuri naudoja kompiuterinę fotografiją. Kartu su „iPhone XS“ „Apple“ pateikė savo stebuklingo algoritmo versiją ir, pasak Phil Schiller pasakojimų per „Apple“ renginį, technologija veikia analogiškai. Ciklinėje laikinoje atmintyje sukasi 4 kadrai su normalia ekspozicija ir 4 tarpiniai kadrai su sumažinta ekspozicija, taip pat 1 šviesus kadras su ilgesniu vaizdo išlaikymu. Tada neuroninis procesorius analizuoja visus kadrus ir suklijuoja sėkmingus fragmentus.
Phil Schiller
Veikimo principas yra panašus į „Google“ naudojamą, tačiau
dėl to, kad telefonui reikia klijuoti nuotraukas su 3 skirtingomis
ekspozicijomis, tokį algoritmą yra gerokai sudėtingiau panaudoti praktikoje
negaunant jokių kokybės nuokrypių, taip pat toks metodas turėtų pareikalauti
labai daug energijos skaičiavimams atlikti. Verta pagirti „Apple“, nes jie
ne tik sėkmingai išrado savo technologiją, bet ir sklandžiai ją įdiegė į savo
išmaniuosius telefonus, o galingiausio procesoriaus rinkoje ir programinės įrangos
sąsaja užtikrino sklandžius ir patikimus algoritmo skaičiavimus. Tačiau „Google“
nesnaudžia vietoje ir HDR+ technologiją pritaikė ne tik nuotraukose, bet ir video
vaizdo fiksavime 30 kadrų per sekundę.
Taigi, „Gcam“ komandos algoritmo pranašumai:
- Gerokai sumažintas nuotraukos triukšmas,
praktiškai neprarandant nuotraukos detalių. - Beveik visiškas artefaktų nebuvimas.
- Natūralių spalvų perteikimas.
- Aiškios tekstūros net ir judant kadrui.
Be abejonės ši technologija turi ir trūkumų. Pirmas –
fotografuojant nėra aišku, koks bus galutinis rezultatas, nes vaizdo ieškiklyje
vaizdas rodomas tiesiai iš matricos, be jokių specialių algoritmo patobulinimų. Antras
– norėdami pamatyti rezultatą, turite šiek tiek palaukti, kol vaizdas bus apdorotas. Kartais,
tos kelios sekundės erzina, bet galutinis rezultatas yra vertas laukimo!
