A Sony bemutatja a világ első intelligens szenzorát Al feldolgozás funkcióval

A szenzor nagysebességű Al feldolgozást tesz lehetővé, és hozzájárul a felhőalapú optimális rendszerek felépítéséhez.*1

Tokió, Japán – A Sony Corporation bejelentette, hogy hamarosan kiadja az intelligens szenzor két modelljét, a világ első olyan képszenzorait, melyek mesterséges intelligencia (AI) által irányított feldolgozási funkcióval felszereltek. *¹ A képszenzorba foglalt Al feldolgozási funkció lehetővé teszi a nagysebességű Al feldolgozást úgy, hogy csak a szükséges adatokat vonja ki, így a felhő szolgáltatásainak használatakor csökken az adatátvitel késleltetése, az energiafogyasztás és a kommunikációs költségek, valamint az adatátvitellel kapcsolatos aggályok.

*1  A képszenzorok között. A Sony kutatása alapján (a 2020. május 14-én kiadott közlemény időpontjában).

Az új termékek kibővítik a mesterséges intelligenciával felszerelt kamerák továbbfejlesztésének lehetőségeit, sokoldalú használati alternatívákat teremtenek a kiskereskedelmi- és ipari termékek iparában, és hozzájárulnak a felhő alapú optimális rendszerek felépítéséhez.

Intelligent vision sensors Left: IMX500 Right: IMX501

A felhőhöz, ami általánossá teszi az információfeldolgozó rendszerek használatát – az IoT elterjedése eredményeként – számos különböző típusú eszköz kapcsolódik, az ezekből nyert információt az AI-n keresztül a felhőben dolgozzák fel. Az itt kezelt információ növekvő mennyisége különféle problémákat vet fel. Először is megnövekedett adatátviteli késleltetést, amely akadályozza a valós idejű információfeldolgozást; másodszor a felhasználók aggályait a személyazonosításra alkalmas adatok felhőben történő tárolásának biztonságosságával kapcsolatban; illetve egyéb problémás kérdéseket is, például a felhő szolgáltatásainak megnövekedett energiafogyasztását és az ezzel járó kommunikációs költségeket.

Az új szenzoros termékek – amelyek egy pixel chipből és logikai chipből állnak – halmozott konfigurációval rendelkeznek. Ezek a világ első olyan képszenzorai, amelyek a logikai chipen AI képanalízissel és feldolgozási funkcióval felszereltek. A pixel chip által a szenzoron keresztül megszerzett jelet az AI dolgozza fel, kiküszöbölve a nagy teljesítményű processzorok vagy a külső memória szükségességét, egyúttal lehetővé téve az AI rendszerek további fejlesztését. A szenzor a metaadatokat (a képadatokhoz tartozó szemantikai információkat) adja ki a képinformációk helyett, ezzel csökkentve az adatmennyiséget, és kezelve az adatvédelmi problémákat. Ezenfelül az AI képesség lehetővé teszi változatos funkciók biztosítását különféle alkalmazáshoz, például a valós idejű tárgykövetéshez nagysebességű AI feldolgozással. Különböző AI modellek választhatók ki a belső memória átírásával is, a felhasználói igények vagy a hely feltételei szerint, ahol a rendszer használva van.

Főbb jellemzők

A világ első képérzékelője, amely AI feldolgozási funkcióval rendelkezik

A háttérvilágítású pixel chip a látószög teljes terjedelmében hozzávetőleg 12.3 megapixel információ feldolgozására képes. Ezenfelül a hagyományos képszenzorok működési áramköre mellett a logikai chipet a mesterséges intelligencia által vezérelt jelfeldolgozásáért és memóriáért felelős Sony eredeti digitális jelprocesszorával (DSP) látták el. Ez a konfiguráció lehetővé teszi a nagy teljesítményű processzorok vagy a külső memória nélkülözését, ezáltal ideális a nagy teljesítményű, mesterséges rendszerekhez.

Metaadat-kimenet

A pixel chip bejövő jelei egy képjelprocesszoron haladnak át, az AI feldolgozás pedig még a folyamat kezdeti fázisában végbemegy a logikai chipen, a kivont adatok pedig metaadat formájában lesznek elérhetők, így csökken a kezelt adat mennyisége. A képinformáció kiadásának elkerülésével csökkenthetők a biztonsági kockázatok és az adatvédelmi nehézségek. A hagyományos képszenzor által rögzített kép kapcsán a felhasználók igényeiknek megfelelően kiválaszthatják az adatkimeneti formátumot, beleértve az ISP formátumú képeket (YUV/RGB) és a ROI (Region of Interest) specifikus területi kivont képeket.

Az adat kimeneti formátuma a körülmények fényében meghatározható

Nagy sebességű AI feldolgozás

Hagyományos képszenzoros videófelvételnél minden esetben szükséges elküldeni az összes egyedi kimeneti képkeretet az AI feldolgozáshoz, ami megnövekedett adatforgalomhoz és nehezebb valós idejű teljesítményhez vezethet. A Sony új szenzorával ellátott termékek képesek ISP alapú feldolgozásra és nagysebességű AI feldolgozásra (3.1 ezredmásodperces feldolgozási sebesség MobileNet V1² használata esetén) egyaránt a logikai chipen, így az egész folyamat egyetlen videókeretben végrehajtható. Ez a különleges kialakítás nagy pontosságú valós idejű rögzítést tesz lehetővé videófelvétel esetén.

*2  MobileNet V1: Képanalizációs tárgyfelismerő AI modell mobilkészülékeken.

Példa a valós idejű követésre a kasszánál és a boltban

■ Választható AI modell

A felhasználók beírhatják a beágyazott memóriába saját AI modelljeiket, és újraírhatják vagy fejleszthetik azokat, hogy mindenképpen megfeleljenek a felvételi helyszín körülményeinek.

Például, ha több, ezt a terméket használó kamerát telepítenek kiskereskedelmi helyszínre, akkor egyetlen típusú kamera sokoldalúan használható különböző helyiségekben, körülmények között, időpontokban vagy célokra. Az üzlet bejáratánál kiállított termékkel így könnyedén lehet rögzíteni a látogatók számát, ha polcon rögzítjük, a termék képes érzékelni a készlethiányt, a plafonon elhelyezve pedig hőtérképpel lehet követni a boltban tartózkodó vásárlókat (és érzékelni azokat a helyeket, ahol sokan gyűlnek össze). Ezenfelül a kamerákban található AI modell újraírható a hőtérképtől kezdve a vásárlói viselkedés azonosításán át sok más egyéb funkcióig.

Példák a kamerák használatára

Főbb jellemzők