Přeskočit na hlavní obsah
Přeskočit hlavičku

Laboratoř senzorických systémů, vision a software

Laboratoř senzorických systémů, vision a software se specializuje na moderní technologie skenování objektů a využití RGB-D senzorů pro identifikaci a sledování objektů v automatizovaných pracovištích. Naším hlavním cílem je vývoj inovativních softwarových nástrojů, které přinášejí nová a zajímavá řešení pro širokou škálu aplikací – od průmyslových robotů až po venkovní autonomní systémy, kde se zaměřujeme na zvyšování efektivity, spolehlivosti a bezpečnosti. Společně pracujeme na technologiích, které mohou zlepšit způsob, jakým interagujeme s robotickými systémy a automatizovanými procesy.

Kromě vědeckého výzkumu a vývoje se také věnujeme výuce studentů. Naše laboratoř poskytuje praktické zkušenosti, které studentům umožňují získat cenné dovednosti a znalosti v oblasti senzorických systémů, vision technologií a programování.

Zaměření laboratoře:

3D a 2D skenování objektů

Naše laboratoř využívá zejména systémy firmem Photoneo a Keyence pro detailní 3D nebo 2D skenování objektů. Tyto technologie umožňují přesné zachycení tvaru, případně i textury a barev skenovaných objektů, což nám umožňuje detekovat přesnou pozici objektů nebo digitalizovat různé objekty a provádět podrobné analýzy jejich vlastností. Díky tomu můžeme efektivně vyvíjet nové technologie a řešení, které pracují s digitálními modely reálných objektů. Tyto modely využíváme například pro tvorbu syntetických dat pro učení rozpoznávacích neuronových sítí nebo pro použití v digitálních simulačních prostředích robotizovaných pracovišť.

Monitorování pracovišť v reálném čase

Naše laboratoř je vybavena moderními kamerovými systémy, které dokáží zachycovat barevný obraz a hloubková data. Využitím těchto systémů můžeme efektivně monitorovat objekty a překážky na pracovištích. Získaná data nám umožňují plánovat trajektorie robotů v reálném čase, což je zásadní pro zajištění bezpečnosti, hladkou interakci mezi člověkem a robotem a vyhýbání se dynamickým překážkám.

V rámci našeho výzkumu se soustředíme na optimalizaci počtu a umístění kamer na pracovištích, abychom dosáhli maximálního pokrytí a efektivity monitorování. Naše systémy jsou navrhovány tak, aby dokázaly rychle a přesně reagovat na změny v pracovním prostředí, což zajišťuje bezpečné a efektivní pracovní podmínky.

Vývoj softwarových aplikací a simulace

V naší laboratoři se intenzivně věnujeme vývoji vlastních softwarových aplikací v jazycích C++, C# a Python. Tyto aplikace jsou klíčové pro naše projekty a využíváme je například ke čtení a zpracování dat senzorů, řízení robotů, provádění experimentů atd.. Kromě vlastních aplikací využíváme také pokročilé simulační softwary jako RobotStudio, CoppeliaSim a Isaac Sim, které nám pomáhají modelovat a testovat různé scénáře v digitálních prostředích.

Dále se zaměřujeme na moderní metody strojového učení, které aplikujeme jak v rámci detekce objektů, tak i na digitálních pracovištích při trénování systémů pro vykonávání různých komplikovaných úloh. Tyto technologie nám umožňují zlepšovat naše systémy a přinášet inovativní řešení pro různé typy aplikací.

Vybavení laboratoře:

3D skenery

V laboratoři používáme zejména následující zařízení pro tvorbu 3D mračen bodů a digitalizaci objektů:

Photoneo PhoXi M (2 ks)

  • 3,2 miliónů bodů v jednom snímku, 16 miliónů bodů za sekundu,
  • přesnost 0,1 mm.

Photoneo 3D Meshing

  • komplexní řešení (skenery, otočný stůl, SW) pro digitalizaci objektů.

Photoneo Bin Picking Studio

  • SW řešení pro detekci a robotické uchopení neorientovaných součástek.

2D skenery

2D skenery využíváme pro přesné měření tvaru objektu, pro bezpečnostní aplikace, na mobilních robotech atd.:

Keyence LJ-X8080

  • profesionální liniový senzor,
  • měřící délka 44 mm, 3200 bodů v jednom snímku,
  • přesnost cca ±12,3 μm.

Sick S30A

  • profesionální bezpečnostní skener,
  • dosah 49 m,
  • úhlové rozlišení 0,25°.

Hokuyo URG-04LX

  • cenově dostupný malý 2D skener,
  • dosah 4 m,
  • úhlové rozlišení 0,36°.

Hloubkové kamery

Laboratoř je vybavena velkým množstvím různých typů hloubkových kamer (RGB-D), což jsou kamery, které kromě barevného obrazu (RGB) poskytují i informace o vzdálenostech pixelů od kamery (Depth):

Intel Realsense D435

  • cenově dostupná výkonná RGB-D kamera,
  • rozlišení barevného obrazu max. 1920×1080, rozlišení hloubky max. 1280×720,
  • barevný obraz max. 30 FPS, hloubka max. 90 FPS.

Intel Realsense L515

  • hloubková kamera využívající technologii LiDAR,
  • rozlišení barevného obrazu max. 1980×1024, rozlišení hloubky max. 1024×768,
  • max. 30 FPS.

ZED 2

  • hloubková kamera využívající stereovizi,
  • rozlišení 1080p, 30 FPS,
  • zabudovaná IMU,
  • zabudované chytré funkce pomocí AI.

Asus Xtion 2

  • rozlišení barevného obrazu max. 2592×1944, hloubkového max. 640×480.

Kamery s detekcí

Toto jsou speciální typy hloubkových kamer, které obsahují algoritmy pro detekci různých objektů:

Leap Motion, Leap Motion Controller 2

  • speciální kamery pro snímání pohybu rukou a prstů,
  • možné využití pro ovládání počítače pomocí gest,
  • vhodné ve spojení s virtuální realitou,
  • princip stereovize v IR spektru.

Microsoft Xbox One Kinect

  • senzor určený nejen pro herní konzoli Xbox One,
  • detekce postav ve scéně,
  • rozpoznávání hlasu,
  • možno získat i syrová hloubková data a barevný obraz.

RGB kamery

V laboratoři pochopitelně využíváme i "obyčejné" kamery, které poskytují pouze barevné nebo i černobílé snímky. Mimo běžných web kamer se jedná například o:

  • profesionální kamery od firmy Basler,
  • kamery od firmy OverFocus,
  • kamery od firmy ImagingSource,
  • software pro machine vision,
  • různé objektivy, filtry atd.

Další vybavení

Nezbytnou součástí vybavení laboratoře je i další pomocné zařízení, např.:

  • stativy a polohovatelné držáky kamer,
  • světla,
  • fotografický stan,
  • temná mísnost bez oken umožňující provádět experimenty za kontrolovatelného osvětlení.

Personální obsazení

Vybrané vědecké publikace laboratoře:

Článek popisuje metodu simulovaného 3D skenování objektů založenou na vysílání paprsků, která se používá k nalezení optimální konfigurace skutečného otočného stolu 3D skeneru. Konfigurace zahrnuje počet skenerů, jejich výšku nad otočným stolem a počet potřebných kroků otáčení. Vyhodnocení je založeno na procentuálním pokrytí povrchu součásti výsledným mračnem bodů, které určuje schopnost zachytit všechny detaily tvaru.

V tomto článku se zabýváme metodou pro zlepšení odhadu polohy správným umístěním senzorů vzhledem ke snímanému objektu. Pro experiment byly vybrány tři objekty z různých materiálů a s použitím různých výrobních technologií. Pro sběr vstupních dat pro odhad orientace bylo vytvořeno simulační prostředí, kde byl každý objekt skenován v různých pozicích. Pro skenování byl vytvořen simulační model laserového liniového triangulačního snímače a optické vlastnosti povrchu skenovaných objektů byly nastaveny tak, aby simulovaly skutečné podmínky skenování. Simulace byla ověřena na reálném systému s využitím robota UR10e, který objektem otáčel a pohyboval. Prezentované výsledky ukazují, že simulace odpovídá skutečným měřením a že vhodné umístění senzorů zlepšilo odhad orientace.

V tomto článku jsme zkoumali vliv úhlu dopadu laserového paprsku na intenzitu odraženého laseru. Soubor dat o této závislosti je prezentován pro materiály obvykle používané v průmyslu, jako jsou průhledné a neprůhledné plasty a hliníkové slitiny s různou drsností povrchu. Měření byla provedena pomocí laserového liniového triangulačního senzoru a robota UR10e. Prezentované výsledky navrhují, kam umístit snímač vzhledem ke snímanému objektu, a tím zvýšit spolehlivost sběru dat ze snímače.

Tato práce se zaměřuje na zdokonalení kamerového systému pro snímání pracovního prostoru, ve kterém je třeba detekovat dynamické překážky. V současné době dostupné nejmodernější řešení (MoveIt!) zpracovává centralizovaným způsobem data z kamer, které je třeba před spuštěním systému zaregistrovat. Naše řešení umožňuje distribuované zpracování dat a dynamickou změnu počtu senzorů za běhu. Distribuované zpracování dat z kamer je realizováno pomocí specializované řídicí jednotky, na které se provádí filtrování porovnáváním skutečných a očekávaných hloubkových obrazů. Měření rychlosti zpracování dat ze všech senzorů do globální voxelové mapy bylo porovnáno mezi centralizovaným systémem (MoveIt!) a novým distribuovaným systémem v rámci výkonnostního benchmarku. Distribuovaný systém je flexibilnější z hlediska citlivosti na množství kamer, lepší stability snímkové frekvence a možnosti měnit počet kamer za chodu. Během benchmarku byl také porovnáván vliv velikosti voxelové mřížky a rozlišení kamery, kde distribuovaný systém vykazoval lepší výsledky. Nakonec byla diskutována režie přenosu dat v síti, kde je distribuovaný systém výrazně efektivnější. Decentralizovaný systém se ukázal být rychlejší o 38,7 % s jednou kamerou a o 71,5 % se čtyřmi kamerami.

Interakce člověka s robotem se stává nedílnou součástí praxe. Na pracovištích, kde může robot narazit do pracovníka, se klade větší důraz na bezpečnost. V praxi existují řešení, která řídí robota na základě potenciální energie při kolizi nebo robot přeplánuje přímou trajektorii. Je však třeba navrhnout systém snímačů, který by detekoval překážky napříč sdíleným pracovním prostorem člověka a robota. Zatím neexistuje žádný postup, který by mohli inženýři v praxi použít pro ideální rozmístění senzorů. Přicházíme s myšlenkou klasifikace prostoru jako indexu důležitosti, který určuje, jakou část pracovního prostoru mají senzory snímat, aby bylo zajištěno ideální snímání překážek. Podle této klasifikované mapy pak lze automaticky najít ideální polohy kamer. Na základě experimentu bylo zjištěno, že pokrytí důležitého objemu vypočtenou polohou kamery v pracovním prostoru je v průměru o 37 % větší ve srovnání s kamerou umístěnou intuitivně testovanými osobami. Při použití dvou kamer na pracovišti byly vypočtené pozice o 27 % efektivnější než pozice kamer, které si subjekty nastavily samy. Dále při použití tří kamer byly vypočtené pozice o 13 % lepší než pozice kamer subjektů, přičemž celkové pokrytí klasifikované mapy bylo více než 99 %.

Článek představuje novou verzi stávajícího algoritmu pružné gumy používaného pro hledání cesty s aplikací v oblasti kolaborativní robotiky a pohybu z bodu do bodu. Algoritmus umisťuje na cestu kontrolní body a dynamicky mění polohu těchto kontrolních bodů v reakci na případné překážky nacházející se nebo pohybující se v pracovním prostoru. Řídicí body jsou aktualizovány v prostoru robota (prostor TCP), překážky jsou reprezentovány sadou voxelů zarovnaných do mřížky a snímaných kamerovým systémem. Mezi překážkami a tělem robota (reprezentovaným sadou bodů rovnoměrně pokrývajících povrch jednotlivých článků) se vytvářejí odpudivé síly, které se přenášejí do míst řídicích bodů pružné gumy. Metoda je výpočetně efektivní a poskytuje hladkou a délkově optimální cestu, přičemž zohledňuje kolize přesněji než tradiční použití jednoduchých ohraničujících objemů. Dynamická iterativní aktualizace elastického pásu poskytuje jasný princip pro modifikaci trajektorie i v blízkosti skutečné polohy robota při sledování trajektorie. Algoritmus je ověřen na sadě praktických experimentů provedených na fyzickém robotu UR3 se simulovanými překážkami a výsledky jsou také porovnány s jinými běžně používanými metodami dynamického vyhýbání se překážkám.

Tento článek rozšiřuje téma monokulárního odhadu polohy objektu pomocí značek Aruco snímaných kamerami RGB. Přesnost kalibrace kamer Open CV a pipelines pro odhad polohy Aruco je podrobně testována provedením standardizovaných testů s několika kamerami Intel Realsense D435. Analýza výsledků vedla ke způsobu, jak výrazně zlepšit výkon lokalizace tagů Aruco, který zahrnoval návrh 3D desky Aruco, což je sada tagů Aruco umístěných šikmo k sobě, a vývoj knihovny pro kombinaci pózových dat z jednotlivých tagů pro vyšší přesnost i stabilitu.

V této analýze uvádíme výsledky měření provedených za účelem zjištění stability systému sledování ruky a přesnosti zjištěné polohy dlaně a prstu. Měření byla provedena za účelem vyhodnocení senzoru pro použití v průmyslovém montážním scénáři s asistencí robota. Interakce člověka s robotem je v kolaborativní robotice aktuálním tématem. Intuitivní a jednoduché ovládací nástroje pro navigaci robota a řízení toku programu jsou nezbytné pro efektivní využití ve výrobních scénářích bez zbytečných zpomalení způsobených obsluhou. Pro sledování rukou a řízení založené na gestech je nutné znát přesnost snímače. Pro rozpoznávání gest s pohyblivým cílem musí senzor poskytovat stabilní výsledky sledování. Tento článek hodnotí výkonnost snímače v reálném prostředí měřením lokalizačních odchylek sledované ruky při jejím pohybu v pracovním prostoru.

Pojďte k nám studovat

Objevte, proč je studium na Katedře robotiky tou správnou volbou. Zjistěte, co a jak můžete studovat a jaké příležitosti vás čekají.

Typy studia

Prozkoumejte různé typy studia, studijní plány a specializace, které nabízíme, a vyberte si tu nejlepší cestu pro vaši kariéru.