FireBot – autonomni robotski nadzorni sustav za za prevenciju vatre, ranu detekciju i gašenje

Podatci o inovaciji (HR)

Naziv inovacije: FireBot – autonomni robotski nadzorni sustav za za prevenciju vatre, ranu detekciju i gašenje

Kratki opis inovacije: FireBot predstavlja inovativni koncept za prevenciju i otkrivanje požara te gašenje požara. Koristi najsuvremenije tehnologije koje omogućuju autonomnu navigaciju, uključujući izbjegavanje svih prepreka, videonadzor, prevenciju i detekciju požara te gašenje požara. Opremljen je s LiDAR-om i dubinskom kamerom, kao i infracrvenim i ultrazvučnim senzorima koji se koriste u RTAB-u, vrhunskom SLAM algoritmu (engl. simultaneous localization and mapping) za autonomno mapiranje i navigaciju. Također, opremljen je s infracrvenom termalnom (IRT) i RGB kamerom koje u paru s modernim konvolucijskim mrežama (CNN) detektiraju temperaturne anomalije i požar. Nadalje, ima ugrađene razne druge senzore za nadzor okoline i detekciju potencijalnih anomalija (razni senzori za plin, mikrofon za detekciju curenja vode i plina, detekciju neovlaštenog upada). Također, FireBot je opremljen aparatom za gašenje požara uparenim s rotirajućom mehaničkom rukom na vrhu koje se nalazi elektronička mlaznica koja se može precizno usmjeriti na izvor vatre za brzo i učinkovito gašenje.

Duži opis inovacije: Svake godine požari uzrokuju značajan broj smrtno stradalih osoba kao i značajnu materijalnu štetu. Kao rezultat toga, društvo sada pridaje veliku važnost prevenciji požara i ranom otkrivanju. Samim time prevencija požara postaje važno područje proučavanja i razvoja za mnoge znanstvenike i različite sektore. Brzi tehnološki napredak, posebice u područjima robotike, ugrađenih računalnih sustava i strojnog učenja, utječe na razvoj područja vatrogastva. Ovo polje postaje sve učinkovitije i sigurnije, a samim time i minimizira opasnost za ljude i imovinu, kao i za vatrogasce. Postoje neka robotska rješenja za gašenje požara u području šumskog požara kao i neki robotski sustavi za gašenje požara na otvorenom. Tijekom vremena bilo je nekoliko pokušaja da se razvije autonomni robot za gašenje požara koji koristi napredne metode za navigaciju i mapiranje kao i različite tehnike obrade slike za prevenciju i detekciju požara. Zbog različitih izazova, kao što su prevencija i otkrivanje u stvarnom vremenu, složeno mapiranje i navigacija unutar uskih i često mračnih područja, konstante promjene okruženja, izbjegavanje prepreka i balansiranje procesorske snage s potrošnjom energije, nijedan od tih pokušaja nije rezultirao komercijalno dostupnim rješenjem. Naš rad usmjeren je na razvoj autonomnog robota za prevenciju požara, detekciju i gašenje požara. Koristi najsuvremenije tehnologije koje omogućuju autonomnu navigaciju, uključujući izbjegavanje prepreka, videonadzor, prevenciju i detekciju požara te gašenje požara. Opremljen je s LiDAR-om i dubinskom kamerom, kao i infracrvenim i ultrazvučnim senzorima koji se koriste u RTAB-u, vrhunskom SLAM algoritmu (engl. simultaneous localization and mapping) za autonomno mapiranje i navigaciju te modernu konvolucijsku neuronsku mrežu (engl. convolutional neural network - CNN) uparenu s infracrvenom toplinskom (engl. infrared thermal - IRT) i RGB kamerom za detekciju požara i temperaturnih anomalija. Nadalje, opremljen je s raznim drugim senzorima za nadzor okoline i otkrivanje potencijalnih anomalija (razni senzori plinova, mikrofon za otkrivanje curenja vode i plina, eksplozije i dr.). FireBot je također opremljen aparatom za gašenje požara uparenim s rotirajućom mehaničkom rukom na vrhu koje se nalazi elektronička mlaznica koja se može precizno usmjeriti na izvor vatre za brzo i učinkovito gašenje. Arhitektura sustava FireBot sastoji se od tri glavne logičke komponente za prevenciju požara u zatvorenom prostoru, rano otkrivanje i gašenje požara: ugrađeni modul sustava za upravljanje senzorima i aktuatorima, modul sustava za SLAM i navigaciju i modul sustava za sprječavanje i otkrivanje požara. Još jedan važan modul je sustavni modul za gašenje požara koji se sastoji od tri različita uređaja za gašenje požara (prah, pjena i CO2) zajedno s pokretnom rukom i elektronskom mlaznicom. Nadalje, stanica za punjenje nalazi se odvojeno od robota. Kada je riječ o detekciji požara pomoću vizualne kamere, naš glavni cilj bio je stvoriti skup podataka koji se može koristiti za treniranje, validaciju i testiranje postojećih ili prilagođenih arhitektura konvolucijske neuronske mreže (CNN) koja može detektirati požar u ulaznim slikama. Kako bi se dodatno povećala preciznost detekcije požara i kako bi se požar lokalizirao u ulaznim slikama, koriste se dva pristupa, semantička segmentacija i detekcija objekta. Cilj semantičke segmentacije je grupiranje dijelova slike koji pripadaju istoj klasi objekta. Glavni zadatak detekcije objekata je otkrivanje instanci objekata određene klase unutar slike. Nakon izvršene segmentacije slike i detekcije objekta, osim što znamo postoji li požar na slici, znamo i točnu lokaciju požara na toj slici. Ovo je ključno za usmjeravanje mlaznice za gašenje požara na odgovarajuće mjesto za brzo i učinkovito gašenje požara. Kada je u pitanju prevencija požara detekcijom potencijalnih temperaturnih anomalija, koristi se infracrvena termovizijska kamera. Infracrveno termalno snimanje najbolji je način za snimanje temperaturnog raspona karakterističnog za Zemljin elektromagnetski spektar. Ideja detekcije anomalija je sljedeća, FireBot će imati unaprijed definiranu rutu za patroliranje tijekom koje će aktivno tražiti požar pomoću vizualne kamere. Na toj ruti će imati unaprijed definirane točke interesa koje predstavljaju potencijalnu opasnost ili sadrže neku skupu opremu koju je potrebno redovito nadzirati, npr. računala, električne strojeve, električne ormare, servere, itd. Svaki put kada FireBot dođe do određene točke interesa, napravit snimit će termovizijsku sliku te scene, detektirati istaknute “vruće” točke, izračunati površinu svake “vruće” točke, prosječnu temperaturu i maksimalnu temperaturu svake “vruće” točke i usporediti te podatke s podacima prikupljenim iz svih prethodnih prolazaka. Ako se detektirane temperature povećavaju u usporedbi s prethodnim stanjima, ili se poveća broj “vrućih” točaka ili se površina poveća iznad unaprijed definiranog praga, to će biti okidač za alarm i poslat će se automatska poruka upozorenja nadzorniku zajedno s lokacijom te točke interesa. Osim vizualne i IRT kamere, bit će implementirani i razni drugi senzori za nadzor okoline i detekciju potencijalnih anomalija. Različiti senzori plinova otkrit će plinske produkte izgaranja različitih materijala, tako da se anomalija može otkriti čak i ako ne postoji izravna linija vidljivosti s anomalijom. Mikrofon će također biti implementiran zajedno s algoritmom za obradu zvuka za otkrivanje zvučnih anomalija kao što su curenje vode i plina, eksplozije, zvukovi lomljenja, itd. Kombinirajući sve podsustave zajedno, FireBot će biti cjelovito i inovativno rješenje za autonomnu navigaciju, prevenciju požara, detekciju i gašenje požara. Moći će zamijeniti dežurnog noćnog čuvara/vatrogasca svojim sposobnostima za ranu otkrivanje anomalija.

Podatci o inovaciji (EN)

Naziv inovacije: FireBot - An Autonomous Surveillance Robot for Fire Prevention, Early Detection and Extinguishing

Kratki opis inovacije: FireBot presents an innovative concept for fire prevention, fire detection, and extinguishing. It utilizes state-of-the-art technologies that enable autonomous navigation, including avoiding all obstacles, video surveillance, fire prevention and detection, and fire extinguishing. It has a LiDAR and a depth camera, as well as the IR and ultrasonic sensors used in RTAB, a cutting-edge SLAM (simultaneous localization and mapping) algorithm for autonomous mapping and navigation, and a modern convolutional neural network (CNN) paired with infrared thermal (IRT) and RGB cameras for fire and temperature anomaly detection. Furthermore, it has various other sensors for monitoring the surroundings and detection of potential anomalies (various gas sensors, microphone for detecting water and gas leaks, intrusion detection). FireBot is also equipped with a fire extinguisher paired with the rotating mechanical hand on top of which is an electronic nozzle that can be precisely directed to the source of fire for fast and efficient extinguishing.

Duži opis inovacije: Each year, fire causes a significant number of fatalities as well as significant material losses. As a result, society now places a high importance on fire prevention and early detection, and thus, it is also the main area of study and development for many scientists and different sectors. Rapid technological advancement, particularly in the areas of robotics, embedded systems, and machine learning, is having an impact on how the field of firefighting is developing. This field is becoming more effective and safe and consequently, minimizing the danger for the people and the property, as well as the firefighters. There are some existing robotic solutions for firefighting in the area of forest firefighting as well as some robotic systems for outdoor firefighting. Over time, there have been several attempts to develop an autonomous robot for firefighting that uses advanced methods for navigation and mapping as well as different image processing techniques for fire prevention and detection. Due to the many challenges involved, such as real-time prevention and detection, complex mapping and navigation inside narrow and often dark areas, changes of environment, obstacle avoidance, and balancing the processing power with energy consumption, none of those attempts resulted in a commercially available solution. Our work is focused on developing an autonomous robot for fire prevention, fire detection, and extinguishing. It utilizes state-of-the-art technologies that enable autonomous navigation, including avoiding all obstacles, video surveillance, fire prevention and detection, and fire extinguishing. It has a LiDAR and a depth camera, as well as the IR and ultrasonic sensors used in RTAB, a cutting-edge SLAM (simultaneous localization and mapping) algorithm for autonomous mapping and navigation, and a modern convolutional neural network (CNN) paired with infrared thermal (IRT) and RGB cameras for fire and temperature anomaly detection. Furthermore, it has various other sensors for monitoring the surroundings and detecting potential anomalies (various gas sensors, a microphone for detecting water and gas leaks, intrusion detection). FireBot is also equipped with a fire extinguisher paired with the rotating mechanical hand, on top of which is an electronic nozzle that can be precisely directed to the source of fire for fast and efficient extinguishing. FireBot system architecture consists of the three main logical components for indoor fire prevention, early detection, and fire extinguishing: an embedded system module for sensor and actuator management (ESMSAM), a system module for SLAM and navigation (SMSN), and a system module for fire prevention and detection (SMFPD). Another important module is a system module for fire extinguishing (SMFE), which consists of three different fire extinguishing devices (powder, foam, and CO2) along with the movable arm and electronic nozzle. Furthermore, a charging station is provided separately from the robot. When it comes to fire detection using a visual camera, our main goal was to create a dataset that can be used to train, validate, and test custom or existing convolutional neural network (CNN) architectures that can detect fire in input images. To enhance the precision of fire detection even further and to localize the fire in input images, two approaches are used, semantic segmentation and object detection. The goal of semantic segmentation is to cluster the parts of an image together that belong to the same object class. The main task of object detection is to detect instances of objects of a certain class within an image. After the image segmentation and object detection, in addition to knowing whether the fire is present in an image, we also know the exact location of the fire on that image. This is critical for directing the fire extinguishing nozzle to the proper location for fast and effective fire extinguishment. When it comes to fire prevention by determining potential temperature anomalies, an infrared thermal camera is used. Infrared thermal imaging is the best way to capture the temperature range characteristic of the Earth's electromagnetic spectrum. The idea for anomaly detection is as follows, FireBot will have a predefined route for patrolling during which it will actively search for a fire using a visual camera. On that route, it will have predefined points of interest that present a potential danger or contain some expensive equipment that needs to be monitored regularly, for example, computers, electric machines, electrical cabinets, server racks, etc. Every time FireBot comes to a certain point of interest, it will take a thermal image of that scene, detect the hotspots, calculate the area of each hotspot, average temperature, and maximum temperature of every hotspot, and compare that data to the data gathered from all previous passes. If the detected temperatures are increased in comparison to the previous states, the number of hotspots is increased, or the area of a hotspot is increased beyond the predetermined threshold, it will be a trigger for an alarm, and an automatic warning message will be sent to the supervisor along with the location of that point of interest. In addition to the visual and IRT cameras, various other sensors for monitoring the surroundings and detection of potential anomalies will be implemented. Various gas sensors will detect the gas products of burning different materials, so an anomaly can be detected even if there is no direct line of sight with the anomaly. A microphone will also be implemented along with a sound processing algorithm to detect sound anomalies such as water and gas leaks, explosions, breaking sounds, etc. When combining all subsystems together, FireBot will present a complete and innovative solution for autonomous navigation, fire prevention, fire detection and extinguishing. It will be capable of replacing the night guard / firefighter on duty by its capabilities for early awareness and anomaly detection.

Prednosti inovacije

Namjena inovacije

Traženo partnerstvo

Kategorija