Машинний зір

Рання система машинного часу Autovision II компанії Автоматикс була продемонстрована на виставці в 1983. Камера на штативі напрямлена вниз на стіл з підсвіткою для отримання чіткого зображення на екрані, яке потім підлягає перевірці на блоби

Машинний зір — це застосування комп'ютерного зору в промисловості та виробництві. В той час як комп'ютерний зір — це загальний набір методів, що дозволяють комп'ютерам бачити, областю інтересу машинного зору, як інженерного напрямку, є цифрові пристрої введення/виведення та комп'ютерні мережі, призначені для контролю виробничого обладнання, такого як роботи-маніпулятори чи апарати для вилучення бракованої продукції. Машинний зір є підрозділом інженерії, пов'язаним з обчислювальною технікою, оптикою, машинобудування та промисловою автоматизацією. Одним з найпоширеніших застосувань машинного зору є інспекція промислових товарів, таких як напівпровідникові чипи, автомобілі, продукти харчування та ліки. Люди, що працюють на складальних лініях, оглядають частини продукції і роблять висновки про якість виконання. Системи машинного зору для цієї мети використовують цифрові та інтелектуальні камери, а також програмне забезпечення обробки зображення для виконання аналогічних перевірок.

Вступ[ред. | ред. код]

Системи машинного зору запрограмовані на виконання вузькоспеціалізованих задач, таких як підрахунок об'єктів на конвеєрі, зчитування серійних номерів або пошук поверхневих дефектів. Користь системи візуального дослідження на основі машинного зору полягає у високій швидкості роботи зі збільшенням обігу, можливості 24-годинної роботи та точності вимірювань, що повторюються. Оскільки перевага машин над людиною полягає у відсутності втомлюваності, хвороб або неуважності. Але поруч з тим люди володіють тонким сприйняттям протягом короткого періоду та більшою гнучкістю в класифікації і адаптації до пошуку нових дефектів.
Комп'ютери не можуть «бачити» таким же чином, як це робить людина. Фотокамери не еквівалентні системі зору людини, і в той час як люди можуть спиратись на здогадки і припущення, системи штучного зору повинні «бачити» шляхом вивчення окремих пікселів зображення, обробляючи їх і намагаючись зробити висновки за допомогою бази знань і набору функцій таких, як пристрій розпізнавання образів. Хоча деякі алгоритми машинного зору були розроблені, щоб імітувати зорове сприйняття людини, більша кількість унікальних методів були розроблені для обробки зображень і визначення відповідних властивостей зображення.

Компоненти системи машинного зору[ред. | ред. код]

Хоча машинний зір — це процес застосування комп'ютерного зору для промислового використання, корисно буде перерахувати апаратні та програмні компоненти, що часто використовуються. Типове рішення системи машинного зору включає в себе декілька наступних компонентів:

одна або кілька цифрових або аналогових камер (чорно-білі або кольорові) з відповідною оптикою для отримання зображень;
програмне забезпечення для виготовлення зображень для обробки. Для аналогових камер це оцифрування зображень;
процесор (сучасний ПК з багатоядерним процесором або вбудований процесор, наприклад — ЦСП);
програмне забезпечення машинного зору, яке надає інструменти для розробки окремих застосувань програмного забезпечення;
устаткування введення/виведення або канали зв'язку звіту про отримані результати;
розумна камера: один пристрій, що включає в себе всі вищеназвані пункти;
дуже спеціалізовані джерела світла (світлодіоди, люмінесцентні і галогенні лампи і т. д.);
специфічні застосування програмного забезпечення для обробки зображень і визначення відповідних властивостей;
датчик для синхронізації частин виявлення (часто це оптичний або магнітний датчик) для захоплення і обробки зображення;
приводи визначеної форми, що використовуються для сортування або відкидання бракованих деталей.

Датчик синхронізації визначає, коли деталь, яка швидко рухається по конвеєру, знаходиться в положенні, що підлягає інспекції. Датчик вмикає камеру, щоб зробити знімок деталі, коли вона проходить під камерою і часто синхронізується з імпульсом освітлення, щоб зробити чітке зображення. Освітлення, що використовується для підсвічування деталей призначене для виділення особливостей, що представляють інтерес, і приховування або зведення до мінімуму появу особливостей, що не мають інтересу (наприклад, тіні або відображення). Для цієї мети часто використовуються світлодіодні панелі відповідних розмірів та положення.
Зображення з камери потрапляє в захоплювач кадрів або до пам'яті комп'ютера в системах, де захоплювач кадрів не використовується. Захоплювач кадрів — це пристрій оцифровування (як частина розумної камери або у вигляді окремої плати в комп'ютері), які перетворюють вихідні дані з камери в цифровий формат (як правило, це двомірний масив чисел, що відповідає рівню інтенсивності світла визначеної точки в області зору, що називаються пікселями) і розміщує зображення в пам'яті комп'ютера, так щоб воно мало змогу бути обробленим за допомогою програмного забезпечення для машинного зору.

Програмне забезпечення, як правило, здійснює кілька кроків для обробки зображень. Часто зображення для початку обробляється з метою зменшення шумів або конвертації багатьох відтінків сірого в просте поєднання чорного та білого (бінаризації). Після початкової обробки програма буде обчислювати, проводити вимірювання і/або визначати об'єкти, розміри, дефекти та інші характеристики зображення. Як останній крок, програма пропускає або забраковує деталь відповідно до заданого критерію. Якщо деталь іде з браком, програмне забезпечення подає сигнал механічному пристрою для відхилення деталі; інший варіант розвитку подій, система може зупинити виробничу лінію і попередити людину-працівника для вирішення цієї проблеми, а також повідомити про те, що призвело до помилки.
Хоча більшість систем машинного зору покладаються на «чорно-білі» камери, використання кольорових камер стає все поширенішим явищем. Крім того, все частіше системи машинного зору використовують цифрові камери прямого підключення, а не камери з окремим захоплювачем кадрів, що скорочує витрати і спрощує систему.

«Розумні» камери з вбудованими процесорами, захоплюють все більшу частину ринку машинного зору. Використання вбудованих (і частково оптимізованих) процесорів усуває необхідність в карті захоплювача кадрів і в зовнішньому комп'ютері, що дозволяє зменшувати вартість та складність системи, забезпечуючи обчислювальну потужність для кожної камери. «Розумні» камери, як правило, дешевші, ніж системи, що складаються з камери, живлення і/або зовнішнього комп'ютера, в той час як підвищення потужності вбудованого процесора і ЦСП часто дозволяє досягнути приблизно тієї ж або більш високої продуктивності й більших можливостей, ніж звичайні ПК-системи.

Методи обробки[ред. | ред. код]

Комерційні пакети програм для машинного зору і пакети програм з відкритим вихідним кодом зазвичай включає в себе низку методів обробки зображень, таких як:

лічильник пікселів: підраховує кількість світлих або темних пікселів;
бінаризація: перетворює зображення в сірих тонах в бінарне (білі та чорні пікселі);
сегментація: використовується для пошуку і/або підрахунку деталей
- пошук і аналіз блобів: перевірка зображення на окремі блоби пов'язаних пікселів (наприклад, чорної діри на сірому об'єкті) у вигляді опорної точки зображення. Ці блоби часто представляють цілі для обробки, захоплення або виробничого браку;
- надійне розпізнавання за шаблонами: пошук за шаблоном об'єкта, який може бути повернутий, частково прихований іншим об'єктом, або відрізнятись за розміром
зчитування штрих-кодів: декодування 1D і 2D кодів, розроблених для зчитування або сканування машинами;
оптичне розпізнавання символів: автоматизованне читання тексту, наприклад, серійних номерів;
вимірювання: вимірювання розмірів об'єктів в дюймах або міліметрах;
знаходження країв: пошук країв об'єктів;
співставлення шаблонів: пошук, підбір, і/або підрахунок конкретних моделей.

В більшості випадків, системи машинного зору використовують послідовне поєднання цих методів обробки для виконання повного інспектування. Наприклад, система, яка зчитує штрих-код може також перевірити поверхню на наявність подряпин або пошкодження та виміряти довжину і ширину компонентів, що обробляються.

Застосування машинного зору[ред. | ред. код]

Застосування машинного зору різноманітне, воно охоплює різноманітні області діяльності, включаючи, але не обмежуючись наступними:

велике промислове виробництво;
прискорене виробництво унікальних продуктів;
системи безпеки в промислових умовах;
контроль попередньо виготовлених об'єктів (наприклад, контроль якості, дослідження допущених помилок);
системи візуального контролю та управління (облік, зчитування штрих-кодів);
контроль автоматизованих транспортних засобів;
контроль якості та інспектування продуктів харчування.

В автомобільній промисловості системи машинного зору використовуються як керівництво для промислових роботів, а також для перевірки поверхні автомобіля під фарбування, зварних швів, блоків циліндрів і багатьох інших компонентів на наявність дефектів.

Машинний зір широко застосовується в промисловості, дозволяючи значно підвищити продуктивність та якість продукції, що випускається. Системи контролю здатні обробляти не тільки плоскі, але і об'ємні (тримірні) зображення шляхом аналізу кольоровості зображення чи шкали сірого. Як правило, в межах промислового підприємства машинний зір виконує такі задачі як перевірка якості складання, виявлення браку, контроль розмірів, ідентифікація позиціонування деталей, автоматичне збирання, сортування, оптичне розпізнавання символів та управління технологічним процесом.
Крім технологічних ліній на заводах, де здійснюється масове промислове виробництво, машинний зір застосовують для захисту обладнання та персоналу в промислових умовах, проміжного та вихідного контролю якості, ведення складського обліку та управління складом, автоматичне відеоспостереження в автоматизованих системах безпеки, для автоматизації підприємств роздрібної торгівлі, а також в рентгенохірургії, для різноманітних досліджень та зондувань, бережних ендоскопічних операцій та інших медичних цілей.

Успішне застосування машинного зору на практиці потребує знань та навичок в різних суміжних областях. Наприклад, при здійсненні звичайного проекту виробничої системи машинного зору необхідно скласти архітектуру системи, визначити спосіб аналізу зображень, розробити або адаптувати алгоритми і програмне забезпечення, забезпечити оптимальні світлотехнічні умови, врахувати характер вантажно-розвантажувальних і транспортних операцій, налаштувати відеотехніку і засоби зв'язку і прийняти до уваги особливості контролю якості на конкретному підприємстві.

Пов'язані області[ред. | ред. код]

Машинний зір належить до інженерних автоматизованих систем візуалізації в промисловості та на виробництві, і в цій якості машинний зір пов'язаний з найрізноманітнішими областями комп'ютерних наук: комп'ютерний зір, устаткування для управління, бази даних, мережеві системи та машинне навчання.
Не варто плутати машинний та комп'ютерний зори. Комп'ютерний зір є загальнішою областю досліджень, тоді як машинний зір є інженерною дисципліною пов'язаною з виробничими задачами.

Ринок[ред. | ред. код]

Ринок промисловості машинного бачення постійно зростає протягом останніх 20 років у зв'язку з постійно зростаючими можливостями процесорів. Останні прогнози кажуть про темпи зростання ринку в межах від 2,6 % до 4,6 % в 2011 році. Крім того, сумарний обсяг фінансів в області машинного бачення (від продажу систем машинного зору та її компонент) зросте від 3 869,3 мільйонів $ в 2010 році та до 4 439,1 мільйонів доларів в 2014.

Див. також[ред. | ред. код]

Примітки[ред. | ред. код]

Література[ред. | ред. код]

E. R. Davies (2004). Machine Vision : Theory, Algorithms, Practicalities. Morgan Kaufmann.
Batchelor B.G. and Whelan P.F. (1997). Intelligent Vision Systems for Industry. Springer-Verlag. ISBN 3-540-19969-1.. Online PDF version [1] [Архівовано 15 серпня 2013 у Wayback Machine.]
Demant C., Streicher-Abel B. and Waszkewitz P. (1999). Industrial Image Processing: Visual Quality Control in Manufacturing. Springer-Verlag. ISBN 3-540-66410-6.
O.Yu. Sergiyenko, V.V. Tyrsa. 3D optical machine vision sensors with intelligent data management for robotic swarm navigation improvement, IEEE Sensors Journal 2021 (10), pp. 11262-11274
Oleg Sergiyenko , Mikhail V. Ivanov , Vera V. Tyrsa , Vladimir M. Kartashov , Moises Rivas-Lopez and Daniel Hern'andez-Balbuena , Wendy Flores-Fuentes , Julio C{\'e}sar Rodr{\'i}guez-Qui{\~n}onez , Juan Iv{\'a}n Nieto-Hip{\'o}lito, Wilmar Hernandez and Andrei Tchernykh, Data transferring model determination in robotic group, journal={Robotics Auton. Syst.}, Elsevier, year={2016}, volume={83}, pages 251-260
Gonzales R. C. and Wintz P. A. (2001). Digital Image Processing. Longman Higher Education. ISBN 978-0201110265.
Pham D.T. and Alcock R.J. (2003). Smart Inspection Systems: Techniques and Applications of Intelligent Vision. Academic Press. ISBN 0-12-554157-0.
Berthold K.P. Horn (1986). Robot Vision. MIT Press. ISBN 0-262-08159-8.
Developing and Applying Optoelectronics in Machine Vision/ O. Sergiyenko, J.C. Rodriguez-Quiñonez, IGI Global, 2016; 341p.
Stereoscopic Vision Systems In Machine Vision, Models, And Applications (Book Chapter)/ Ramírez-Hernández, L.R., Rodríguez-Quiñonez, J.C., Castro-Toscano, M.J., Kolendovska, M., Murrieta-Rico, F.N.// Machine Vision And Navigation, 2019 Machine Vision and Navigation30 September 2019, Pages 241-265
Lindner, L., Sergiyenko, O., Rivas-López, M., (...), Gurko, A., Kartashov, V.M. Machine vision system for UAV navigation; IEEE, 2016 International Conference on Electrical Systems for Aircraft, Railway, Ship Propulsion and Road Vehicles and International Transportation Electrification Conference, ESARS-ITEC, 2016; pp.1–6. DOI: 10.1109/ESARS-ITEC.2016.7841356.
Oleksandr Sotnikov, Vladimir Kartashov, Oleksandr Tymochko, Oleg Sergiyenko, Vera Tyrsa, Paolo Mercorelli, Wendy Flores-Fuentes. Methods for Ensuring the Accuracy of Radiometric and Optoelectronic Navigation Systems of Flying Robots in a Developed Infrastructure. Chapter 16// Machine Vision and Navigation; Springer, Cham. pp.537–578. Editors: Sergiyenko, Oleg, Flores-Fuentes, Wendy, Mercorelli, Paolo. DOI: 10.1007/978-3-030-22587-2_16.
Ivanov, M., Sergiyenko, O., Mercorelli, P., Hernandez, W.c, Rodriguez Quinonez, J.C.d, Katashov V., Kolendovska, M., Iryna, T. Effective informational entropy reduction in multi-robot systems based on real-time TVS. IEEE International Symposium on Industrial Electronics, 2019-June,8781209, с. 1162-1167.