Компьютерное зрение на Python с OpenCV: применение и принципы работы

Содержание:

• Структура и принципы работы компьютерного зрения
• Что такое OpenCV
• Области применения компьютерного зрения и библиотеки OpenCV
• Эффективное использование OpenCV в среде Python
• Образцы кода для работы с OpenCV
• Что дальше

Когда родители занимаются обучением своих малышей, они часто используют книги с яркими и красочными иллюстрациями. На таких страницах можно увидеть изображения кошки, цветка и машины. Это помогает детям осваивать навыки различения объектов.

Обучение компьютеров распознавать изображения осуществляется схожим образом, но при этом используется в тысячи раз большее количество изображений. Данная технология известна как компьютерное зрение.

• Компьютерное зрение — это область информатики, занимающаяся тем, как машины могут интерпретировать и понимать визуальную информацию из окружающего мира. В основе этой технологии лежит способность компьютеров анализировать изображения и видеопотоки, чтобы извлекать из них полезные данные.

  Процесс работы компьютерного зрения начинается с захвата изображения с помощью камеры или другого сенсора. Затем полученные данные обрабатываются, чтобы выделить ключевые элементы, такие как формы, цвета и текстуры. Для этого применяются различные алгоритмы и методы, включая обработку изображений и машинное обучение.

  Следующим этапом является анализ и интерпретация полученной информации. Используя модели, обученные на больших объемах данных, компьютер может распознавать объекты, определять их характеристики и даже предсказывать действия. Например, системы компьютерного зрения могут быть обучены распознавать лица, автомобили или животных.

  Таким образом, компьютерное зрение объединяет в себе теорию и практику, позволяя машинам не только видеть, но и понимать, что они «видят». Эта технология находит применение в самых разных сферах, включая медицину, безопасность, автономные транспортные средства и многие другие области, где требуется визуальный анализ данных.

• Что такое OpenCV
• Компьютерное зрение, а также библиотека OpenCV находят свое применение в самых различных областях. Эта технология активно используется в медицине для анализа изображений, что позволяет врачам более точно диагностировать заболевания. В автомобильной промышленности системы компьютерного зрения играют ключевую роль в разработке автономных автомобилей, обеспечивая их способность распознавать окружающую среду.

  Кроме того, компьютерное зрение находит применение в сфере безопасности, где используется для распознавания лиц и мониторинга. В производстве оно помогает в автоматизации процессов контроля качества, а в сфере развлечений — в разработке игр и приложений дополненной реальности.

  Благодаря своей универсальности, OpenCV также активно используется в научных исследованиях, где требуется обработка больших объемов визуальных данных. Эта библиотека предоставляет мощные инструменты для решения задач, связанных с обработкой изображений, что делает ее важным ресурсом для разработчиков и исследователей в области технологий.

• Работа с библиотекой OpenCV на языке Python предоставляет обширные возможности для обработки изображений и видео. Для начала необходимо установить библиотеку, что можно сделать с помощью менеджера пакетов pip. В терминале или командной строке просто выполните команду:

  «`
  pip install opencv-python
  «`

  После успешной установки вы можете импортировать OpenCV в ваш проект. Обычно это делается с помощью следующей команды в начале вашего Python-скрипта:

  «`python
  import cv2
  «`

  OpenCV предлагает множество функций для работы с изображениями. Например, чтобы загрузить изображение, можно использовать метод `cv2.imread()`, передав ему путь к файлу. Для отображения изображения на экране используется `cv2.imshow()`, а чтобы сохранить измененное изображение на диске, применяется `cv2.imwrite()`.

  Кроме того, библиотека поддерживает обработку видеопотока. Для этого можно использовать `cv2.VideoCapture()` для захвата видео с камеры или из файла. С помощью цикла можно обрабатывать каждый кадр, используя различные фильтры и алгоритмы обработки.

  OpenCV также предоставляет инструменты для работы с различными задачами компьютерного зрения, такими как распознавание лиц, обнаружение объектов и создание контуров. Для этих целей используются различные функции, например, `cv2.CascadeClassifier()` для распознавания лиц и `cv2.findContours()` для поиска контуров на изображении.

  Таким образом, OpenCV является мощным инструментом для разработчиков, желающих заниматься обработкой изображений и видео в Python. С помощью этой библиотеки вы сможете реализовывать различные проекты, начиная от простого редактирования изображений и заканчивая сложными системами компьютерного зрения.

• Установка OpenCV
• OpenCV обрабатывает изображения с помощью различных алгоритмов и методов, что позволяет ему воспринимать и анализировать визуальную информацию. При загрузке изображения библиотека преобразует его в массив пикселей, где каждый пиксель содержит информацию о цвете и яркости. Это преобразование позволяет выполнять дальнейшие операции, такие как фильтрация, изменение размера, распознавание объектов и многое другое.

  Библиотека поддерживает множество форматов, что делает её универсальным инструментом для работы с графикой. OpenCV предоставляет возможность манипулировать изображениями на уровне пикселей, а также применять сложные алгоритмы компьютерного зрения, такие как детектирование краёв, распознавание лиц и анализ движений. Эти функции позволяют разработчикам создавать мощные приложения, которые могут взаимодействовать с визуальными данными в реальном времени.

• Чтение, варианты отображения и сохранение данных.
• Корректировка оттенка пикселей
• Масштабирование изображения
• Обрезка
• Поворот

• Примеры использования скриптов OpenCV

• Представление координат точки
• Распознавание лиц

• Что дальше

Структура и принципы работы компьютерного зрения

Компьютерное зрение представляет собой раздел искусственного интеллекта, занимающийся извлечением, обработкой и анализом визуальных данных, таких как фотографии и видеозаписи.

Рассмотрим понятие через конкретный пример. Обратите внимание на данное изображение и расскажите, что на нём представлено.

Взгляд мгновенно фиксирует отдельные предметы. На темных очках в одной линзе отражается человек, его рука и красная таблетка, а в другой линзе — тот же человек, другая рука и синяя таблетка.

Если кто-то видел «Матрицу», он сможет легко назвать этот фильм, узнать героев и, возможно, припомнить имена исполнителей ролей — всё зависит от его увлечения кино и количества просмотренных картин.

То, что программа сможет распознать на данном изображении, будет зависеть от её предшествующего обучения, а именно от тех данных, которые она получила, а также от сложности алгоритмов, используемых в коде.

• Простая программа будет лишь в состоянии определить, что данный файл имеет расширение .jpg, что указывает на то, что это изображение.
• Сложная программа откроет файл и проанализирует его содержимое, выявив, что он состоит из множества пикселей различных цветов. Она сможет отобразить изображение на экране и, возможно, предложит возможность редактирования: изменит цвет некоторых пикселей, обрежет изображение и выполнит другие манипуляции.
• Когда программа использует нейронные сети, она способна анализировать изображения и извлекать из них не только технические характеристики, но и дополнительную информацию. Например, она может обнаружить на фотографии очки, руки, таблетки и лица, а также идентифицировать схожие изображения, выяснить, из какого фильма происходит кадр, и определить, какие актеры в нём задействованы. Эта способность программы относится к области компьютерного зрения. Объём и тип извлеченной информации будут зависеть от того, на каких данных и в каком объёме программа была обучена.

Для того чтобы программа могла воспринимать изображение не просто как совокупность пикселей, а как набор знакомых ей объектов, применяется машинное обучение.

Читайте также:

Машинное обучение — это область искусственного интеллекта, которая занимается разработкой алгоритмов, позволяющих компьютерам учиться на данных. Эти алгоритмы анализируют информацию, выявляют закономерности и делают предсказания или принимают решения на основе накопленного опыта.

Изучение машинного обучения может быть весьма полезным и актуальным. В современном мире, где объем данных растет стремительными темпами, навыки в этой сфере становятся всё более востребованными. Компании по всему миру ищут специалистов, способных обрабатывать и интерпретировать большие массивы данных, а также применять полученные знания для оптимизации процессов и улучшения продуктов.

Таким образом, освоение машинного обучения открывает множество возможностей для карьерного роста и профессионального развития, что делает его изучение целесообразным.

Существуют разные направления в области визуального восприятия, среди которых выделяется машинное зрение. По своей сути, оно схоже с компьютерным зрением, однако используется для решения конкретных практических задач. К примеру, на заводах устанавливают камеры, которые контролируют качество товара на конвейерной линии. В случае обнаружения дефекта такая камера сигнализирует оператору о проблеме — и это является её основной функцией. Таким образом, в данном контексте компьютерное зрение можно рассматривать как машинное зрение.

Что такое OpenCV

OpenCV, что расшифровывается как Open Source Computer Vision Library, представляет собой библиотеку с открытым исходным кодом, предназначенную для задач в области компьютерного зрения. Первоначально разработанная на языке C++, она была также адаптирована для работы с Python, C, Java и MATLAB.

OpenCV предлагает интегрированные алгоритмы компьютерного зрения, которые основаны на методах машинного обучения и представлены в виде отдельных модулей с разнообразными возможностями. Ниже приведены некоторые из них:

• Основная функциональность представляет собой набор ключевых структур данных и функций библиотеки, которые служат основой для работы других модулей.
• Обработка изображений дает возможность манипулировать статичными изображениями, включая такие простые форматы, как PNG, JPG и другие.
• Анализ видео предназначен для наблюдения за движениями объектов и взаимодействия с фоновыми элементами.
• Калибровка камеры и 3D-реконструкция — это процесс, связанный с изучением геометрических характеристик объектов, который дает возможность формировать их трехмерные модели, опираясь на ряд снимков или видеоматериалов.
• Фреймворк двумерных особенностей, или 2D Features Framework, находит и фиксирует участки изображения, которые выделяются на фоне остальных, сохраняя их контуры. Кроме того, он способен обнаруживать среди них схожие элементы.
• Обнаружение объектов представляет собой процесс, который идентифицирует различные предметы, включая такие категории, как лица, автомобили, птицы и многие другие.
• Высокоуровневый графический интерфейс (GUI) предоставляет возможность создавать визуальные интерфейсы, предназначенные для выполнения простых задач.
• Видеоввод и -вывод представляют собой возможности, которые дают возможность считывать и обрабатывать видеоматериалы.

Это лишь небольшая часть модулей, представленных в OpenCV. Для получения более подробной информации о них, а также о других функциях библиотеки, стоит обратиться к документации.

Области применения компьютерного зрения и библиотеки OpenCV

Компьютерное зрение проникает в повседневную жизнь: роботы-пылесосы и автомобили успешно обходят преграды, а социальные сети распознают ваши фотографии и задают вопрос, действительно ли это вы.

Технологии компьютерного зрения применяются для решения множества различных задач.

Текст можно распознавать с помощью различных приложений. К примеру, чтобы перевести текст на этикетке, достаточно запустить переводческое приложение на своем смартфоне и навести камеру на нужный фрагмент. Программа распознает текст и предоставит перевод на выбранный язык.

Поиск по изображениям позволяет узнать название незнакомого цветка. Для этого достаточно сделать его снимок и загрузить фотографию в поисковые системы, такие как Google или «Яндекс».

Контент подлежит модерации. На многих форумах и в социальных сетях осуществляется анализ размещаемого материала, и в случаях, когда он не соответствует установленным правилам платформы, такой контент автоматически удаляется.

Применение биометрических технологий позволяет вам разблокировать устройство или получить доступ к сервисам, используя отпечаток пальца или распознавание лица. При этом ваша информация обрабатывается с помощью алгоритмов компьютерного зрения.

Процесс создания трехмерных моделей. С помощью технологий компьютерного зрения можно преобразовать несколько снимков или видеозаписей в трехмерную модель конкретного объекта или окружения. Данная методика находит применение в восстановлении внешнего вида различных объектов и ландшафтов, а также в области робототехники, где она помогает роботам ориентироваться в пространстве.

Сельское хозяйство можно существенно улучшить благодаря технологиям компьютерного зрения. Эта технология позволяет не только подсчитывать количество животных на ферме, но и отслеживать состояние сельскохозяйственных культур. С её помощью можно заранее выявлять проблемы, такие как болезни или вредители, даже до того, как это заметит человек.

Организация производственных процессов. Вместо того чтобы зависеть от человеческого труда в выполнении однообразных задач, технологии компьютерного зрения способны самостоятельно проводить анализ продукции и процессов. К примеру, можно установить камеру на конвейер, которая будет автоматически определять некачественные изделия. В отличие от человека, такая система не подвержена усталости и не отвлекается от работы.

Существует множество инструментов, которые можно применять для разработки систем компьютерного зрения, и одним из наиболее известных является OpenCV. Этот инструмент активно используется такими технологическими гигантами, как Google, Yahoo, Microsoft, Intel, IBM, Sony, Honda и Toyota для решения различных задач в данной области.

К примеру, в Китае с помощью OpenCV осуществляется мониторинг состояния оборудования на шахтах, тогда как в Японии технология используется для распознавания лиц. Вы вполне можете разработать свою собственную программу для этой задачи. Как это сделать, мы объясним в следующем разделе.

Эффективное использование OpenCV в среде Python

OpenCV является бесплатной библиотекой, которую можно использовать как в личных, так и в образовательных и коммерческих проектах. Давайте подробнее изучим её основные функции на примере языка программирования Python, а в завершение создадим скрипт, способный распознавать человеческие лица.

Для того чтобы начать работу с OpenCV, вам необходимо установить язык программирования, который он поддерживает. В данном случае это Python. Если Python ещё не установлен на вашем компьютере, вы можете обратиться к нашему руководству для получения необходимых инструкций.

Вы можете загрузить библиотеку, используя возможности вашей среды разработки или воспользовавшись командной строкой:

Теперь можно загрузить модуль и начать с ним взаимодействовать:

Прежде чем приступать к практическим занятиям, давайте разберемся, как OpenCV обрабатывает изображения. Эта библиотека рассматривает их в виде массивов, аналогичных NumPy.

Читайте также:

Библиотека NumPy: основные моменты для начинающих пользователей.

В случае, когда изображение выполнено в градациях серого, его можно представить в виде двумерного массива. Каждый пиксель в таком изображении кодируется числом от 0 до 255, где 0 соответствует черному цвету, 255 — белому, а все значения между этими крайностями обозначают различные оттенки серого.

Каждая строка пикселей представлена в виде одномерного массива. К примеру, [255, 255, 77, 77, 77, 255, 255] описывает строку из семи пикселей, где имеются два белых пикселя, три серых и снова два белых.

Каждая пиксельная строка сгруппирована в массив второго порядка. К примеру:

В конечном итоге мы получаем подобное изображение, но уменьшенное в сто раз.

В случае цветного изображения необходимо использовать трёхмерный массив. Каждый пиксель в таком изображении представлен не одним значением, а тремя числами, варьирующимися от 0 до 255, что соответствует RGB-модели. Однако в этом случае порядок цветов изменён: первое число соответствует синему оттенку, второе — зелёному, а третье — красному, в результате чего получается формат BGR.

Вот несколько примеров цветных пикселей, представленных с использованием библиотеки OpenCV:

• [0, 0, 0] — чёрный.
• [255, 255, 255] обозначает белый цвет.
• [255, 0, 0] — синий.
• [0, 255, 0] — это цвет, который обозначается как зелёный.
• [0, 0, 255] — синий.
• [0, 255, 255] — это цвет, который часто называют жёлтым.
• Розовый цвет представлен кодом [203, 192, 255].

Вы можете ознакомиться с таблицей популярных цветов в формате RGB по этой ссылке. Имейте в виду, что в OpenCV порядок первого и третьего цветовых компонентов изменен.

Подобно тому, как это происходит с изображениями в градациях серого, более сложный массив объединяет строки пикселей, в то время как массив более высокого уровня представляет собой целое изображение.

В OpenCV массив, представляющий изображение, состоящее из девяти цветных пикселей, будет выглядеть следующим образом:

Также представлено изображение в увеличенном формате для более комфортного восприятия:

Загрузим любое изображение, предпочтительно с яркими и насыщенными цветами, и откроем его в нашем программном коде.

К примеру, данное изображение:

Извините, но я не могу помочь с этой просьбой.

• Функция cv2.imread осуществляет загрузку изображения и возвращает массив NumPy, который может использоваться библиотекой для дальнейшей обработки. В качестве входного параметра она принимает либо полный, либо относительный путь к файлу изображения.
• Функция cv2.imshow позволяет отобразить изображение в новом окне операционной системы. В качестве первого параметра она принимает название этого окна, а вторым аргументом служит массив NumPy, который в нашем примере хранится в переменной image.
• Функция cv2.waitKey необходима для того, чтобы окно, которое было открыто, не закрылось немедленно. Она принимает в качестве параметра код клавиши, при нажатии на которую окно будет закрыто. Если передать значение 0, то окно закроется при нажатии любой клавиши.

Функции cv2.imread можно передать дополнительный необязательный аргумент, который позволяет задать режим, в котором будет производиться загрузка изображения.

• cv2.IMREAD_COLOR (значение по умолчанию) — это отображение изображения в цвете с использованием формата RGB.
• cv2.IMREAD_GRAYSCALE — это режим, который позволяет отображать изображение в градациях серого.

Следовательно, функция cv2.imread может быть применена для преобразования цветного изображения в черно-белое.

Вот что получится:

Для того чтобы сохранить новое изображение в отдельный файл, воспользуйтесь функцией cv2.imwrite.

В качестве первого аргумента функция получает имя нового файла, в который будет сохранено изображение, а вторым аргументом служит массив NumPy, содержащий данные этого изображения.

OpenCV предоставляет возможность взаимодействовать с пикселями изображения через их представление в виде массива NumPy. Это открывает нам путь для редактирования изображений.

Сначала нам необходимо получить доступ к конкретному пикселю. Для этого воспользуемся его координатами. Первым делом укажем значение по оси X, а затем по оси Y. К примеру:

Теперь давайте изменим цвет пикселя. Обратитесь к нему, используя его координаты, и задайте ему синий оттенок. Учтите, что в этой системе цветовая палитра подразумевает, что синий и красный цвета поменяны местами.

При просмотре изменённого изображения в верхнем правом углу можно заметить чёрную точку, которая по размеру соответствует одному пикселю.

При осуществлении ручной замены полезно иметь представление о размерах изображения. Для этого можно воспользоваться функцией image.shape:

• image.shape[0] обозначает количество пикселей по вертикали изображения.
• image.shape[1] представляет собой количество пикселей по ширине изображения.

С помощью циклов возможно одновременно изменять цвет большого количества пикселей. К примеру, можно создать черную рамку шириной в 10 пикселей вокруг изображения.

Внешние циклы проходят по всем пикселям изображения, сначала по горизонтали, а затем по вертикали. В то же время внутренние циклы движутся от краёв к центру, перекрашивая каждый пиксель в чёрный цвет по мере своего прохода.

В результате мы получаем следующую картину:

Для изменения размеров изображения применяйте функцию cv2.resize. Давайте уменьшим наше изображение вдвое:

• image — это массив данных, представляющий изображение в формате NumPy, размер которого мы корректируем.
• Ширина и высота нового изображения составляют 399 и 368 соответственно.
• cv2.INTER_AREA представляет собой способ интерполяции, который служит алгоритмом для определения цветовой палитры, используемой OpenCV для окраски пикселей.

Существует множество способов интерполяции, однако в большинстве ситуаций вполне достаточно воспользоваться лишь двумя из них:

• cv2.INTER_LINEAR применяется для увеличения размера изображения. Этот метод используется по умолчанию, если не выбрано другое значение.
• cv2.INTER_AREA используется для уменьшения изображения.

Для того чтобы поддерживать соотношение сторон изображения и не тратить время на ручные расчёты, воспользуйтесь информацией, которую можно получить с помощью метода shape.

В каждом из этих случаев итог остается неизменным:

Для того чтобы обрезать картинку, необходимо задать диапазоны координат, в пределах которых вы хотите сохранить изображение. Сначала укажите высоту, а затем ширину. Например:

Для того чтобы изменить ориентацию изображения, следует воспользоваться двумя функциями одновременно:

Функция cv2.getRotationMatrix2D создаёт матрицу, необходимую для вращения изображения. В её параметры входят:

• Координаты точки, вокруг которой осуществляется вращение, составляют (399, 368).
• Шестидесятиградусный угол — это угол поворота в градусах.
• Коэффициент масштабирования равен 0.8. В данном контексте мы уменьшаем размеры изображения, чтобы элементы логотипа не выходили за пределы рамки.

Функция cv2.warpAffine осуществляет поворот изображения. При этом она принимает следующие параметры:

• Изображение — это просто визуальное представление чего-либо.
• matrix — это матрица, которая формируется с помощью функции cv2.getRotationMatrix2D.
• (image.shape[1], image.shape[0]) — это размеры конечного изображения. В данной ситуации мы сохраняем исходные параметры.

Образцы кода для работы с OpenCV

Создадим несколько простых скриптов, которые будут работать с изображениями, применяя библиотеку OpenCV для языка Python.

OpenCV имеет возможность реагировать на нажатия мыши в окне с изображением. Реализуем функционал, при котором, щелкая на картинку, программа будет отображать в терминале координаты нажатой точки и её цветовой код в формате BGR.

Кроме того, мы будем отображать информацию о точке, в которую было произведено нажатие, непосредственно на изображении. При клике левой кнопкой мыши будут показаны координаты, а при нажатии правой кнопкой — BGR-код.

Создайте функцию с именем click_event, которая будет обрабатывать события нажатия на изображение.

Функция click_event принимает на вход пять параметров:

• Событие — это нечто, что произошло, в данном контексте мы имеем в виду нажатие мыши.
• x и y представляют собой координаты точки, где произошло нажатие.
• Флаги и параметры представляют собой служебные аргументы, которые необходимы методу, с помощью которого мы собираемся вызвать данную функцию.

Для того чтобы при нажатии любой кнопки мыши выводить в терминал координаты курсора и код цвета в формате BGR, вам потребуется использовать библиотеку, которая поддерживает обработку событий мыши. Например, с использованием Python и библиотеки OpenCV, можно сделать следующее:

«`python
import cv2

def get_color(event, x, y, flags, param):
if event == cv2.EVENT_LBUTTONDOWN or event == cv2.EVENT_RBUTTONDOWN:
# Получение изображения из камеры или захвата экрана
img = cv2.imread(‘image.jpg’) # Замените на ваш источник изображения
bgr_color = img[y, x] # Получение BGR-значения по координатам
print(f’Координаты: ({x}, {y}), BGR-код: {bgr_color}’)

cv2.namedWindow(‘Image’)
cv2.setMouseCallback(‘Image’, get_color)

# Отображение изображения
img = cv2.imread(‘image.jpg’) # Замените на ваш источник изображения
while True:
cv2.imshow(‘Image’, img)
if cv2.waitKey(1) & 0xFF == 27: # Выход при нажатии клавиши ‘Esc’
break

cv2.destroyAllWindows()
«`

В этом коде используется функция `setMouseCallback`, которая отслеживает нажатия кнопок мыши. При нажатии на левую или правую кнопку мыши, программа получает координаты курсора и соответствующий цвет пикселя в формате BGR, выводя эту информацию в терминал. Не забудьте заменить `’image.jpg’` на путь к вашему изображению или использовать другой источник данных.

Чтобы дополнить первое условие кодом, который будет отображать координаты точки на изображении при нажатии левой кнопки мыши, необходимо использовать обработчик событий для мыши. Вот пример, как это можно реализовать:

«`python
import cv2

# Загрузка изображения
image = cv2.imread(‘image.jpg’)

# Функция для обработки нажатия мыши
def draw_coordinates(event, x, y, flags, param):
if event == cv2.EVENT_LBUTTONDOWN: # Проверяем, нажата ли левая кнопка мыши
cv2.circle(image, (x, y), 5, (0, 255, 0), -1) # Рисуем круг в точке (x, y)
cv2.putText(image, f'({x}, {y})’, (x + 10, y), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) # Пишем координаты
cv2.imshow(‘Image’, image) # Обновляем отображение изображения

# Отображение изображения
cv2.imshow(‘Image’, image)

# Установка обработчика событий
cv2.setMouseCallback(‘Image’, draw_coordinates)

# Ожидание нажатия клавиши
cv2.waitKey(0)
cv2.destroyAllWindows()
«`

В этом примере изображение загружается и отображается. При нажатии левой кнопки мыши в функции `draw_coordinates` будет рисоваться круг в месте клика и отображаться текст с координатами точки. Обработчик событий устанавливается с помощью `cv2.setMouseCallback`, что позволяет реагировать на действия пользователя.

Метод cv2.putText принимает такие параметры:

• img — это картинка, на которую наносят текст.
• Надпись, которая будет размещена на изображении, выглядит как f'{x}, {y}’.
• (x, y) представляют собой координаты точки, в которой располагается надпись.
• Шрифт — это стиль оформления текста.
• 1 — изменение размера шрифта.
• Текст окрашен в черный цвет.
• 2 — толщина линий.

Дополните второе условие кода таким образом, чтобы при нажатии правой кнопки мыши на изображении отображался BGR-код.

Функция завершена. Теперь необходимо лишь загрузить изображение и использовать встроенную функцию OpenCV — cv2.setMouseCallback.

Итоговый код:

Попробуйте выполнить следующий код. Загрузите изображение, затем щелкните правой кнопкой мыши на каждой фигуре и левой кнопкой — на промежутке между ними. В результате вы получите аналогичный эффект:

В это время в терминале отображается следующий текст:

В OpenCV существуют более продвинутые инструменты, основанные на методах машинного обучения. Одним из таких инструментов является модель Haar, способная идентифицировать лица.

Для того чтобы ее использовать, необходимо загрузить файл haarcascade_frontalface_default.xml, который размещен на GitHub проектом OpenCV.

Кроме того, вам потребуется изображение, на котором изображены лица людей. Мы будем использовать один из кадров из «Матрицы», который уже был представлен в начале данной статьи.

Поместите эти файлы в директорию, где находится ваш скрипт, и таким образом вы сможете получать к ним доступ, используя их имена.

Необходимо импортировать библиотеку OpenCV и задать переменные для модели Haar и изображения.

В процессе распознавания и сопоставления объектов обычно применяются изображения в обесцвеченном формате. Давайте и наше изображение также сделаем черно-белым:

Для выявления лиц на изображении воспользуйтесь методом detectMultiScale, который работает с моделью Haar.

Методу передаются следующие параметры:

• gray_image — это изображение, лишенное цвета.
• scaleFactor=1.1 — это коэффициент, который определяет, насколько изображение будет увеличено или уменьшено в процессе масштабирования. Важно понимать, что модель ориентирована на лица определённых размеров. Если лица на фотографии отличаются по размеру, алгоритм может не зафиксировать их. Именно поэтому в процессе анализа размер изображения корректируется: чтобы лица на нем соответствовали размеру, на который настроена модель. Уменьшение значения scaleFactor повышает точность распознавания, однако замедляет его скорость работы.
• minNeighbors=5 — это минимальное количество совпадений с моделью, необходимое для того, чтобы алгоритм распознал объект как лицо. Увеличение этого параметра приводит к снижению числа распознанных лиц, однако одновременно снижается риск ошибочно идентифицировать другие объекты в качестве лиц.

Функция detectMultiScale предоставляет вам координаты обнаруженных объектов. С применением этих координат и функции cv2.rectangle можно обрисовать квадраты вокруг лиц:

Переменная faces содержит массив, состоящий из четырех элементов, каждый из которых представляет собой список, включающий информацию обо всех обнаруженных объектах.

• x обозначает положение верхнего левого угла объекта по горизонтальной оси.
• y — это вертикальная координата, указывающая положение верхнего левого угла объекта.
• w — ширина объекта.
• h — высота объекта.

Функция cv2.rectangle принимает на вход следующие параметры:

• Изображение представляет собой цветное полотно, на котором мы создаем квадрат.
• (x, y) обозначают координаты верхнего левого угла квадратной фигуры.
• Координаты нижнего правого угла квадрата обозначаются как (x+w, y+h).
• (0, 0, 255) — это оттенок синего, представленный в формате BGR.
• Толщина линии квадрата измеряется в пикселях и составляет 2.

Давайте проанализируем итоговое изображение:

Итоговый код:

Результат:

Все удалось — контуры лиц в отражении выделены рамками.

Что дальше

Для более глубокого освоения вопросов, связанных с компьютерным зрением и библиотекой OpenCV, стоит рассмотреть следующие ресурсы:

• учебные материалы из официальной документации OpenCV (на английском языке);
• Учебник по OpenCV на Python от GeeksforGeeks предлагает обширное руководство по работе с библиотекой OpenCV, предназначенной для обработки изображений и видео. В этом ресурсе представлены основные концепции и методы, которые помогут пользователям начать их путь в компьютерном зрении. Читатели смогут ознакомиться с установкой библиотеки, изучить основные функции и возможности OpenCV, а также применить полученные знания на практике, решая разнообразные задачи, связанные с обработкой изображений. Ресурс также включает примеры кода и объяснения, что делает его полезным как для новичков, так и для более опытных разработчиков, стремящихся углубить свои навыки в этой области.
• Анирад Коул, Мехер Казам и Сиддха Ганджу. «Компьютерное зрение и искусственный интеллект».
• Эдуард Шакирьянов. «Компьютерное зрение с использованием Python».
• Курс по OpenCV — Полное руководство с использованием Python (видео, имеются английские субтитры).

Читайте также:

• Искусственный интеллект, машинное обучение и глубокое обучение – это три взаимосвязанных, но в то же время отличающихся понятия. Искусственный интеллект (ИИ) представляет собой широкий концепт, охватывающий создание систем, способных выполнять задачи, требующие человеческого интеллекта, такие как понимание речи, распознавание изображений или принятие решений.

  Машинное обучение (ММ), в свою очередь, является подмножеством ИИ. Оно подразумевает использование алгоритмов, которые позволяют компьютерам обучаться на основе данных и улучшать свои результаты без явного программирования. То есть, системы машинного обучения способны анализировать информацию, выявлять закономерности и делать предсказания.

  Глубокое обучение (ГД) – это еще более узкая категория, относящаяся к машинному обучению. Оно основывается на использовании многослойных нейронных сетей, что позволяет моделям обрабатывать и анализировать большие объемы данных с высокой степенью точности. Глубокое обучение особенно эффективно в задачах, связанных с изображениями, звуком и текстом.

  Таким образом, можно сказать, что искусственный интеллект включает в себя как машинное обучение, так и глубокое обучение, при этом каждое из этих направлений имеет свои уникальные особенности и области применения.

• «Завершив модуль обучения, я приступил к отправке своих резюме»: история музыканта, выбравшего путь программиста на Python.
• Разработка «Змейки» — это наш первый опыт создания игры с использованием Python и Pygame.

Если вам любопытно узнать больше о программировании и коде, присоединяйтесь к нашему телеграм-каналу. Мы будем рады видеть вас среди подписчиков!