Computer vision neural networks in support systems for making decision on a smart farm

Full Text

Создание умных ферм, в частности городских (city farm), в последние годы стало одной из тенденций развития в агроинженерии и городском строительстве. [2, 4, 6, 14] Умные городские фермы – высокотехнологичные комплексы, в которых автоматика контролирует производственные процессы, обеспечивает оптимальные параметры работы технологического оборудования, микроклимата, питательной среды для выращивания сельскохозяйственной продукции.

Высокий уровень автоматизации существенно снижает степень участия человека в производственных процессах. Как следствие, меняются требования к опыту и профессиональным знаниям в области сельского хозяйства владельца и персонала такой фермы. Однако, несмотря на то, что автоматизированный комплекс решает самостоятельно многие производственные задачи, не исключается возникновение ситуаций, требующих квалифицированного вмешательства специалистов.

Возможные поломки оборудования, заболевания или вредители выращиваемых культур, изменение спроса на рынке и необходимость перестройки бизнес-процессов – эти и подобные им случаи требуют грамотных и своевременных решений, вызывая трудности в условиях отсутствия экспертов (агрономы, инженеры).

Дальнейшее развитие цифровых технологий для умных ферм связывают с повышением степени их интеллектуализации, что должно обеспечить помощь специалистам при поиске и принятии решений в сложных ситуациях, выходящих за рамки ежедневной производственной деятельности.

Возникает актуальная перспектива создания интеллектуальных систем поддержки принятия решений (СППР), способных на основе наблюдений, сбора и обработки данных автоматически выявлять проблемы и предлагать экспертные рекомендации для действий. Исследования в области нейронных сетей и машинного обучения уже показали их возможности для отдельных задач наблюдения и оценки выращиваемой продукции – определение состояний и классификация растений, обнаружение заболеваний. [5, 9, 12]

Цель работы – исследовать возможности современных нейросетей компьютерного зрения для применения их в прикладных задачах поддержки принятия решений при эксплуатации умной фермы как компонентов общего процесса вывода решений в СППР.

МАТЕРИАЛЫ И МЕТОДЫ

Вывод решений на основе прецедентов

Основой для проектирования базовых возможностей СППР выбран известный в области искусственного интеллекта метод вывода решений по прецедентам – Case-based-reasoning (CBR). [7]

Метод предполагает, что при возникновении события, требующего вмешательства человека, нужный вариант действий может быть найден в ранее собранной базе знаний (БЗ). Знания в БЗ – пары вида <Sit, Sol>, где Sit – описание проблемной ситуации, Sol – решение, которое считается рациональным (известно из предыдущей практики или рекомендовано экспертами). Таким образом, если возникает проблема Sit_act, то в БЗ находится Sit*, наиболее отвечающая заданным критериям схожести с Sit_act, и пользователю выдается связанное с ней решение Sol*. В зависимости от степени детализации ситуаций и решений Sol* может содержать в себе как некоторый набор рекомендаций, рецептов или справочных материалов, так и детальную программу действий. Процесс вывода решений в СППР умной фермы на основе CBR включает этапы: организация наблюдения за состоянием выращиваемой продукции; обнаружение нежелательного события (заболевание растений, появление вредителей и другое); уточнение контекста обнаруженного события или явления и формирование расширенного описания ситуации Sit_act с учетом предыстории наблюдений, состояний технологических систем, имеющихся ресурсов умной фермы; поиск в БЗ решения Sol* для данной Sit_act, и выдача его пользователям для непосредственного применения или в качестве справочного материала для выработки собственного решения.

Этапы наблюдения и обнаружения на умной ферме используют автоматическую обработку изображений и (или) видеоматериалов с помощью искусственных нейронных сетей. При этом в отличие от ранее проведенных исследований, где с помощью нейросети обнаруживают заболевания или вредителей, описанный алгоритм СППР позволяет не только выявить проблему, но и предложить для нее решение, в том числе, с учетом дополнительных условий и возможностей. Также доступно расширение функциональных возможностей СППР другими задачами, отвечающими бизнес-потребностям владельца умной фермы (оценка степени зрелости плодов, прогноз объема урожая с определением сортности (кондиция) продукции, подсчет завязей ягод и другое).

Подробно изучены вопросы формализации описания ситуаций, их сравнения и отбора для поиска решений на умной ферме с помощью CBR. [3] В данном исследовании мы рассмотрели задачи обнаружения и оценки, как компоненты начального этапа в процессах принятия решений. Приводим результаты работы нейронных сетей на примере выращивания земляники (обнаружение заболеваний и столонов, подсчет плодов с учетом их степени зрелости).

Исследование провели на базе материалов, оборудования и данных Агробиотехкомплекса Тюменского государственного университета. [1]

Нейросетевые модели

В работе использовали предобученные модели семейства YOLOv8 от разработчика Ultralitics. [13] Это комплекс моделей на основе общей архитектуры и алгоритмов, которые предназначены для задач обработки изображений и видеоматериалов. Речь идет о таких типовых задачах компьютерного зрения, как классификация, обнаружение или детекция (нахождение на изображении объектов заданных классов и выделение рамкой их координат), сегментация (поточечное выделение зон, соответствующих тому или иному объекту на изображении). Соответственно разработчиками предусмотрены классы моделей YOLOv8-cls, YOLOv8, YOLOv8-seg, в каждом из которых есть варианты, различные по своей сложности и числу параметров.

Предобученные модели YOLO способны решать задачи компьютерного зрения на больших объемах изображений универсального характера, то есть они не ориентированы на объекты некоторой узкой предметной области. Применение их для решения собственных задач требует дообучения моделей на своих данных, которые будут содержать изображения соответствующих объектов, в нашем случае, это изображения кустов и плодов земляники. Важный фактор – наличие достаточного числа примеров изображений, которые соответствуют тем условиям, в которых будет эксплуатироваться нейросетевая модель. Например, если для обучения нейросети брать изображения ягод на фоне поверхности стола, то в реальных условиях, когда нужно детектировать ягоды на кусте, модель будет выдавать большой процент ошибок.

Этапы общего процесса работы с нейросетевой моделью: постановка задачи в терминах компьютерного зрения (классификация, обнаружение или сегментация) и выбор предобученной модели из семейства YOLO соответствующего класса; сбор данных; формирование и разметка обучающих данных (дата-сета); дообучение модели на новых наборах данных (изображения), то есть настройка на выполнение собственных задач; экспериментальная проверка модели и оценка применимости на собственном объекте, при необходимости, дообучение на новых данных и (или) оптимизация архитектуры модели.

Экспериментальное исследование выполнено для оценки точности обученных нейросетевых моделей. При обнаружении плодов, болезней, усов на изображении использовали известные метрики mAP50 и mAP50-95, которые применяют в задачах детекции, они учитывают правильность определения класса объекта и его границ на изображении, то есть координат рамки вокруг объекта. Первая показывает усредненную долю точности предсказаний по всем известным модели классам, вычисляемую с помощью отношения TP/(TP+FP), где TP – количество случаев правильного отнесения к данному классу, FP – ложного. При этом решение принимается, если степень совпадения предсказанной и фактической рамок вокруг объекта более порога 0,5. Вторая метрика учитывает изменение данного порога до 0,95, дополнительно усредняя найденные значения по шкале роста с шагом 0,05.

Наборы данных

Для обучения и тестирования моделей использовали наборы данных. [8, 11] Однако первый опыт их применения для решения наших задач выявил ряд недостатков. При попытке обнаружить плоды на собственном фото куста земляники часть из них не находилась и нередко выделялись области изображения, которые не содержали ягод.

Чтобы устранить недостатки дата-сеты были модернизированы: скорректирован набор и метки классов, для распознавания которых настраивалась обучаемая модель. Общий набор данных дополнили собственными снимками с местных сити-ферм.

Для проведения итоговых исследований сформировали три набора данных с размеченными фотографиями в соответствии с задачами (разрешение фотоизображений – от 640х480 до 3000х2000 пикселей) (см. таблицу).

 

Прикладные задачи и модели компьютерного зрения

Задача	Модель YOLO	Количество изображений	Количество классов
Обнаружение плода земляники с определением класса спелости	v8	350	4 зеленый, белый, созревающий, красный
Обнаружение заболевания земляники с определением класса	v8-seg	2400	5 пятнистость листьев; точечная пятнистость листьев; антракноз ягоды; серая плесень на ягоде; мучнистая роса на ягоде.
Обнаружение столонов земляники	v8	200	1

 

В процессе обучения применяли расширение данных «на лету» средствами YOLOv8, то есть подаваемые на вход модели изображения предварительно подвергали математическим преобразованиям (изменение пропорций, растяжение, сжатие, поворот изображений), и фактическое число обучающих изображений увеличивалось.

РЕЗУЛЬТАТЫ

Обнаружение заболеваний

Задача состоит в том, чтобы не только обнаружить болезни, но и классифицировать их. Выявление факта заболевания растения позволяет своевременно принять решения по мерам устранения проблемы – мероприятия по предотвращению распространения заболевания, а также лечению и регулированию состава питательного раствора и (или) микроклимата.

В экспериментах использовали модель, обученную на пяти классах заболеваний земляники: пятнистость листьев, точечная пятнистость листьев, антракноз ягоды, серая плесень на ягоде, мучнистая роса на ягоде.

На рисунке 1 (4-я стр. обл.) представлен результат работы обученной модели обнаружения заболеваний земляники. Видно, что модель не только выявляет заболевание, но и выделяет его рамкой. При этом выводится название заданного класса болезни и число, которое может трактоваться, как величина относительной (по сравнению с другими классами) степени уверенности модели в предложенном выводе. Нейросеть выдает то название, которое получило наибольшую степень уверенности.

После дообучения на своих данных детектирующая сеть YOLOv8 передает показатели точности (mAP50 = 0,76 и mAP50-95 = 0,52), которые соответствуют критериям качества этой модели в других аналогичных задачах и экспериментах.

Подсчет плодов с учетом их степени зрелости

Задача подсчета плодов земляники и учета степени их зрелости актуальна для корректировки состава питательного раствора и прогноза урожайности. Правильно подобранный состав питательного раствора влияет на форму и вкус плода. Учет во времени количества плодов разной степени зрелости позволяет оценить оптимальность состава питательного раствора и при необходимости скорректировать его.

Общий алгоритм включает этап детекции плода, классификации степени зрелости, подсчет плодов. Модель обучена на четырех классах спелости плода: зеленый, белый, созревающий, красный.

На рисунке 2 (4-я стр. обл.) представлен результат работы обученной модели (указываются наименование обнаруженного класса, границы объекта, относительный коэффициент уверенности вывода).

После обучения на своих данных детектирующая сеть YOLOv8 показала значения точности: mAP50 = 0,72 и mAP50-95 = 0,51.

Обнаружение усов (столоны)

Задача обнаружения столонов земляники актуальна для поддержания урожайности (рис. 3, 4-я стр. обл.) Столоны следует отрезать, так как растение переходит в стадию размножения, и часть его питания уходит на их развитие, что отрицательно влияет на количество и размер ягод.

После обучения на своих данных детектирующая сеть YOLOv8 показала значения точности: mAP50 = 0,74 и mAP50-95 = 0,49.

В контексте задач построения СППР результаты обработки изображений можно считать подтверждением возможностей применения нейросетей для выполнения ключевого этапа вывода решений – обнаружение событий или явлений, требующих вмешательства специалистов. Однако видно, что нейросети после их соответствующего обучения способны к генерации более обширных и детальных сведений, чем выявление факта болезни или иного нежелательного состояния выращиваемой продукции.

Достигнутые результаты по метрикам mAP соответствуют современным показателям точности для аналогичных задач классификации и детекции объектов на изображениях. [10] На практике это означает возможность достаточно точного выделения координат интересующего нас объекта. Может быть создана двухэтапная система подсчета – предсказательной оценки объемов выпускаемой сельскохозяйственной продукции, когда на первом этапе с помощью сложной детектирующей модели будут обнаруживаться плоды заданного класса зрелости, а потом с применением относительно простой сети-классификатора подсчитываться количество плодов, соответствующих заданным классам сортности (кондиция).

В проведенных экспериментах использовали изображения кустов и плодов земляники. Предложенные модели могут служить для организации наблюдения при выращивании и другой продукции умной фермы (томаты, огурцы). Принципиальным становится формирование процессов обучения нейросетевых моделей на соответствующих данных (примеры изображений). При этом эксперименты показали, что даже для современных предобученных нейросетей для повышения точности необходимо дообучение на примерах изображений со своей фермы в условиях, отвечающих ожидаемым при эксплуатации.

Выводы. В статье представлены результаты исследования возможностей нейросетевых моделей компьютерного зрения в системах поддержки принятия решений для персонала умной сельскохозяйственной фермы. Полученные данные позволяют сделать вывод о возможности и целесообразности применения нейросетей при решении ряда прикладных задач, таких, как обнаружение и классификация заболеваний, степень зрелости плодов, прогноз объема выпускаемой продукции. Настроенные на подобные задачи нейросети в СППР дополняются алгоритмами, работающими с базами знаний и расчетно-логическими моделями. Таким образом, создается программно-аппаратный комплекс, который дает возможность не только автоматизировать выполнение текущих бизнес-задач, но и рекомендовать решения при возникновении сложных ситуаций, которые в обычных условиях требуют от персонала большого профессионального опыта и знаний. Новый уровень автоматизации и интеллектуализации умной фермы будет стимулировать рост этого направления сельскохозяйственной индустрии.

 

About the authors

I. N. Glukhikh

University of Tyumen

Author for correspondence.
Email: i.n.glukhikh@utmn.ru

Grand PhD in Engineering Sciences, Professor

Russian Federation, Tyumen

A. S. Prokhoshin

University of Tyumen

Email: i.n.glukhikh@utmn.ru

Project Manager

Russian Federation, Tyumen

D. I. Glukhikh

University of Tyumen

Email: i.n.glukhikh@utmn.ru

PhD Student

Russian Federation, Tyumen

T. A. Filatova

University of Tyumen

Email: i.n.glukhikh@utmn.ru

Laboratory Assistant

Russian Federation, Tyumen

References

Supplementary files