Исследование глобальных навигационных операций для ротационного заделывания стерни на основе машинного зрения

Для планирования подходящих маршрутов движения сельскохозяйственной техники с учетом характеристик рисовых полей в среднем и нижнем течении реки Янцзы и технологических требований к операции вращательного заделывания соломы, в данной статье предлагается комбинация алгоритмов матрицы Хафа и RANSAC.

Для планирования подходящих маршрутов движения сельскохозяйственной техники с учетом характеристик рисовых полей в среднем и нижнем течении реки Янцзы и технологических требований к операции вращательного заделывания соломы, в данной статье предлагается комбинация алгоритмов матрицы Хафа и RANSAC.

Данный метод предназначен для построения начальных направляющих траекторий по линиям раздела соломы. Алгоритм использует матрицу Хафа для выделения характерных точек этих границ и отсеивания избыточных данных, а затем применяет RANSAC для уменьшения влияния помех, вызванных неравномерной формой и распределением соломы, что в итоге повышает точность построения начального маршрута.

Испытания показывают, что в различных сценариях точность распознавания предлагаемого комбинированного метода превышает 90%, а время работы алгоритма не превышает 0,51 с. Полевые испытания подтверждают, что данный метод соответствует требованиям к работе трактора с большим радиусом поворота без движения задним ходом и удовлетворяет критериям полностью беспилотной операции по заделыванию соломы.

Машинное зрение фиксирует информацию об окружающей среде с помощью камеры, имитируя функцию человеческого зрения, и его самым большим преимуществом является то, что получаемая информация более полная и имеет преимущества в извлечении относительных навигационных путей [1,2,3]. Методы сегментации изображений [4,5,6], обнаружения объектов [7,8,9], выравнивания изображений [10,11,12] и другие часто используются для извлечения путей в сельскохозяйственной визуальной навигации; алгоритмы сегментации изображений могут разделять растения и землю на разные регионы, и получение навигационных путей сильно зависит от эффекта сегментации изображений [13]. Обычно используемые алгоритмы сегментации изображений в основном представляют собой традиционные алгоритмы на основе выбора признаков и алгоритмы машинного обучения [14,15,16]. Традиционная сегментация изображений часто использует метод Оцу для получения порога, необходимого для сегментации изображений, на основе гистограммы [17], но трудно добиться точной сегментации изображений, когда разница в уровнях серого изображения не очевидна [18]. В исследовании Яо и др. среднее изображение значений пикселей в пяти каналах (R, G, В, S и V) использовалось в качестве инспекционного изображения, а характерные точки инспекционного изображения извлекались с помощью алгоритма Саппу, которые использовались как надежные пути для визуальной навигации [19]. Сумэш и др. использовали RGB-камеру для оценки урожайности сахарного тростника с помощью метода горизонтальной проекции для обнаружения области интереса в полевых испытаниях для извлечения ствола [20]. Для культур, выращиваемых в рядах, дороги между культурами обычно могут быть обнаружены с помощью сегментации изображений, и навигационные линии могут быть извлечены с использованием центральной линии дороги, но некоторые культуры или определенные периоды роста культур не имеют достаточных характеристик, что затрудняет извлечение путей.

Помимо неопределенности роста культур, сорняки вокруг культур также являются одним из ключевых факторов, влияющих на извлечение навигационных линий. Для точного извлечения навигационной линии ученые в стране и за рубежом провели множество исследований, и обычно используемые методы подгонки и извлечения навигационных маршрутов в основном включают преобразование Хафа, метод наименьших квадратов и алгоритм случайного согласования выборки [21]. Ма и др. используют метод наименьших квадратов для подгонки контурных точек ствола личи, чтобы получить навигационную линию для повышения реального времени системы; тест на статическом изображении показывает, что средняя точность алгоритма превышает 90%, а среднее время потребления составляет около 162 мс, что обеспечивает хорошую реальное время с хорошей робастностью [22]. Метод наименьших квадратов быстрый в обнаружении подгонки центральной линии, но чувствителен к шуму, поэтому трудно точно извлекать навигационные маршруты в случае высокого шума окружающей среды [23]. По сравнению с методом наименьших квадратов выдающимся преимуществом преобразования Хафа для извлечения путей в сельскохозяйственной среде является его робастность [24,25]. Чен и др. предложили преобразование Хафа с предсказуемыми точками для подгонки навигационных путей, и эксперименты в теплице показали, что средняя ошибка этого метода в подгонке навигационных путей для рядов огурцов составляет менее 0,5°, что лучше, чем на 10,25° ниже средней ошибки метода наименьших квадратов. Время вычисления предложенного преобразования Хафа составляет 17,92 мс, что экономит 35,20 мс по сравнению с традиционным преобразованием Хафа и может решить проблему плохого реального времени традиционного преобразования Хафа из-за большого диапазона углов обхода и точек пересечения [26]. По сравнению с вышеуказанными двумя методами, алгоритм случайного согласования выборки (RANSAC) может повысить эффективность вычислений, надежность и точность в средах с высоким шумом [27]. Чжоу и др. использовали алгоритм RANSAC для подгонки диаметра стволов деревьев на плоскости. Алгоритм RANSAC был использован для подгонки и извлечения диаметра на высоте груди 71 дерева в лесной зоне, и общая ошибка соответствует требованиям лесной картографии [28]. Для повышения робастности и точности извлечения признаков Сан и др. исследовали метод ускоренного сегментированного теста (FAST) извлечения признаков на основе улучшенного метода RANSAC для удаления несоответствующих точек. Результаты показывают, что быстрый алгоритм извлечения признаков на основе улучшенного метода RANSAC не только значительно снижает несоответствующие точки, но и повышает точность позиционирования комбинированной системы навигации зрение/SINS с меньшими вычислительными усилиями [29]. В итоге, подходящий алгоритм подгонки путей является ключевым в определении эффективности извлечения навигационного пути. В этой статье используется комбинация матрицы Ха фа и алгоритма RANSAC для извлечения точного начального пути границ соломы. Этот путь может обеспечить эффективность навигационных операций по заделыванию соломы и возвращению в поле.

Для обеспечения качества операций по ротационному заделыванию соломы и возвращению в поле в этом исследовании использовался комплект машины для ротационного заделывания соломы, который приводится в действие колесным трактором (Dongfanghong LX954, China Yituo (Luoyang, Китай)) и оснащен V-образным двухцелевым ротационным культиватором для заделывания стерни, разработанным проектной командой. Долгосрочные полевые применения показали, что этот комплект машины подходит для операций по ротационному заделыванию соломы в разнообразных районах выращивания риса с гибкой и жесткой соломой в средних и нижних течениях реки Янцзы, демонстрируя сильную универсальность. Конкретные технические параметры показаны в Таблице 1 [30]. Для достижения точного контроля над операционной единицей навигационная и операционная система, разработанная нашей командой, в основном состоит из антенны приема GNSS, мобильной станции GNSS, бортового компьютера, контроллера рулевого управления, датчика угла поворота, электронного пропорционального гидравлического клапана рулевого управления, промышленной камеры, ротационного культиватора для заделывания стерни, электронного пропорционального гидравлического клапана подъема, датчика угла подъема и контроллера подъема, как показано на Рисунке 1.

Структура вспомогательной навигационной системы управления для операций по ротационному заделыванию и возвращению в поле показана на Рисунке 2, которая в основном состоит из четырех частей: оборудования питания Dongfanghong LX954, датчиков, системы управления и системы рулевого управления. Вспомогательная навигационная система управления получает информацию о положении операционной единицы и информацию об окружающей среде поля через датчики, и система управления контролирует систему рулевого управления для реализации вспомогательной навигационной операции в соответствии с поступающей информацией от датчиков.

Аппаратное обеспечение для датчиков включает промышленную камеру (цветная промышленная камера VCHY300, Micro Valley Technology, Luoyang, Китай), датчик угла поворота (серия ANG1 бесконтактный датчик угла, диапазон -45°~45°, точность 0,05%, разрешение 0,025%, Luoyang Mita Electric Control Technology, Wuhan, Китай) и систему позиционирования RTK-GNSS (тип К726-ОЕМ). Другие параметры включают двухантенную спутниковую систему позиционирования и ориентации, плоскостную точность 1 см, точность высоты 2 см и точность угла курса лучше 0,2°/R (R — длина базовой линии двух антенн, м), (Shanghai Sinan Satellite Navigation Technology Co., Shanghai, Китай). Промышленная камера оснащена фиксированным фокусом с низкой аберрацией промышленным объективом 6 мм для получения информации об изображении работы в реальном времени, который установлен на правой стороне трактора, сохраняя то же направление, что и транспортное средство, и получает информацию о границах поля, как показано на Рисунке 3. Конкретные параметры объектива камеры показаны в Таблице 2, а конкретные параметры промышленной камеры — в Таблице 3. Из параметров видно, что промышленная камера имеет регулируемый фокус, время экспозиции, которое можно установить искусственно, и определенную антишумовую производительность, которая может эффективно снизить влияние сложной среды на съемку в открытом поле и получить точную информацию об изображении поля; антенны позиционирования и ориентации мобильной станции системы RTK-GNSS размещены соответственно на левой и правой сторонах задней части крыши трактора (длина базовой линии 1,38 м), антенна позиционирования базовой станции установлена на крыше Лаборатории риса и водных овощей Хуачжунского сельскохозяйственного университета, и модуль радио U300 и высокомощное радио CDL5 используются для реализации реального времени получения точной дифференциальной позиционирования, ориентации и угла крена операционной единицы в диапазоне до 3 км в реальном времени. Контроллер в основном состоит из бортового компьютера (ноутбук с системой Win10, Intel(R) Core(TM) i7-7500U CPU @ 2.70 GHz 2.90 GHz и 8 ГБ RAM, Dell), анализатора CAN (USBCAN/CANalyst-ll, Zhuhai Chuangxin Technology, Zhuhai, Китай) и контроллера рулевого управления. Вышеуказанные датчики могут адаптироваться к окружающей среде открытого фермерского хозяйства.

2.1.  Калибровка камеры

После захвата изображения камерой объект проецируется из прямоугольной системы координат 3D мира в 2D прямоугольную систему координат изображения. Для сопоставления информации о положении изображения, полученного из реального поля, в этой статье координаты промышленной камеры в плоскости пикселей (и, v) преобразуются в систему координат реального мира (X, Y, Z), чтобы восстановить положение объекта на изображении в реальное положение, и формула преобразования показана в Уравнении (1): 

Для получения информации о внутренних параметрах камеры для калибровки в этой статье используется 16 х 16 черно-белая шахматная доска в качестве калибровочной пластины камеры для калибровки, и длина одного маленького шахматного квадрата составляет 15 мм. В общей сложности в этой статье получено 30 калибровочных изображений, как показано на Рисунке 4. Калибровочные изображения импортируются в инструмент Camera Calibrator в МАТ1_АВ2019а для калибровки камеры модели pinhole, и результаты калибровки показаны на Рисунке 5; инструмент может получить относительную карту положения каждой калибровочной пластины относительно камеры и общую ошибку репроекции, а также внутренние параметры камеры, как показано в Таблице 4.

Для повышения скорости отклика программного обеспечения и сохранения полной информации изображения в этой статье используется команда вызова камеры MATLAB2017a videoinput ('winvideo', 1, 'MJPG_320 х 240') для получения информации о реальном времени захвата изображения цветной промышленной камеры VCHY300, и эффективные пиксели изображения в формате MJPG составляют 320 пикселей х 240 пикселей. Исходное полученное изображение показано на Рисунке 6.

2.2.   Определение приграничной области

Цветные изображения, напрямую полученные промышленными камерами, являются RGB- цветными изображениями. Изображение поля обычно более зеленое и желтое, и с изменением погоды и света в поле компоненты RGB на изображении изменятся. Использование метода Оцу сегментации, который обычно используется в цветовом пространстве RGB, для сегментации исходного изображения приводит к беспорядочному эффекту сегментации и не позволяет добиться сегментации поля, как показано на Рисунке 7.

В этой статье, для точного извлечения информации о границах поля, предлагается метод сегментации изображений на основе цветового пространства HSV, сочетающий характеристики Н, S и V цветового пространства HSV, которые независимы друг от друга. Канал Н, который реагирует на оттенок изображения, представляет цвет света, который преобразуется из цветового пространства RGB по Уравнению (2) следующим образом:

Поскольку цветовое пространство HSV разделяет компоненты Н и V независимо, оно снижает влияние погодных условий окружающей среды в операциях на открытом поле. В этой статье предлагается метод сегментации изображений на основе цветового пространства HSV для точного извлечения информации о стерне риса при разных условиях освещения на открытом воздухе. Рисунок 8а показывает гистограмму компонентов R, G и В исходного изображения, из которой ясно видно, что распределение зеленой компоненты G не четко различается, и параметры цвета зависят от света. Рисунок 8Ь показывает гистограмму компонентов Н, S и V исходного изображения; из компоненты оттенка цвета Н ясно видно, что компонента Н в исходном изображении имеет высокую числовую дисперсию, указывая на то, что различие между стерней риса и границей в исходном изображении поля в оттенке компоненты Н больше, что удобно для последующего извлечения. Из вышеуказанного видно, что компонента оттенка Н в цветовом пространстве HSV точно показывает информацию о цвете при разных условиях освещенности, поэтому она подходит для требований извлечения начального маршрута для операций по ротационному заделыванию на открытом воздухе в этой статье.

Остатки и стерня риса после уборки более сосредоточены в домене Н, и компонента оттенка Н независима от компоненты яркости V, так что компонента Н адаптируема к эффектам, вызванным тенями и неравномерным освещением на изображении. Известно по статистике тестов методом проб и ошибок, что когда оттенок Н находится между верхним пределом Нтах - 0,118 и нижним пределом Hmin - 0,22, он может точно отличать стерню риса после уборки от других сред, таких как окружающие насыпи поля, как показано на Рисунке 9. В этой статье выбор компоненты оттенка Н может эффективно сегментировать особенности границ полей риса после уборки и удовлетворять требованиям распознавания начального маршрута ротационного заделывания.

Предварительно сегментированное изображение имеет больше шума и пустот, что может вызвать некоторые помехи для эффекта последующего извлечения пути, поэтому необходимо выполнить фильтрацию изображения на предварительно сегментированном бинаризированном изображении. Поскольку большинство шума и пустот на изображении представляют собой полигональные нерегулярные изображения, в этой статье применяется морфологическая фильтрация путем выбора подходящих структурных элементов для обработки фильтрации, чтобы достичь идеального сегментированного изображения. Морфология представляет собой вид фильтрационной обработки в обработке изображений. Она идентифицирует и анализирует объекты обработки на исходном изображении аналогично самоопределенным структурным элементам на пиксельных точках исходного изображения, и в конечном итоге выполняет предписанные логические операции со структурными элементами, чтобы вывести идеальное изображение после обработки. Из вышеуказанного видно, что выбор структурных элементов и логических операций является ключом к определению эффекта морфологической обработки.

Для сегментации изображения бинарного изображения существует много черного шума и белых пустот вместе с нерегулярными формами границ поля и другими помехами; для удовлетворения требований эффективности и анализа в реальном времени, через ряд экспериментов, наконец, были построены восьмиугольные структурные элементы и расстояние стороны длиной 3 пиксельных точки, как показано на Рисунке 10.

Для устранения пустот и шума на сегментированном изображении и сохранения базовой информации о признаках в этой статье используются восьмиугольные структурные элементы, показанные на Рисунке 10, для выполнения операций открытия и закрытия на сегментированном изображении, чтобы удалить шум, заполнить пустоты и сделать сегментированные края гладкими, и окончательное полученное изображение показано на Рисунке 11Ь.

2.3.   Дизайн метода извлечения начального маршрута

Для получения информации о границе в этой статье сначала извлекается информация о краях бинарного изображения после морфологической фильтрации, как показано на Рисунке 12, которая полностью сохраняет информацию о границах региона. Из рисунка видно, что на изображении есть информация о помехах краев, не имеющая отношения к целевому региону; для удаления помех этих ошибочных сообщений в этой статье извлекается часть 100 пикселей х 120 пикселей нижнего центра изображения с большей информацией о границах как интервал интереса и используется для создания ключевой области информации извлечения начального маршрута.

Полезная информация о границах сохраняется в интервале интереса, и исключаются факторы помех, такие как другие деревья и заборы на фоне. Если используется сканирование строк, как показано на Рисунке 13, количество полос интервала интереса для горизонтального сканирования составляет 100, и когда значение пикселя в столбце] строки i (i, j) равно 1, эта пиксельная точка является пиксельной координатной точкой P(i, j) характерного края, и ее формула расчета показана ниже.

После завершения операции сканирования строками в интервале интереса сохраняются характерные точки ключевого начального маршрута, как показано на Рисунке 14. Через сканирование линий можно исключить информацию о помехах, полностью извлекая информацию о границах поля.

Преобразование Хафа используется для определения, может ли отрезок линии сделать целевую точку на изображении соответствовать максимальному пику через прямую линию; то есть оно может определить наиболее пересекающуюся целевую точку отрезка линии. Процесс преобразования Хафа сначала устанавливает двумерный массив А(а, Ь); одна размерность представляет возможные значения наклона целевого отрезка линии в координатах изображения, а вторая размерность представляет возможные значения пересечения целевого отрезка линии в координатах изображения. Массив А(а, Ь) инициализируется путем присвоения ему нулевой матрицы, а затем для каждой целевой точки (x_i, y_i) в координатах изображения она подставляется в Уравнение (4) следующим образом для получения возможных значений пересечения возможных отрезков линий.

Для каждого значения наклона и пересечения, согласующегося с элементами массива А(а, Ь), соответствующее значение массива увеличивается на 1, то есть А(а, Ь) - А(а, Ь) + 1. После завершения всех операций в результате голосования вычислений параметров находится наибольший пик А(а, Ь), и соответствующие значения аО и Ь0 являются наклонами и пересечениями уравнений линий для отрезков линий с наибольшим количеством ковариантных целевых точек (всего А(а, Ь) ковариантных точек) на исходном изображении. Другие субпики соответствуют наклонам и пересечениям отрезков линий с немного меньшим количеством коллинеарных точек на исходном изображении. Окончательная частичная матрица Хафа, полученная после накопления, показана на Рисунке 15.

После идентификации пика значения других элементов в окрестности устанавливаются в 0, чтобы удалить другие помеховые точки и дублирующие точки рядом с ключевым пиком. Пиковые значения, которые меньше половины максимального пика, удаляются, и сохраняются только ключевые характерные точки, в конечном итоге оставляя координатные точки, отмеченные желтой «*», как показано на Рисунке 16. Через матрицу Ха фа границы поля просеиваются на пики, и сохраняются некоторые пики, которые имеют большее влияние на получение начального маршрута. Этот метод не только сохраняет базовые особенности границ поля, но и снижает количество характерных точек, так что скорость работы программы повышается, обеспечивая точность начального маршрута.

Для решения проблемы, вызванной беспорядочными краями поля, в этой статье вводится алгоритм случайного согласования выборки (RANSAC) для определения уравнения начального маршрута границы. RANSAC в основном ищет оптимальную прямую линию через случайность и предположения. Сначала получается предустановленный результат через случайную выборку, а затем удовлетворенность этим предустановленным результатом получается путем сравнения с гипотезой. Наконец, оптимальное линейное уравнение с более высокой пропорцией правильных данных получается итеративно на основе закона больших чисел. В этом исследовании предполагается вероятность союза внутри всего набора данных подгонки линии, и ее формула расчета показана в Уравнении (5) ниже:

где n inliers  — количество внутренних точек наиболее поддерживаемой модели; n outliers   — количество внешних точек для наиболее поддерживаемых моделей; t ⁿ — вероятность того, что п точек являются внутренними; n — количество точек, необходимых для модели; m — количество итераций; t — априорное значение, которое можно установить.

Увеличивая количество итераций m, можно улучшить Р. После определения оптимальных значений n, t и m ключевые характерные точки могут быть введены в расчет для получения желаемого уравнения модели. Из этого можно получить угол θ0 между начальным маршрутом и направлением строго на север в координатах изображения, как показано на Рисунке 17, а его формула расчета следующая:

где k0  — значение наклона аппроксимированной линии.

2.4.  Проектирование маршрута операции

На рисунке 18 ниже показано экспериментальное поле сельскохозяйственного университета Хуачжун (долгота 114.35423254966736, широта 30.477018207629307). Из него видно, что поля в среднем и нижнем течении реки Янцзы в основном представляют собой выпуклые многоугольники, такие как прямоугольники, параллелограммы и прямоугольные трапеции.Более того, при роторном заделывании соломы оператору необходимо поднимать роторный заделыватель, чтобы избежать повреждения рабочего агрегата при повороте. и общие головы и хвосты поля зарезервированы для поворота, так что наборы рядов обычно используются для операций по ротационному заделыванию соломы в поле.

Из-за необходимости операций через ряды во время реальных операций по ротационному заделыванию необходимо спроектировать соответствующее планирование путей для достижения операций по ротационному заделыванию и вложенным полям при выборе метода поворота через ряды в форме лука. Для обеспечения плавного поворота трактора в этой статье применяется зигзагообразный путь с максимальным количеством пересечений для дизайна вложенного пути. Формула расчета максимального количества пересечений N_k показана в Уравнении (7) ниже:

где  Ul  — длина рабочей ширины поля, м; Lk — рабочая ширина роторных заглубителей, м.

3.1. Тесты извлечения начального маршрута

Изображения открытых полей с разным освещением в разных сценариях были собраны для проверки эффективности алгоритма. Сцена 2 имеет разную интенсивность света по сравнению со сценой 1, а сцена 3 — это другой сценарий поля. При условиях разных фонов интенсивность света и цветовая температура отличаются, поэтому в этом исследовании метод проб и ошибок используется для получения подходящего порога 0,15-0,42 для компоненты Н. Как показано на Рисунке 19, поскольку метод преобразования Хафа больше заботится о равномерной ковариации локальных характерных точек при обнаружении линейных признаков, некоторые региональные точки в пути становятся отдельными линиями, и таким образом ошибка пути, полученного методом преобразования Хафа, больше. По сравнению с преобразованием Хафа метод наименьших квадратов может получить неполные линейные уравнения. Метод наименьших квадратов — это прямое глобальное минимальное выведение, которое имеет лучшие глобальные свойства, но также подвержено влиянию ошибочных точек. В этом исследовании сначала избыточные точки удаляются с помощью матрицы Хафа, а затем выбросы (ошибочные точки) удаляются с помощью алгоритма RANSAC. Наконец, как видно на Рисунке 19, подгонка пути матрицы Хафа и RANSAC может более всесторонне отражать информацию о границах поля, и экспериментальные результаты с использованием разных фонов показывают, что метод может точно получить начальные маршруты в разных фонах и имеет сильную робастность.

В разных сценариях преобразование Хафа непрерывно ищет пики с помощью двумерного накопительного массива, созданного наклонами и пересечениями, и наконец получает прямую линию с наибольшим количеством коллинеарных точек. Метод наименьших квадратов определяет оптимальное уравнение прямой линии путем расчета наименьшей суммы квадратов ошибок расстояний от характерных точек до прямой линии. Таблица 5 показывает уравнения и потребленное время для подгонки линий для разных методов, используемых для подгонки навигационного пути. Среднее время подгонки навигационного пути составляет 0,31 с для метода наименьших квадратов, 0,73 с для традиционного преобразования Хафа и 0,49 с для метода матрицы Хафа и RANSAC, предложенного в этой статье, что экономит 0,24 с по сравнению с традиционным преобразованием Хафа.

Экспериментальные образцы — 60 картинок с тремя разными фонами, как показано на Рисунке 19. Четыре параметра, такие как соотношение целевых пикселей, прошедшее время получения навигационного пути, среднее прошедшее время получения навигационного пути и средняя точность распознавания, рассчитываются для разных картинок. Точность распознавания определяется на основе степени согласия между наклоном полученной прямой линии и наклоном прямой линии при нормальной интенсивности солнечного света. Соотношение целевых пикселей — это процент количества пикселей от общего количества пикселей изображения. Статистические результаты метода для 20 образцов в каждом сценарии суммированы и показаны в Таблице 6. Метод извлечения начального маршрута занимает менее 0,51 с для распознавания разных сценариев, и средняя точность распознавания превышает 90%. Результаты показывают, что разные сценарии имеют определенное влияние на точность метода матрицы Хафа и RANSAC для извлечения начального маршрута, но он все еще имеет определенную степень стабильности и удовлетворяет требованиям извлечения начального маршрута для операций по ротационному заделыванию и возвращению в поле.

3.2. Полевой эксперимент

Соответствующие полевые испытания были проведены в рисовом тестовом поле Государственной ключевой лаборатории улучшения генетики культур Хуачжунского сельскохозяйственного университета при солнечной погоде. Тип почвы выбранного тестового поля был обычной рисовой почвой в средних и нижних течениях реки Янцзы, почва имела глинистую текстуру, и поле было после сушки; параметры тестовых участков показаны в Таблице 7.

Для обеспечения качества операций по ротационному заделыванию и возвращению в поле в этой статье устанавливается операционная скорость трактора около 0,61 м/с, оснащенная двумя комплектами систем RTK-GNSS с частотой приобретения спутников 10 Гц. Один комплект обеспечивает реальное время мониторинга изменений высоты поверхности для предоставления входных сигналов для контроля изменений глубины вспашки, а другой комплект мониторит изменения высоты машины для ротационного заделывания в реальном времени. Экспериментальные шаги следующие: (1) Проверяется статус рабочих инструментов, чтобы убедиться, что система отслеживания пути и система контроля глубины вспашки работают нормально. (2) Курс назначенной единицы регулируется в направлении строго на север, активируется система распознавания начального маршрута границы поля для получения начального маршрута операции по ротационному заделыванию и возвращению, и планируется максимальное количество пересечений для зигзагообразного вложенного пути. Рисунок 20а показывает результат извлечения начального маршрута через алгоритм матрицы Хафа и RANSAC.

Уравнение маршрута: y= −1,277x+ 180 ; то есть угол между начальным маршрутом и направлением строго на север  составляет θf= 90 + θ0= 38,064. Из-за требуемой длины поля 21,22 м и ширины 27,51 м общее количество рядов для планирования максимального вложенного пути через ряды показано в Уравнении (8), и количество рядов для операций вложенных через ряды показано на Рисунке 9. Окончательная диаграмма планирования вложенного пути показана на Рисунке 20Ь. (3) Инициализация использует алгоритм управления отслеживанием пути с переменным коэффициентом усиления однонейронного PID и систему контроля глубины вспашки с переменным коэффициентом усиления однонейронного PID. (4) Инициализируется исход координат позиционирования GNSS и порт связи на основе высоты и порта связи системы базовой станции и мобильной станции RTK-GNSS, и запускается автоматическая система контроля глубины вспашки. (5) Запускается назначенная единица и начинается операция по ротационному заделыванию и возвращению в поле.

Рисунок 21 показывает результаты тестов системы навигационного управления отслеживанием пути с переменным коэффициентом усиления однонейронного PID и системы контроля глубины вспашки с переменным коэффициентом усиления однонейронного PID. Из-за влажной и мягкой почвы во время уборки были не только большое количество неровностей, вызванных скоплением после операции уборки, но и большое количество ям в поле, оставленных уборочной машиной. Наконец, как показано на Рисунке 21а, была завершена трехмерная траектория операции, и высота поверхности земли варьировалась нерегулярно в диапазоне 2,714-3,119 м во время операции по ротационному заделыванию. Геоморфологическая поверхность поля, как показано на Рисунке 21Ь, может быть получена путем линейной подгонки траектории операции и соответствующих точек высоты.

Из трехмерной диаграммы траектории операции по ротационному заделыванию и возвращению видно, что алгоритм управления отслеживанием пути с переменным коэффициентом усиления однонейронного PID контролирует рулевое управление всей операционной единицы по ротационному заделыванию для реализации вспомогательной навигационной операции во всем процессе операции. В операции по ротационному заделыванию машина для ротационного заделывания и возвращения использует систему контроля глубины вспашки с переменным коэффициентом усиления однонейронного PID для контроля высоты задней подвески трактора, чтобы реализовать адаптивный контроль операции глубины вспашки при работе операционного поля. Однако в области поворота головы поля электронно-управляемая гидравлическая система контроля глубины вспашки поднимет машину для операции по ротационному заделыванию на 15 см; конкретные изменения высоты между трактором и операционной машиной во время операции по ротационному заделыванию в поле показаны на Рисунке 22.

После эксперимента эффект операции по ротационному заделыванию показан на Рисунке 23, после чего было проведено измерение глубины вспашки после операции и скорости заделывания. Окончательные измеренные результаты теста системы показаны в Таблице 8. Из-за неровной поверхности максимальное отклонение вспомогательной навигационной системы составляет 0,133 м, среднее абсолютное отклонение — 0,047 м, а стандартное отклонение отклонения — 0,052 м. Средняя глубина вспашки измеренной операции по ротационному заделыванию составляет 13,3 см, коэффициент стабильности глубины вспашки — 88,35%, а скорость заделывания и покрытия — 91,41%. Из этого видно, что тест системы отслеживания пути ротационного заделывания в поле и системы контроля глубины вспашки достиг более стабильного операционного эффекта, и все измеренные элементы соответствуют требованиям индекса оценки, что удовлетворяет технологическим требованиям операции по ротационному заделыванию в поле, и подходит для контроля глубины вспашки автоматической операции по ротационному заделыванию в поле под беспилотным управлением.

В этой статье, стремясь исследовать феномен, когда только субъективное ощущение водителя может привести к повторной вспашке и пропускам вспашки, исследовательская группа выбрала матрицу Ха фа и RANSAC для получения оптимального начального пути навигации, режим поворота в форме лука и режим планирования максимального вложенного пути через банки, подходящий для завершения беспилотной операции по ротационному заделыванию соломы и возвращению. Основные выводы следующие:

(1)   Относительно начального маршрута, который является одним из ключевых моментов в планировании вложенных путей, в этой статье предлагается алгоритм извлечения начального маршрута границы поля путем комбинации матрицы Хафа и алгоритма RANSAC. Алгоритм использует компоненту Н для сегментации изображения и извлекает границу остаточной соломы как целевой путь. Затем, после denoising и сглаживания изображения через морфологическую операцию, середина целевого пути определяется сканированием линий. Наконец, матрица Хафа используется для извлечения характерных точек и удаления избыточных точек, и алгоритм RANSAC используется для снижения влияния шумовых точек, вызванных разными формами соломы, и повышения точности извлечения начального маршрута. Эксперименты показывают, что этот метод занимает менее 0,51 с для идентификации начального маршрута в разных сценариях, и средняя точность распознавания превышает 90%, что удовлетворяет требованиям извлечения начального маршрута для возвращения соломы в поле путем ротационного заделывания.

(2)    Для многоугольного поля в этой статье выбирается режим поворота в форме лука. Поскольку расстояние операции по ротационному заделыванию фиксировано, для снижения путей поворота в этой статье проводится гипотетический анализ количества путей поворота, начиная с разных позиций выпуклых многоугольных полей. Результаты показывают, что начало операции вдоль одной стороны границы полей является начальным маршрутом с наименьшим количеством путей поворота для операционной единицы по ротационному заделыванию и возвращению.

(3)     Относительно операции по ротационному заделыванию в поле комплекта машины для ротационного заделывания соломы в этой статье применяется максимальное количество путей операций через линии для дизайна вложенного пути, что обеспечивает плавный ход вложенной операции по ротационному заделыванию на предпосылке избежания реверса комплекта машины насколько возможно. Наконец, был проведен дорожный тест вложенного пути. Тест показывает, что вложенный путь, спроектированный исследовательской группой, соответствует характеристикам большого радиуса поворота без реверса при работе машины для ротационного заделывания соломы, и дизайн пути подходит для вспомогательной навигационной операции машины для ротационного заделывания соломы.

Один патент был подан в Китае на систему управления на основе машинного зрения в этой рукописи (Номер заявки ZL202110878640.2).

Концептуализация, M.Z.; Методология, M.Z. и Z.H.; Программное обеспечение, M.Z.; Валидация, M.Z., W.W. и T.W.; Формальный анализ, M.Z.; Исследование, W.W. и S.S.; Ресурсы, W.W. и S.S.;

Курация данных, T.W.; Написание — оригинальный черновик, M.Z.; Написание — рецензирование и редактирование, M.Z.; Визуализация, S.S.; Получение финансирования, M.Z. Все авторы прочитали и согласились с опубликованной версией рукописи.

Это исследование было финансировано Фундаментальными исследовательскими фондами для центральных университетов (Грант № 53210052405), Руководящим проектом Плана научных исследований Департамента образования провинции Хубэй за 2023 год (Грант № В2023054) и Планом талантов инноваций в науке и технологиях провинции Хубэй (Грант № 2023DJC073).

Не применимо.

Данные, представленные в этом исследовании, доступны по запросу от первого автора по адресу mkzhou@whpu.edu.cn.

Авторы хотели бы поблагодарить свои школы и коллег, а также тех, кто финансировал проект. Все поддержка и помощь искренне ценятся.

Авторы заявляют об отсутствии конфликтов интересов.

1.    Han, B.; Lu, Z.; Zhang, J.; Almodfer, R.; Wang, Z.; Sun, W.; Dong, L. Rep-ViG-Apple: A CNN-GCN Hybrid Model for Apple Detection in Complex Orchard Environments. Agronomy 2024, 14, 1733. [Google Scholar] [CrossRef]

2.    Liu, Z.; Xiong, J.; Cai, M.; Li, X.; Tan, X. V-YOLO: A Lightweight and Efficient Detection Model for Guava in Complex Orchard Environments. Agronomy 2024, 14, 1988. [Google Scholar] [CrossRef]

3.    Sadgrove, E.J.; Falzon, G.; Miron, D.; Lamb, D.W. The Segmented Colour Feature Extreme Learning Machine: Applications in Agricultural Robotics. Agronomy 2021, 11, 2290. [Google Scholar] [CrossRef]

4.    Zhou, Y.; Yang, Y.; Zhang, B.; Wen, X.; Yue, X.; Chen, L. Autonomous detection of crop rows based on adaptive multi-ROI in maize fields. Int. J. Agric. Biol. Eng. 2021, 14, 217–225. [Google Scholar] [CrossRef]

5.    Fan, P.; Lang, G.; Guo, P.; Liu, Z.; Yang, F.; Yan, B.; Lei, X. Multi-Feature Patch-Based Segmentation Technique in the Gray-Centered RGB Color Space for Improved Apple Target Recognition. Agriculture 2021, 11, 273. [Google Scholar] [CrossRef]

6.    Gao, Y.; Zhang, J.; Wei, S.; Li, Z. PFormer: An efficient CNN-Transformer hybrid network with content-driven P-attention for 3D medical image segmentation. Biomed. Signal Process. Control. 2025, 101, 107154. [Google Scholar] [CrossRef]

7.    Lei, S.; Yang, S. Intelligent monitoring of small target detection using YOLOv8. Alex. Eng. J. 2025, 112, 701–710. [Google Scholar]

8.    Zhou, T.; Cen, Y.; He, J.; Wang, Y. K-means adaptive 2DSSA based on sparse representation model for hyperspectral target detection. Infrared Phys. Technol. 2024, 143, 105616. [Google Scholar] [CrossRef]

9.    Shen, P.; Wang, F.; Luo, W.; Zhao, Y.; Li, L.; Zhang, G.; Zhu, Y. Based on improved joint detection and tracking of UAV for multi-target detection of livestock. Heliyon 2024, 10, e38316. [Google Scholar] [CrossRef]

10. Jishnu, C.R.; Vishnukumar, S. A ghost-free multi-exposure image fusion using adaptive alignment for static and dynamic images. Comput. Electr. Eng. 2024, 120 Pt C, 109808. [Google Scholar]

11. Zhang, Z.; He, J.; Shen, M.; Shi, J.; Yang, X. Multimodel fore-/background alignment for seam-based parallax-tolerant image stitching. Comput. Vis. Image Underst. 2024, 240, 103912. [Google Scholar] [CrossRef]

12. Wu, T.; Wu, Y.; Tian, W.; Dou, L.; Xiao, J.; Li, J. A single-vision dual imaging optical system in flip chip alignment. Optik 2023, 277, 170702. [Google Scholar] [CrossRef]

13. Kim, W.S.; Lee, D.H.; Kim, T.; Kim, H.; Sim, T.; Kim, Y.J. Weakly Supervised Crop Area Segmentation for an Autonomous Combine Harvester. Sensors 2021, 21, 4801. [Google Scholar] [CrossRef]

14. Sevak, J.S.; Kapadia, A.D.; Chavda, J.B.; Shah, A.; Rahevar, M. Survey on semantic image segmentation techniques. In Proceedings of the 2017 International Conference on Intelligent Sustainable Systems (ICISS), Palladam, India, 7–8 December 2017; pp. 306–313. [Google Scholar]

15. Barkha, S.; Sreedevi, I.; Sudipta, M. Comparison of machine learning algorithms for classification of Big Data sets. Theor. Comput. Sci. 2025, 1024, 114938. [Google Scholar]

16. Hannes, K.; David, B. Augmenting genetic algorithms with machine learning for inverse molecular design. Chem. Sci. 2024, 15, 15522–15539. [Google Scholar]

17. Ye, H.; Yan, S.; Huang, P. 2D Otsu image segmentation based on cellular genetic algorithm. In Proceedings of the 2017 IEEE 9th International Conference on Communication Software and Networks, Guangzhou, China, 6–8 May 2017; pp. 1313–1316. [Google Scholar]

18. Pandey, R.; Lalchhanhima, R. Segmentation Techniques for Complex Image: Review. In Proceedings of the 2020 International Conference on Computational Performance Evaluation, Shillong, India, 2–4 July 2020; pp. 804–808. [Google Scholar]

19. Yao, L.; Hu, D.; Yang, Z.; Li, H.; Qian, M. Depth recovery for unstructured farmland road image using an improved SIFT algorithm. Int. J. Agric. Biol. Eng. 2019, 12, 141–147. [Google Scholar] [CrossRef]

20. Sumesh, K.C.; Ninsawat, S.; Som-ard, J. Integration of RGB-based vegetation index, crop surface model and object-based image analysis approach for sugarcane yield estimation using unmanned aerial vehicle. Comput. Electron. Agric. 2021, 180, 105903. [Google Scholar]

21. Li, X.; Wang, J. Image matching techniques for vision-based indoor navigation systems: A 3D map-based approach1. J. Locat. Based Serv. 2014, 8, 3–17. [Google Scholar] [CrossRef]

22. Ma, Y.; Zhang, W.Q.; Qureshi, W.S.; Gao, C.; Zhang, C.L.; Li, W. Autonomous navigation for a wolfberry picking robot using visual cues and fuzzy control. Inf. Process. Agric. 2020, 8, 15–26. [Google Scholar] [CrossRef]

23. Hu, L.; Luo, X.; Zhang, Z.; Chen, X.; Lin, C. Side-shift offset identification and control of crop row tracking for intra-row mechanical weeding. Trans. CSAE 2013, 29, 8–14. [Google Scholar]

24. Mochizuki, Y.; Torii, A.; Imiya, A. N-Point Hough transform for line detection. J. Vis. Commun. Image Represent. 2009, 20, 242–253. [Google Scholar] [CrossRef]

25. Vera, E.; Lucio, D.; Fernandes, L.A.F.; Velho, L. Hough Transform for real-time plane detection in depth images. Pattern Recognit. Lett. 2018, 103, 8–15. [Google Scholar] [CrossRef]

26. Chen, J.; Qiang, H.; Wu, J.; Xu, G.; Wang, Z. Navigation path extraction for greenhouse cucumber-picking robots using the prediction-point Hough transform. Comput. Electron. Agric. 2021, 180, 105911. [Google Scholar] [CrossRef]

27. Li, Y.; Gans, N.R. Predictive RANSAC: Effective model fitting and tracking approach under heavy noise and outliers. Comput. Vis. Image Underst. 2017, 161, 99–113. [Google Scholar] [CrossRef]

28. Zhou, S.; Kang, F.; Li, W.; Kan, J.; Zheng, Y.; He, G. Extracting Diameter at Breast Height with a Handheld Mobile LiDAR System in an Outdoor Environment. Sensors 2019, 19, 3212. [Google Scholar] [CrossRef]

29. Sun, Q.; Zhang, Y.; Wang, J.; Gao, W. An improved FAST feature extraction based on RANSAC method of vision/SINS integrated navigation system in GNSS-denied environments. Adv. Space Res. 2017, 60, 2660–2671. [Google Scholar] [CrossRef]

30. Zhou, M.K.; Xia, J.F.; Zheng, K.; Zhang, J.; Luo, C. Development of rotary straw burying and returning navigation system based on variable-gain single-neuron PID. Trans. CSAE 2021, 37, 31–40. [Google Scholar]

Research on Global Navigation Operations for Rotary Burying of Stubbles Based on Machine Vision
by Mingkuan Zhou,Weiwei Wang, Shenqing Shi, Zhen Huang and Tao Wang
School of Electrical and Electronic Engineering, Wuhan Polytechnic University, Wuhan 430048, China

Перевод статьи «Research on the Control System for the Conveying and Separation Experimental Platform of Tiger Nut Harvester Based on Sensing Technology and Control Algorithms» авторов Sirui Chen, Jiangtao Qi, Jianping Gao, Wenhui Chen, Jiaming Fei, Hewei Meng, Zhen Ma, оригинал доступен по ссылке. Лицензия: CC BY. Изменения: переведено на русский язык