Опубликовано час назад

Быстрая 3D-реконструкция корневых систем по снимкам с разных ракурсов

Фенотипические параметры корневых систем имеют важнейшее значение для понимания влияния генетических факторов и условий окружающей среды на растения, а трехмерная (3D) реконструкция является ключевым методом получения этих параметров. Основываясь на особенностях корневых систем, представляющих собой тонкие, невыразительные структуры, в данном исследовании предложен метод трехмерной реконструкции и измерения фенотипических параметров корней на основе скелетной модели с использованием многовидовых изображений.

Была разработана система захвата изображений для получения многовидовых снимков корневой системы. Входные изображения были бинаризованы с помощью предложенного метода адаптивной пороговой сегментации на основе алгоритма Оцу. Для трехмерной реконструкции корневых систем и калибровочных объектов использовался метод Vid2Curve, который включает четыре этапа: извлечение скелетных кривых, инициализацию, оценку положения скелетных кривых и реконструкцию поверхности. Для извлечения фенотипических параметров была реализована процедура масштабирования и выравнивания на основе скелетной модели с использованием алгоритмов DBSCAN и RANSAC. Кроме того, был разработан алгоритм восстановления мелких элементов корневой системы для получения более полных трехмерных моделей. С использованием вышеуказанных методов было протестировано 30 образцов корней трех различных видов растений. Результаты показали, что предложенный метод обеспечивает ошибку проецирования скелетной линии на уровне 0.570 пикселя и ошибку проецирования поверхности на уровне 0.468 пикселя. Точность измерения количества корней достигла 0.97, полнота — 0.96. Для измерения длины корней средняя абсолютная ошибка (MAE) составила 1.06 см, средняя абсолютная процентная ошибка (MAPE) — 2.37%, среднеквадратичная ошибка (RMSE) — 1.35 см, а коэффициент детерминации (R²) — 0.99. Весь процесс реконструкции в эксперименте занимал не более 4.07 минуты. Благодаря высокой точности и скорости предложенные методы позволяют оперативно и точно получать фенотипические параметры корней и способствуют развитию исследований в области фенотипирования корневых систем.

Корневые системы растений являются важным многофункциональным органом питания, который участвует в различных процессах жизнедеятельности растений, обеспечивая их устойчивость и опору. Последние исследования показали, что фенотипические параметры корней могут отражать состояние роста растений. Между тем, существует определенная корреляция между фенотипическими параметрами корней и урожайностью [1,2,3]. Таким образом, получение фенотипических параметров корней может помочь людям обнаружить тесную связь между ростом корней и состоянием окружающей среды, решать конкретные задачи в сельскохозяйственном производстве и способствовать развитию современной аграрной науки.

Традиционные методы получения фенотипических параметров корней в основном полагаются на ручные измерения, которые требуют много времени и отличаются невысокой точностью. С развитием технологий обработки изображений двумерные (2D) изображения стали широко использоваться в фенотипировании корней. Исследователи применяли такие методы, как проращивательная бумага [4], ризопонные установки [5] и агаровые пластины [6], для визуализации процессов роста корневых систем и получения их 2D-изображений с помощью RGB-камер и сканеров. Затем для обработки изображений использовались пороговая сегментация [7,8,9] или сети глубокого обучения, такие как UNet [10,11], SE-ResNet [12] и GAN [13]. Эти методы, использующие 2D-изображения, показали значительные преимущества благодаря своей низкой стоимости, но они все еще имели определенные ограничения. Во-первых, 2D-изображения могли зафиксировать только проекцию корневой системы, что не позволяло представить ее сложную трехмерную природу. Это приводило к потере важной пространственной информации. Во-вторых, из-за проблем с окклюзией (затенением) и неоднозначностью, вызванных перспективной проекцией, методы, основанные на 2D-изображениях, часто страдали от неточностей измерений. В-третьих, многие фенотипические параметры корней трудно поддаются количественной оценке только на основе 2D-изображений.

С развитием искусственного интеллекта появилось много новых методов трехмерной реконструкции, которые находят все более широкое применение в сельском хозяйстве [14,15]. Для фенотипирования корней методы 3D-реконструкции могут обеспечить более полное, точное и детализированное представление о пространственной конфигурации корневой системы. Технология трехмерной реконструкции в основном делится на активные и пассивные методы. Активные методы включают компьютерную томографию (КТ) [16,17,18], магнитно-резонансную томографию (МРТ) [19,20] и лазерную визуализацию [21,22,23]; они широко используются для реконструкции 3D-моделей корневых систем, получения фенотипических параметров корней [24,25] и раннего обнаружения заболеваний [26]. Точность активных методов высока, но они требуют много времени и затрат, обладая низкой практической ценностью. Пассивные методы 3D-реконструкции в основном основаны на характерных признаках 2D-изображений. Типичным пассивным методом для 3D-реконструкции корневых систем является Structure-from-Motion (SFM), основанный на характерных точках, который использует визуальные характерные точки на изображениях, а затем определяет соответствия плотных точек между текстурами. SFM на основе характерных точек для 3D-реконструкции корневых систем в основном использовался, когда корневая система была относительно толстой, например, корневые системы рапса и кукурузы в поздний период роста [27] и корневая крона маниока [28]. В то время как корневые системы многих растений, как правило, являются тонкими и сложными, с различными разветвлениями, и им не хватает текстурных признаков [29]; представляя собой тонкие, невыразительные структуры, это может привести к сбою в сопоставлении характерных точек [30], и эффект реконструкции в SFM на основе характерных точек может снизиться.

Для реконструкции тонких, невыразительных объектов, которые на изображениях имеют ширину всего в несколько пикселей, было выполнено несколько работ по реконструкции на основе кривых. Но некоторые из них сталкивались с трудностями при неточном предсказании положения камеры [31,32,33], а для других требовались предварительно вычисленные положения камеры в качестве входных данных [34,35]. Vid2Curve [36] представляет собой итеративный оптимизационный метод на основе скелетных кривых для реконструкции 3D-тонких структур. Не требуя визуальных текстурных признаков или точечных признаков на фоне сцены и предварительно откалиброванных положений камеры, он устанавливает соответствия между скелетными кривыми тонких, невыразительных объектов на переднем плане на последовательных многовидовых изображениях, что может помочь в достижении высококачественной реконструкции сложных 3D-проволочных моделей.

Основываясь на характеристиках корневых систем, представляющих собой тонкие структуры, лишенные текстурных особенностей поверхности, в данном исследовании был предложен метод трехмерной реконструкции и измерения фенотипических параметров корней на основе скелета, который включает в себя (1) разработку системы захвата изображений для сбора многовидовых изображений для 3D-реконструкции корневых систем, (2) предложение метода адаптивной пороговой сегментации на основе алгоритма Оцу, (3) применение метода Vid2Curve для 3D-реконструкции корневой системы по последовательности многовидовых изображений, (4) реализацию масштабирования и выравнивания с помощью специально разработанного калибровочного объекта на основе кластеризации и линейной аппроксимации точек скелета, (5) предложение алгоритма восстановления точек для мелких корневых систем. Эксперименты с использованием предложенного метода были проведены для оценки качества реконструкции и точности измерения фенотипических параметров по сравнению с реальными значениями.

2.1. Образцы

Чтобы продемонстрировать надежность метода 3D-реконструкции, для данного исследования были выбраны корневые системы трех видов травянистых растений на стадии проростков, как показано на рисунке 1, включая корни Ocimum basilicum (базилик), обозначенные как Ob, корни Sarcandra glabra (саркандра), обозначенные как Sg, и корни Scutellaria barbata (шлемник), обозначенные как Sb. Корневая система каждого вида обладала уникальными характеристиками. Ocimum basilicum — растение со стержневой корневой системой, которая на стадии проростка состоит из конусовидного главного корня и мочковатых корней, причем главный корень обладает высокой структурной прочностью. Sarcandra glabra — растение с мочковатой корневой системой, которая на стадии проростка является мочковатой и относительно плотной, с высокой структурной прочностью, что делает ее менее подверженной взаимному затенению. Scutellaria barbata — растение с мочковатой корневой системой, которая на стадии проростка в основном состоит из собранных в пучки тонких мочковатых корней, демонстрируя низкую структурную прочность и сильное затенение между корнями. В этом исследовании реальные значения фенотипических параметров корней были получены путем ручных измерений. После сбора изображений корневых систем количество корней было подсчитано вручную. Впоследствии корневые системы каждого образца были подвергнуты разрушающему отбору проб, каждый корень был распрямлен, а затем каждый корень был измерен штангенциркулем. Сумма длин каждого корня принималась за общую длину корней для каждого образца.

Рисунок 1. Образцы, использованные в данном исследовании: (a) Ocimum basilicum, (b) Sarcandra glabra, (c) Scutellaria barbata.

2.2. Экспериментальная система

Была спроектирована и сконструирована предложенная система многовидового захвата изображений для 3D-реконструкции корневых систем, как показано на рисунке 2. Система захвата изображений включала в себя шаговый двигатель, плату Arduino UNO, муфту, калибровочный объект, зажимную головку, светодиодную панель, камеру (Canon R7) и алюминиевые профили. Шаговый двигатель управлялся платой Arduino UNO, муфта использовалась для соединения двигателя с калибровочным объектом, а зажимная головка использовалась для зажима корневой системы. Для масштабирования и выравнивания был разработан калибровочный объект, который также представлял собой тонкую структуру. Чтобы облегчить сегментацию корневой системы и калибровочного объекта, обозначенных как целевой объект, от фона, для обеспечения контрового света использовалась светодиодная панель. Двигатель и плата Arduino UNO были закреплены на раме, изготовленной из алюминиевых профилей. Шаговый двигатель, муфта, калибровочный объект и зажимная головка были соединены последовательно. Во время сбора данных шаговый двигатель приводил во вращение целевой объект, а камера, закрепленная с одной стороны, захватывала многовидовые изображения целевого объекта.

Рисунок 2. Система захвата изображений.

2.3. Предварительная обработка изображений

После получения многовидовых изображений целевого объекта с разрешением 1920 × 1080 пикселей с использованием системы захвата изображений, изображения были понижены в разрешении до 960 × 540 пикселей для обеспечения скорости и точности реконструкции. Затем изображения были сегментированы для получения бинарных масок пикселей, отображающих целевой объект на переднем плане. Чтобы обеспечить точность сегментации, использовался контровой свет для увеличения контраста между фоном и целевым объектом. Алгоритм Оцу представляет собой метод выбора порога на основе гистограмм уровней серого [37]. Он подходит для изображений с высоким контрастом. Однако многие образцы корней демонстрировали значительные изменения диаметра корня, и во время вращения корневой системы могли возникать незначительные вибрации; оба этих фактора могли легко привести к неточной сегментации с помощью алгоритма Оцу.

Для решения этой проблемы был разработан алгоритм адаптивной пороговой сегментации на основе Оцу, как показано на рисунке 3. Сначала была получена матрица градаций серого исходного изображения. Затем матрица градаций серого была бинаризована как G с помощью алгоритма Оцу: для каждого пикселя, если его значение серого в матрице градаций серого было ниже глобального порога, он классифицировался как целевая область, и его значение серого устанавливалось в 0, в противном случае его значение серого устанавливалось в 255. В то же время для выполнения сглаживания средним по матрице градаций серого использовался метод прямоугольного фильтра (box filter), и из результата сглаживания вычиталась исходная матрица градаций серого для получения фильтрованной матрицы. Фильтрованная матрица была бинаризована как F в следующем процессе: для каждого пикселя, если его значение серого в фильтрованной матрице было ниже 0, его значение серого устанавливалось в 0, в противном случае его значение серого устанавливалось в 255. Наконец, итоговая матрица R вычислялась по уравнению (1) как результат. Благодаря этому процессу можно было получить точную бинарную маску пикселей, отображающих целевой объект на переднем плане.

Рисунок 3. Процесс сегментации. Верхняя часть показывает процесс метода прямоугольного фильтра, а нижняя часть показывает процесс алгоритма Оцу.

2.4. Трехмерная реконструкция на основе скелета

Подавляющее большинство корней имело круглое поперечное сечение, и корневые системы можно было рассматривать как совокупности соединенных обобщенных цилиндров. Vid2Curve представляет собой итеративный оптимизационный метод, основанный на 2D-скелетных кривых и расстояниях от 2D-скелетной точки до обеих сторон полосы на каждом виде, для оценки точных положений камеры и реконструкции тонких 3D-структур без использования цветовой и текстурной информации; кроме того, нет необходимости в предварительной калибровке входных изображений. Это позволило реконструировать корневую систему проростков за считанные минуты.

Алгоритм Vid2Curve был в основном разделен на четыре этапа, как показано на рисунке 4: извлечение скелетных кривых, инициализация, итеративная оценка скелетных кривых и реконструкция поверхности.

Рисунок 4. Процесс трехмерной реконструкции на основе скелета.

(1) Бинарные маски пикселей, отображающих целевой объект на переднем плане, обрабатывались методом истончения для извлечения скелетных кривых толщиной в один пиксель, обозначенных в дальнейшем как c = {c_k ∈ R^2, k = 1, 2, ..., K}. А входные виды обозначались как I = {I_k, k = 1, 2, ..., K}.

(2) С использованием метода оптического потока и комплексирования пучков (bundle adjustment) из первых нескольких изображений инициализировалось несколько кандидатов в 3D-точки, и наилучшие кандидаты в 3D-точки, обозначенные в дальнейшем как P = {P_i ∈ R^3, i = 1, 2, ..., x}, были выбраны в качестве основы для последующих итераций.

(3) Положения камер (R_k, T_k) и сетка кривых C вычислялись путем минимизации целевой функции (Уравнение (2)), которая измеряла сумму квадратов 2D-расстояний между проекцией сетки кривых C и соответствующей 2D-скелетной кривой c_k на всех входных изображениях. Кроме того, использовалась общепринятая формулировка для аппроксимации кривых, чтобы эффективно минимизировать член ошибки расстояния e_(k,j) (Уравнение (3)). Функция минимизировалась итеративно попеременным способом: сначала оптимизировались положения камер при фиксированных точках кривой, а затем оптимизировались точки кривой при фиксированных положениях камер. Во время итерации P должно было быть сопоставлено с точками Q = {q_i ∈ R^2, i = 1, 2, ..., n} на виде I_k, и сопоставление выполнялось путем комбинирования критерия на основе расстояния с ограничением на согласованность кривой. Во время инициализации и итерации C, которая записывала ребра путем сопоставления пар точек, конструировалась и обновлялась на основе 3D-точек с помощью варианта алгоритма Крускала, который определял, соединены ли точки, на основе расстояния между ними и длины цикла, образованного ребрами. В то же время выполнялась равномерная передискретизация 3D-точек. Также в то же время могла возникать самоокклюзия (самозатенение) из-за структуры корня. Чтобы определить, подвержены ли 3D-точки самоокклюзии на определенном виде I_k, соседние пиксели точки соответствия q_i для каждой точки P_i проверялись с помощью локального окна 3 × 3, и генерировалось множество 3D-точек P̂, соответствующих пикселям. Затем вычислялся коэффициент пространственной компактности σ_i из среднего расстояния между точками в P и их центроидом. Если σ_i < 10 / f_0, P_i помечался как самоокклюдированный, и α устанавливалось в 0, в противном случае α устанавливалось в 1.

где α = 0, если точка P_j была самоокклюдирована, в противном случае α = 1. e_(k,j) представлял собой ошибку расстояния, n_j представлял собой направление нормали в точке P_j, t_j представлял собой направление касательной в точке P_j. F_s(C) представлял собой член регуляризации, а f_0 представляла собой фокусное расстояние камеры.

(4) Для реконструкции поверхности корня корневая система рассматривалась как состоящая из обобщенных цилиндров, поэтому радиус каждой точки являлся ключевым параметром, который вычислялся с использованием соответствующих наблюдений изображений со всех многовидовых бинарных изображений. В частности, радиус P_j представлял собой среднее значение радиусов r_j^k по всем входным изображениям.

где r̅_j^k представляли собой расстояния от проекции точки P_j на каждом виде I_k до обеих сторон определенной полосы, depth(P_j, I_k) представляла собой глубину P_j относительно вида I_k.

После выполнения вышеуказанных этапов были получены результаты реконструкции скелета и поверхности для корневой системы.

2.5. Масштабирование и выравнивание для измерения фенотипических параметров

Для извлечения фенотипических параметров корней достижение масштабирования и выравнивания было ключевым. Во многих исследованиях для калибровки камеры и определения положения использовалась калибровочная доска [38], но использование калибровочной доски усложняло бы сегментацию изображения. Для достижения быстрого масштабирования и выравнивания в данном исследовании это было выполнено путем вычисления расстояния между двумя конкретными точками на калибровочном объекте, который может быть реконструирован с помощью предложенного метода реконструкции. На рисунке 5a проиллюстрирован калибровочный объект, который также представлял собой совокупность соединенных обобщенных цилиндров. Точка A являлась точкой соединения калибровочного объекта с двигателем, а точка B являлась точкой соединения калибровочного объекта с зажимом. Точка C представляла конечную точку калибровочного объекта в результате реконструкции, положение которой было неопределенным из-за вращения устройства захвата и изменений угла съемки во время сбора изображений. Расстояние между точкой D и точкой E на калибровочном объекте составляло 8.5 см, и масштаб получался путем вычисления отношения расстояния DE в результате реконструкции к реальному значению.

Рисунок 5. Описание калибровочного объекта: (a) схема структуры калибровочного объекта, (b) исходное изображение, (c) результат реконструкции скелета.

Чтобы вычислить расстояние DE, точки калибровочного объекта необходимо было сегментировать из результатов реконструкции скелета. Для достижения сегментации в этом исследовании применялся метод DBSCAN [39] для кластеризации точек, как показано на рисунке 6, учитывая, что точки были передискретизированы на основе расстояния во время реконструкции. Результат кластеризации классифицировался по количеству точек, и группа с меньшим количеством точек являлась облаком точек калибровочного объекта. Затем, как на рисунке 7, облако точек калибровочного объекта классифицировалось на два пути на основе связности точек, и для двух путей выполнялась линейная аппроксимация на основе RANSAC [40] с вычислением значений средней абсолютной ошибки (MAE). Путь с меньшей MAE идентифицировался как облако точек сегмента DE. Вычислялась длина линии, соединяющей облако точек сегмента DE, и коэффициент масштабирования β выводился с использованием уравнения (6).

где (DE)̃ являлось расстоянием DE в результате реконструкции, DE являлось реальным значением.

Рисунок 6. Извлечение облака точек калибровочного объекта.

Рисунок 7. Извлечение точек сегмента DE.

2.6. Восстановление точек на основе скелета

При трехмерной реконструкции корневых систем такие проблемы, как взаимное затенение между корнями и вибрация во время вращения, могут привести к появлению отсутствующих областей в результатах реконструкции, что влияет на вычисление фенотипических параметров. Чтобы получить более полную 3D-модель корневой системы, было выполнено восстановление точек на основе связности скелета в результатах реконструкции и структурных характеристик корневой системы. Этот процесс в основном состоял из трех этапов: классификация облака точек скелета на основе связности, поиск точек соединения и регенерация поверхностей. Конкретные этапы восстановления следующие:

(1) Связность реконструированного облака точек скелета определялась на основе алгоритма DFS (поиска в глубину), разделяя облако точек скелета с отсутствующей областью на независимые облака точек скелета, как на рисунке 8a,b. На основе количества точек независимые скелеты классифицировались на первичный скелет и подскелеты, а также сохранялись все координаты конечных точек, обозначенные в дальнейшем как M = {m_i ∈ R^3, i = 1, 2, ..., n}.

Рисунок 8. Процесс восстановления точек скелета: (a) точки скелета с отсутствующей областью, (b) результат классификации точек скелета, (c) равномерная дискретизация точек скелета и (d) результат восстановления точек скелета.

(2) Для каждого подскелета выполнялся итерационный перебор всех конечных точек m_i, и находился вектор касательной (m_i t_i для m_i. Как на рисунке 8b, для каждого m_i перебирались все точки в первичном скелете, чтобы найти точку r_i, удовлетворяющую уравнению (7). Если такая точка находилась, она считалась точкой-кандидатом для соединения, и записывалась длина m_i r_i. После завершения обхода сохранялось кратчайшее m_i r_i в качестве линии соединения, и проверялось, является ли r_i конечной точкой. Если да, она удалялась из множества конечных точек. Чтобы обеспечить равномерное распределение облака точек скелета, точки равномерно дискретизировались вдоль линии соединения m_i r_i с интервалом, равным среднему расстоянию между точками, как на рисунке 8c. В то же время для обеспечения гладкости скелета, если r_i являлась конечной точкой, точки, дискретизированные вдоль m_i r_i, и точки этого подскелета использовались для аппроксимации кривой. Затем точки снова равномерно дискретизировались вдоль кривой, и дискретизированные точки добавлялись к точкам скелета. После обхода всех подскелетов восстановление точек скелета было завершено, как показано на рисунке 8d.

(3) Для генерации поверхности также требовались радиусы точек, дискретизированных на линии соединения m_i r_i. Чтобы обеспечить гладкость генерируемой поверхности, если r_i являлась конечной точкой, радиус вдоль линии соединения m_i r_i затем устанавливался изменяющимся линейно в зависимости от радиуса m_i и r_i; если r_i не являлась конечной точкой, радиус вдоль линии соединения m_i r_i считался таким же, как в точке m_i. На основе восстановленных точек скелета и радиуса можно выполнить генерацию поверхности, как показано на рисунке 9.

Рисунок 9. Процесс восстановления точек поверхности: (a) точки поверхности с отсутствующей областью, (b) результат восстановления точек поверхности.

2.7. Оценка качества реконструкции

Точность реконструкции количественно оценивалась через ошибку проекции (PE), включающую ошибку проекции скелета (SPE) и ошибку проекции поверхности (FPE). PE, демонстрирующая согласованность спроецированных точек между результатами реконструкции и реальными данными, вычислялась по уравнению (8). SPE, которая может отражать качество реконструкции точек скелета, использовалась для вычисления среднего расстояния между проекцией точек на скелете и ближайшими точками, дискретизированными на извлеченных 2D-скелетах по всем многовидовым изображениям. FPE, которая может отражать качество реконструкции точек поверхности, измеряла среднее расстояние между проекцией точек на реконструированной поверхности и ближайшими точками, дискретизированными на входных изображениях, по всем многовидовым изображениям. Вычислялось среднее значение (AVG) для представления среднего эффекта реконструкции, и вычислялось стандартное отклонение (SD) для представления степени разброса эффекта реконструкции.

где (x̂_i, ŷ_i) являлась спроецированной точкой результатов реконструкции, а (x_i, y_i) являлась спроецированной точкой реальных данных.

В этом исследовании измерялись количество корней и длина корней, выбранные в качестве фенотипических параметров. Количество корней определялось путем подсчета числа конечных точек в результате реконструкции. Точность (precision) и полнота (recall) были вычислены для оценки смещения в определении количества корней.

где TP являлось количеством правильно реконструированных корней в результате реконструкции, FP являлось количеством неправильно реконструированных корней в результате реконструкции, а FN являлось количеством корней, которые не были реконструированы в результате реконструкции.

Длина корней измерялась как длина скелетных линий в сочетании с коэффициентом масштабирования β. Точность измерения длины корней оценивалась с помощью MAE (уравнение (11)), средней абсолютной процентной ошибки (MAPE, уравнение (12)), среднеквадратичной ошибки (RMSE, уравнение (13)) и коэффициента детерминации (R², уравнение (14)).

где l̂_i являлась длиной корня в результате реконструкции, l_i являлась реальным значением, а l̅_i являлось средним реальных значений.

3.1. Сегментация целевого объекта

Результаты сегментации исходных изображений различными методами показаны на рисунке 10. Как показано на рисунке 10b, для корневых систем с большим количеством мочковатых корней или в случае незначительной вибрации во время сбора изображений контраст между целевым объектом и фоном был низким, что значительно влияло на производительность сегментации Оцу, приводя к многочисленным отсутствующим областям. Сегментация с прямоугольным фильтром применяла только блочную фильтрацию для обработки изображения. Однако, поскольку диаметры корней различались у разных образцов, результаты могли отличаться в зависимости от размера блочного фильтра. Если размер был слишком мал, это могло привести к появлению отверстий в целевой области, как показано на рисунке 10c. И наоборот, если размер был слишком велик, мочковатые корни могли не сегментироваться эффективно. Адаптивная пороговая сегментация на основе Оцу смогла решить эти проблемы, гарантируя отсутствие отверстий в областях толстых корней, а тонкие корни могли быть правильно сегментированы. Это привело к наилучшей производительности сегментации, как показано на рисунке 10d.

Рисунок 10. Результат сегментации: (a) исходное изображение, (b) сегментация Оцу, (c) сегментация прямоугольным фильтром, (d) предложенная адаптивная пороговая сегментация на основе Оцу. (a1–d1) показывают исходное изображение и результаты сегментации, когда диаметр корня образца сильно изменялся. (a2–d2) показывают исходное изображение и результаты сегментации при наличии незначительной вибрации во время сбора изображений. (a3–d3) показывают исходное изображение и результаты сегментации, когда образец имел много мочковатых корней.

3.2. Результаты трехмерной реконструкции

На рисунке 11 показаны результаты реконструкции скелета и поверхности. В то же время современные основные методы реконструкции, такие как Agisoft Metashape, не смогли выполнить реконструкцию корней на протестированных наборах данных. Это было связано с отсутствием характерных точек, что приводило к сбою сопоставления изображений. На рисунке 11a были показаны RGB-изображения корневых систем трех видов, включая Ocimum basilicum (рисунок 11(a1)), Sarcandra glabra (рисунок 11(a2)) и Scutellaria barbata (рисунок 11(a3)). На рисунке 11(b) представлены результаты реконструкции скелета, состоящие из равномерно распределенного набора точек и соединительных линий. Скелетная модель также могла интуитивно отражать морфологические характеристики корневой системы и хорошо представлять геометрические характеристики корневой системы. По сравнению с другими алгоритмами реконструкции, которые предоставляют только поверхностные модели [28,29], скелетная модель облегчала вычисление таких фенотипических параметров, как количество корней и длина корней. Сглаживание, примененное в процессе реконструкции, повышало устойчивость алгоритма к помехам, хотя и жертвовало некоторыми деталями изгибов, что не оказывало значительного влияния на общие результаты. На рисунке 11c проиллюстрированы результаты реконструкции поверхности, эффективно показывающие изменения радиуса корня. Однако, когда контраст в радиусе между главным и боковыми корнями был значительным, радиус боковых корней вблизи соединения с главным корнем иногда мог казаться больше, хотя это оказывало минимальное влияние на общий результат. Кроме того, поскольку входные изображения были бинарными, а реконструкция поверхности основывалась на радиусах и скелетных кривых, цветовая информация терялась. Это может быть улучшено в будущих исследованиях путем интеграции цветовых данных из исходных изображений [14] с использованием таких методов, как наложение текстур, применения RGB-D камер для захвата как глубины, так и цветовой информации, или объединения Vid2Curve с Gaussian Splatting.

Рисунок 11. Результат трехмерной реконструкции корневой системы: (a) RGB-изображение корневой системы, (b) результат 3D-реконструкции скелета корневой системы, (c) результат 3D-реконструкции поверхности корневой системы. (a1–c1) показывают RGB-изображение и результат реконструкции корневой системы Ocimum basilicum. (a2–c2) показывают RGB-изображение и результат реконструкции корневой системы Sarcandra glabra. (a3–c3) показывают RGB-изображение и результат реконструкции корневой системы Scutellaria barbata.

На рисунке 12 показан эффект восстановления точек. Результат, когда одна из точек соединения являлась конечной точкой, а другая нет, показан на рисунке 12(a1–c1), а результат, когда обе точки соединения являлись конечными точками, показан на рисунке 12(a2–c2). В обоих случаях облако точек и поверхность могли быть восстановлены правильно.

Рисунок 12. Результат восстановления точек: (a) изображение корневой системы, (b) 3D-модель поверхности до восстановления точек, (c) 3D-модель поверхности после восстановления точек. (a1–c1) показывают исходное изображение и результат восстановления точек, когда одна из точек соединения являлась конечной точкой, а другая нет. (a2–c2) показывают исходное изображение и результат восстановления точек, когда обе точки соединения являлись конечными точками.

Чтобы продемонстрировать преимущество предложенного метода, он был сравнен с COLMAP. Поскольку COLMAP полагается на цветовые и текстурные признаки для выполнения реконструкции, его входные изображения сохраняли цвет и текстуру корневой системы. Рисунок 13 показывает, что в реконструкции COLMAP присутствовал значительный шум. FPE COLMAP составила 1.314 пикселя, что больше, чем у предложенного метода (0.544 пикселя). Между тем, весь процесс с использованием COLMAP занимал около 1 часа, в то время как предложенный метод занял всего 2 минуты.

Рисунок 13. Сравнение с COLMAP: (a) изображение корневой системы, (b) результат 3D-реконструкции с использованием COLMAP, (c) результат 3D-реконструкции с использованием предложенного метода.

3.3. Качество реконструкции

3.3.1. Производительность реконструкции

В этом исследовании в эксперименте по реконструкции было использовано в общей сложности 30 корней проростков, включая 9 корней Ob, 13 корней Sg и 8 корней Sb. В таблице 1 описаны среднее значение и стандартное отклонение ошибок проекции результатов реконструкции для трех видов корневых систем. SPE и FPE реконструкций трех видов корней были менее 0.6 пикселя, а стандартное отклонение также было менее 0.2 пикселя, что указывает на высокую точность реконструкции и хорошую стабильность.

Таблица 1. Ошибка проекции реконструкции корневых систем трех видов.

3.3.2. Производительность измерения фенотипических параметров

В таблице 2 описана производительность измерения количества корней и длины корней на 26 образцах. Количество корней в образцах варьировалось от 10 до 27, а точность (precision) и полнота (recall) измерения количества корней по результатам реконструкции достигли 0.97 и 0.96. Почти в одной трети результатов измерения количества корней были достигнуты точность 1 и полнота 1, а FN (ложноотрицательные) и FP (ложноположительные) в других результатах измерений также не превышали 2. Длина корней в образцах варьировалась от 27.90 см до 67.50 см, и результаты измерений для всех образцов достигли MAE 1.06 см, MAPE 2.38% и RMSE 1.35 см. На рисунке 14 показана зависимость между измеренной длиной корней и реальными значениями для каждого образца. Вычисленный R² между предсказанными значениями и реальными значениями составил 0.99 для Ob, 0.99 для Sg, 0.96 для Sb и 0.99 для всех образцов, в то время как в работе [41] был достигнут R² 0.92, а в работе [28] — R² 0.92. Параметры, измеренные по результатам 3D-реконструкции, показали высокую точность по сравнению с соответствующими ручными измерениями. В результатах эксперимента было обнаружено, что самоокклюзия корневой системы по-прежнему являлась основной причиной ошибки. Это может быть улучшено в будущих исследованиях путем использования адаптивного метода сбора данных для получения более детальной информации о корневой системе и улучшения результатов реконструкции.

Рисунок 14. Диаграммы рассеяния предсказанных и реальных значений длины корней.

Таблица 2. Производительность измерений фенотипических параметров.

3.4. Временные затраты на реконструкцию

В таблице 3 показаны временные затраты на каждый этап предложенного процесса реконструкции в этом исследовании. Процесс реконструкции был разделен на три стадии: сбор изображений, предварительная обработка изображений и 3D-реконструкция. Количество входных изображений варьировалось от 150 до 250, а среднее время, затраченное на захват этих изображений, составило 14.03 секунды. Максимальное время предварительной обработки изображений было менее 17 секунд, и продолжительность в основном зависела от количества изображений. Время 3D-реконструкции было самым продолжительным, относительно, со средним значением 1.93 минуты и максимумом 3.56 минуты, в основном в зависимости от количества изображений. Весь процесс занимал максимум 4.07 минуты. Короткое время, затрачиваемое этим методом, было в основном связано с понижением разрешения изображения, а итеративный процесс в основном использовал бинарные изображения, обработанные методами истончения. Чтобы повысить точность реконструкции, обеспечивая при этом низкие временные затраты на реконструкцию, в будущем будут проведены исследования по сокращению временных затрат на реконструкцию изображений с высоким разрешением.

Таблица 3. Временные затраты на каждый этап.

В этом исследовании создана экспериментальная система многовидовой 3D-реконструкции для фенотипирования корней. Для сегментации корневых систем от фона на исходных изображениях предложен метод адаптивной пороговой сегментации на основе Оцу. Для 3D-реконструкции корневой системы применен метод 3D-реконструкции на основе скелета Vid2Curve. Кроме того, предложен метод восстановления точек для небольших объектов для восстановления отсутствующих точек. Результаты 3D-реконструкции показали высокое качество: средняя ошибка проекции скелета составила 0.570 пикселя, а средняя ошибка проекции поверхности — 0.468 пикселя. Для измерения фенотипических параметров в этом исследовании разработан калибровочный объект с тонкой структурой и предложен метод на основе DBSCAN и RANSAC для вычисления коэффициента масштабирования. Измерения длины корней и их количества достигли высокой точности. Между тем, поскольку изображения, использованные в процессе 3D-реконструкции, представляли собой утонченные бинарные изображения без цветовой или текстурной информации, весь процесс занял очень мало времени, максимум 4.07 минуты.

Будущие исследования будут сосредоточены на улучшении аппаратных устройств и алгоритмов. Текущее состояние системы захвата изображений все еще требует дальнейшей доработки, например, в отношении достижения неразрушающего захвата изображений и сбора изображений корней на различных стадиях роста. Алгоритм реконструкции также будет улучшен для выполнения реконструкции с использованием изображений высокого разрешения с целью повышения точности и обеспечения сохранения очень высокой скорости реконструкции. Кроме того, для реконструкции цветовой информации будут использоваться такие методы, как наложение текстур.

1. Uga, Y.; Sugimoto, K.; Ogawa, S.; Rane, J.; Ishitani, M.; Hara, N.; Kitomi, Y.; Inukai, Y.; Ono, K.; Kanno, N.; et al. Control of root system architecture by DEEPER ROOTING 1 increases rice yield under drought conditions. Nat. Genet. 2013, 45, 1097. [Google Scholar] [CrossRef] [PubMed]

2. Mahanta, D.; Rai, R.K.; Mishra, S.D.; Raja, A.; Purakayastha, T.J.; Varghese, E. Influence of phosphorus and biofertilizers on soybean and wheat root growth and properties. Field Crops Res. 2014, 166, 1–9. [Google Scholar] [CrossRef]

3. Bonato, T.; Beggio, G.; Pivato, A.; Piazza, R. Maize plant (Zea mays) uptake of organophosphorus and novel brominated flame retardants from hydroponic cultures. Chemosphere 2022, 287, 132456. [Google Scholar] [CrossRef] [PubMed]

4. Alemu, A.; Feyissa, T.; Maccaferri, M.; Sciara, G.; Tuberosa, R.; Ammar, K.; Badebo, A.; Acevedo, M.; Letta, T.; Abeyo, B. Genome-wide association analysis unveils novel QTLs for seminal root system architecture traits in Ethiopian durum wheat. BMC Genom. 2021, 22, 20. [Google Scholar] [CrossRef]

5. Mathieu, L.; Lobet, G.; Tocquin, P.; Perilleux, C. “Rhizoponics”: A novel hydroponic rhizotron for root system analyses on mature Arabidopsis thaliana plants. Plant Methods 2015, 11, 3. [Google Scholar] [CrossRef] [PubMed]

6. Shi, R.; Junker, A.; Seiler, C.; Altmann, T. Phenotyping roots in darkness: Disturbance-free root imaging with near infrared illumination. Funct. Plant Biol. 2018, 45, 400–411. [Google Scholar] [CrossRef] [PubMed]

7. Goclawski, J.; Sekulska-Nalewajko, J.; Gajewska, E.; Wielanek, M. An automatic segmentation method for scanned images of wheat root systems with dark discolourations. Int. J. Appl. Math. Comput. Sci. 2009, 19, 679–689. [Google Scholar] [CrossRef]

8. Yugan, C.; Xuecheng, Z. Plant root image processing and analysis based on 2D scanner. In Proceedings of the 2010 IEEE Fifth International Conference on Bio-Inspired Computing: Theories and Applications (BIC-TA), Changsha, China, 23–26 September 2010; pp. 1216–1220. [Google Scholar]

9. Arnold, T.; Bodner, G. Study of visible imaging and near-infrared imaging spectroscopy for plant root phenotyping. In Proceedings of the Conference on Sensing for Agriculture and Food Quality and Safety X, Orlando, FL, USA, 17–18 April 2018. [Google Scholar]

10. Narisetti, N.; Henke, M.; Seiler, C.; Junker, A.; Ostermann, J.; Altmann, T.; Gladilin, E. Fully-automated root image analysis (faRIA). Sci. Rep. 2021, 11, 16047. [Google Scholar] [CrossRef]

11. Smith, A.G.; Petersen, J.; Selvan, R.; Rasmussen, C.R. Segmentation of roots in soil with U-Net. Plant Methods 2020, 16, 13. [Google Scholar] [CrossRef]

12. Gong, L.; Du, X.; Zhu, K.; Lin, C.; Lin, K.; Wang, T.; Lou, Q.; Yuan, Z.; Huang, G.; Liu, C. Pixel level segmentation of early-stage in-bag rice root for its architecture analysis. Comput. Electron. Agric. 2021, 186, 106197. [Google Scholar] [CrossRef]

13. Thesma, V.; Mohammadpour Velni, J. Plant Root Phenotyping Using Deep Conditional GANs and Binary Semantic Segmentation. Sensors 2023, 23, 309. [Google Scholar] [CrossRef] [PubMed]

14. Huang, T.; Bian, Y.; Niu, Z.; Taha, M.F.; He, Y.; Qiu, Z. Fast neural distance field-based three-dimensional reconstruction method for geometrical parameter extraction of walnut shell from multiview images. Comput. Electron. Agric. 2024, 224, 109189. [Google Scholar] [CrossRef]

15. Zhou, L.; Jin, S.; Wang, J.; Zhang, H.; Shi, M.; Zhou, H. 3D positioning of Camellia oleifera fruit-grabbing points for robotic harvesting. Biosyst. Eng. 2024, 246, 110–121. [Google Scholar] [CrossRef]

16. Gregory, P.J.; Hutchison, D.J.; Read, D.B.; Jenneson, P.M.; Gilboy, W.B.; Morton, E.J. Non-invasive imaging of roots with high resolution X-ray micro-tomography. Plant Soil 2003, 255, 351–359. [Google Scholar] [CrossRef]

17. Hou, L.; Gao, W.; der Bom van, F.; Weng, Z.; Doolette, C.L.; Maksimenko, A.; Hausermann, D.; Zheng, Y.; Tang, C.; Lombi, E.; et al. Use of X-ray tomography for examining root architecture in soils. Geoderma 2022, 405, 115405. [Google Scholar] [CrossRef]

18. Jiang, Z.; Leung, A.K.; Liu, J. Segmentation uncertainty of vegetated porous media propagates during X-ray CT image-based analysis. Plant Soil 2024. [Google Scholar] [CrossRef]

19. Metzner, R.; Eggert, A.; van Dusschoten, D.; Pflugfelder, D.; Gerth, S.; Schurr, U.; Uhlmann, N.; Jahnke, S. Direct comparison of MRI and X-ray CT technologies for 3D imaging of root systems in soil: Potential and challenges for root trait quantification. Plant Methods 2015, 11, 17. [Google Scholar] [CrossRef] [PubMed]

20. van Dusschoten, D.; Metzner, R.; Kochs, J.; Postma, J.A.; Pflugfelder, D.; Buehler, J.; Schurr, U.; Jahnke, S. Quantitative 3D Analysis of Plant Roots Growing in Soil Using Magnetic Resonance Imaging. Plant Physiol. 2016, 170, 1176–1188. [Google Scholar] [CrossRef]

21. Heeren, B.; Paulus, S.; Goldbach, H.; Kuhlmann, H.; Mahlein, A.-K.; Rumpf, M.; Wirth, B. Statistical shape analysis of tap roots: A methodological case study on laser scanned sugar beets. BMC Bioinform. 2020, 21, 335. [Google Scholar] [CrossRef]

22. Todo, C.; Ikeno, H.; Yamase, K.; Tanikawa, T.; Ohashi, M.; Dannoura, M.; Kimura, T.; Hirano, Y. Reconstruction of Conifer Root Systems Mapped with Point Cloud Data Obtained by 3D Laser Scanning Compared with Manual Measurement. Forests 2021, 12, 1117. [Google Scholar] [CrossRef]

23. Kargar, A.R.; MacKenzie, R.A.; Apwong, M.; Hughes, E.; van Aardt, J. Stem and root assessment in mangrove forests using a low-cost, rapid-scan terrestrial laser scanner. Wetl. Ecol. Manag. 2020, 28, 883–900. [Google Scholar] [CrossRef]

24. Pflugfelder, D.; Kochs, J.; Koller, R.; Jahnke, S.; Mohl, C.; Pariyar, S.; Fassbender, H.; Nagel, K.A.; Watt, M.; van Dusschoten, D.; et al. The root system architecture of wheat establishing in soil is associated with varying elongation rates of seminal roots: Quantification using 4D magnetic resonance imaging. J. Exp. Bot. 2022, 73, 2050–2060. [Google Scholar] [CrossRef] [PubMed]

25. Schneider, H.M.; Postma, J.A.; Kochs, J.; Pflugfelder, D.; Lynch, J.P.; van Dusschoten, D. Spatio-Temporal Variation in Water Uptake in Seminal and Nodal Root Systems of Barley Plants Grown in Soil. Front. Plant Sci. 2020, 11, 1247. [Google Scholar] [CrossRef] [PubMed]

26. Feng, L.; Chen, S.; Wu, B.; Liu, Y.; Tang, W.; Liu, F.; He, Y.; Zhang, C. Detection of oilseed rape clubroot based on low-field nuclear magnetic resonance imaging. Comput. Electron. Agric. 2024, 218, 108687. [Google Scholar] [CrossRef]

27. Wu, Q.; Wu, J.; Hu, P.; Zhang, W.; Ma, Y.; Yu, K.; Guo, Y.; Cao, J.; Li, H.; Li, B.; et al. Quantification of the three-dimensional root system architecture using an automated rotating imaging system. Plant Methods 2023, 19, 11. [Google Scholar] [CrossRef]

28. Sunvittayakul, P.; Kittipadakul, P.; Wonnapinij, P.; Chanchay, P.; Wannitikul, P.; Sathitnaitham, S.; Phanthanong, P.; Changwitchukarn, K.; Suttangkakul, A.; Ceballos, H.; et al. Cassava root crown phenotyping using three-dimension (3D) multi-view stereo reconstruction. Sci. Rep. 2022, 12, 10030. [Google Scholar] [CrossRef] [PubMed]

29. Lu, Y.; Wang, Y.; Parikh, D.; Khan, A.; Lu, G. Simultaneous Direct Depth Estimation and Synthesis Stereo for Single Image Plant Root Reconstruction. IEEE Trans. Image Process. 2021, 30, 4883–4893. [Google Scholar] [CrossRef]

30. Masuda, T. 3D Shape Reconstruction of Plant Roots in a Cylindrical Tank From Multiview Images. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Republic of Korea, 27 October–2 November 2019; pp. 2149–2157. [Google Scholar]

31. Liu, L.; Chen, N.; Ceylan, D.; Theobalt, C.; Wang, W.; Mitra, N.J.; Assoc Comp, M. CURVEFUSION: Reconstructing Thin Structures from RGBD Sequences. In Proceedings of the 11th ACM SIGGRAPH Conference and Exhibition on Computer Graphics and Interactive Techniques in Asia (SA), Tokyo, Japan, 4–7 December 2018. [Google Scholar]

32. Martin, T.; Montes, J.; Bazin, J.-C.; Popa, T. Topology-aware reconstruction of thin tubular structures. In Proceedings of the SIGGRAPH Asia 2014 Technical Briefs, Shenzhen, China, 3–6 December 2014; p. 12. [Google Scholar]

33. Li, S.; Yao, Y.; Fang, T.; Quan, L. Reconstructing Thin Structures of Manifold Surfaces by Integrating Spatial Curves. In Proceedings of the 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, USA, 18–23 June 2018; pp. 2887–2896. [Google Scholar]

34. Tabb, A. Shape from Silhouette Probability Maps: Reconstruction of thin objects in the presence of silhouette extraction and calibration error. In Proceedings of the 26th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Portland, OR, USA, 23–28 June 2013; pp. 161–168. [Google Scholar]

35. Tabb, A.; Medeiros, H. A robotic vision system to measure tree traits. In Proceedings of the 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 24–28 September 2017; pp. 6005–6012. [Google Scholar]

36. Wang, P.; Liu, L.; Chen, N.; Chu, H.-K.; Theobalt, C.; Wang, W. Vid2Curve: Simultaneous Camera Motion Estimation and Thin Structure Reconstruction from an RGB Video. ACM Trans. Graph. 2020, 39, 132-1. [Google Scholar] [CrossRef]

37. Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Trans. Syst. Man Cybern. 1979, 9, 62–66. [Google Scholar] [CrossRef]

38. Olson, E. AprilTag: A robust and flexible visual fiducial system. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Shanghai, China, 9–13 May 2011. [Google Scholar]

39. Ester, M.; Kriegel, H.-P.; Sander, J.; Xu, X. A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise. In Proceedings of the Knowledge Discovery and Data Mining, Portland, OR, USA, 2–4 August 1996. [Google Scholar]

40. Fischler, M.A.; Bolles, R.C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM 1981, 24, 381–395. [Google Scholar] [CrossRef]

41. Okamoto, Y.; Ikeno, H.; Hirano, Y.; Tanikawa, T.; Yamase, K.; Todo, C.; Dannoura, M.; Ohashi, M. 3D reconstruction using Structure-from-Motion: A new technique for morphological measurement of tree root systems. Plant Soil 2022, 477, 829–841. [Google Scholar] [CrossRef]

Xu C, Huang T, Niu Z, Sun X, He Y, Qiu Z. A Skeleton-Based Method of Root System 3D Reconstruction and Phenotypic Parameter Measurement from Multi-View Image Sequence. Agriculture. 2025; 15(3):343. https://doi.org/10.3390/agriculture15030343

Перевод статьи «A Skeleton-Based Method of Root System 3D Reconstruction and Phenotypic Parameter Measurement from Multi-View Image Sequence» авторов Xu C, Huang T, Niu Z, Sun X, He Y, Qiu Z., оригинал доступен по ссылке. Лицензия: CC BY. Изменения: переведено на русский язык