友情鏈接：
植物物聯(lián)網(wǎng)-全時序表型監(jiān)測系統(tǒng)PhenoSight是一個物聯(lián)網(wǎng)（IoT）支持的表型測量平臺，設(shè)計簡單易用，可廣泛應(yīng)用于任何環(huán)境。并配套一個自動化田間控制系統(tǒng)、高通量性狀分析算法和基于機器學(xué)習(xí)的建模，以管理和處理平臺生成的數(shù)據(jù)，從而探究基因型、表型和環(huán)境之間的動態(tài)關(guān)系。
PhenoSight需要對試驗田進行小區(qū)劃分，建議以1米*2米為單位，PhenoSight由服務(wù)器和終端節(jié)點組成，物聯(lián)網(wǎng)化主要取決于兩者之間的連接。PhenoSight服務(wù)器本身也是一臺測量設(shè)備，同時可以連接9個終端節(jié)點，這就形成了實施方案示意圖中的小區(qū)分型（如下圖紅框所示）。其中紅色單元為服務(wù)器，藍色單元為終端節(jié)點。每臺服務(wù)器和終端節(jié)點均安置有可見光成像單元，而每臺服務(wù)器可外接溫濕度傳感器、土壤參數(shù)傳感器、葉綠素?zé)晒鈧鞲衅鞯龋稍跍y量植物表型的同時，將環(huán)境因子加入到植物生長的模型中去，從而除了能夠測量表型參數(shù)外，還可以實現(xiàn)對該環(huán)境條件下該植物的生長情況進行預(yù)測，對指導(dǎo)農(nóng)業(yè)生產(chǎn)具有重大意義。所有PhenoSight數(shù)據(jù)均可以傳送到云端，進行云處理。
PhenoSight平臺結(jié)構(gòu)
PhenoSight軟件GUI
（從圖例可看出PhenoSight可實現(xiàn)植物表型測量與環(huán)境參數(shù)測量的同步，并通過機器學(xué)習(xí)構(gòu)建生長模型）
1 主要功能
? 實時作物表型監(jiān)測
通過低成本的田間終端工作站，自動化實時持續(xù)監(jiān)測作物生長和發(fā)育；
? 綜合的田間氣象監(jiān)測
記錄一系列氣象數(shù)據(jù)：光合有效輻射，空氣溫、濕度，土壤溫度、濕度與電導(dǎo)率等；
? 高通量分析流程
高通量處理和量化作物生長模型和適應(yīng)性表現(xiàn)；
? 高光譜測量
可對小區(qū)進行高光譜測量，分析相關(guān)內(nèi)含物的量
? 植物氣孔表型測量
系統(tǒng)以現(xiàn)代物聯(lián)網(wǎng)技術(shù)為基礎(chǔ)，耦合多機位氣孔連續(xù)監(jiān)測終端，開發(fā)深度學(xué)習(xí)圖像分析算法，可實現(xiàn)大規(guī)模、多物種的氣孔監(jiān)測終端的集群部署
? 水稻開花時序分析
可對水稻開花時序進行分析
2 主要優(yōu)勢
? 性能：實時田間分析
? 機動性：易于安裝和使用
? 可負擔(dān)性：競爭性低成本
? 耐用性：持續(xù)在田間條件下作業(yè)
? 預(yù)測性：結(jié)合表型數(shù)據(jù)及環(huán)境因子數(shù)據(jù)，可實現(xiàn)對未來植物生長情況的預(yù)測
3 應(yīng)用領(lǐng)域
? 小區(qū)株型、株高、冠層、冠層緊密度、葉片顏色、葉片大小等測算；
? 植物生長動態(tài)變化、生長速率研究，如植物生育期開花變化監(jiān)測；
? 植物環(huán)境響應(yīng)研究 (需要開發(fā))，如干旱、灌溉、施肥等生理研究；
? 可進行基于機器學(xué)習(xí)的可擴展的表型分析；
? 加入GxE，基因型和環(huán)境互作；
在英國諾維奇科研院中使用的物聯(lián)網(wǎng)分布式表型監(jiān)測PhenoSight系統(tǒng)
4 硬件配置
? PhenoSight服務(wù)器
? 基于移動ARM處理器
? 通過4G網(wǎng)絡(luò)實時上傳環(huán)境參數(shù)與圖像
? 與終端節(jié)點局域網(wǎng)通訊
? 允許擴展使用外接傳感器設(shè)備
? PhenoSight終端節(jié)點
? 800萬像素RGB圖像
? IP66防護等級，防塵防雨
? 環(huán)境參數(shù)傳感器
? Soil - 土壤三參數(shù)：
體積含水量 | ECb電導(dǎo)率 | 溫度 | |
精度 | ± 0.03 m3 m-3 (3%) | ± (6% + 10mS.m-1) | ± 1.0°C |
測量范圍 | 0 to 1.0 m3.m-3 | 0 to 2000 mS.m-1 | - 20°C to + 60°C |
? Air - 空氣溫濕度
溫度：-20～100℃；
相對濕度：0～100%；
精確度：10~55℃時，±0.3℃，±2.5%的相對濕度；
? Light – 光合作用有效光輻射
0-2500μMol/m2s, ±5%；
? 高光譜測量模塊
光譜范圍：400-1000 nm
? 氣孔測量模塊
可監(jiān)測物種：小麥、水稻、玉米、棉花和油菜等作物；銀杏、梧桐、桃樹等林木等的氣孔
5 軟件配置
? PhenoSight軟件包：圖像捕獲、初始質(zhì)量控制與數(shù)據(jù)備份
? 基于Linux的操作系統(tǒng)Debian ：運行數(shù)據(jù)傳輸與遠程控制
包含兩個服務(wù)器，NetATalk和VNC服務(wù)器，以便于田間數(shù)據(jù)傳輸和遠程系統(tǒng)控制，這允許用戶通過無線（使用平板電腦或智能手機）或有線連接（使用筆記本電腦）連接到每個PhenoSight終端。
? 基于GUI的成像程序：實現(xiàn)實時系統(tǒng)交互
將其添加到軟件包中，以控制RGB或NoIR相機模塊，用于延時（time-lapse）作物監(jiān)測。該程序可以自動檢測給定PhenoSight終端的IP地址，以便將該終端與其田間試驗的特定實驗ID相關(guān)聯(lián)。之后，程序要求用戶通過GUI對話框指定諸如基因型（品種）、生物學(xué)重復(fù)和成像持續(xù)時間等信息，用戶可以在其中啟動圖像采。
? picamera軟件包：自動調(diào)整白平衡，曝光模式和快門速度
根據(jù)不同的現(xiàn)場照明條件，使用一個純Python接口以連接到樹莓派Raspberry Pi相機硬件。如果用戶可以修改圖像分辨率和成像頻率。
? PhenoMonitor：集中控制系統(tǒng)
? PhenoMonitor系統(tǒng)提供中央實時監(jiān)控系統(tǒng)，以管理PhenoSight終端工作站，記錄在線或離線狀態(tài)、操作模式、日常圖像、微環(huán)境和計算資源，并整理收集數(shù)據(jù)，以便可視化、批處理和注釋。
? 圖像選擇算法：用于獲取目標(biāo)圖像
? 通過將圖像與一些固定標(biāo)準(zhǔn)進行比較，對田間試驗中捕獲的大型圖像數(shù)據(jù)集進行快速評估。
? 通過將圖像轉(zhuǎn)換為HSV色彩空間（HSV colour space）來獲取像素強度的中值；通過對圖像應(yīng)用Sobel邊緣檢測來確定圖像清晰度；通過圖像測試可見區(qū)域內(nèi)的陰影百分比。
? 一旦所有比較都通過了，所選圖像就包含在結(jié)果文件夾中，其中帶有CSV文件記錄圖像元數(shù)據(jù)，用于進一步的高通量圖像分析。
? 小區(qū)檢測算法：用于檢測被監(jiān)測小區(qū)的初始參考位置
? 基于HSV(色調(diào)、飽和度和數(shù)值)和Lab非線性色彩空間（Lab non-linear colour space），利用基于顏色的特征選擇來識別標(biāo)桿（視距尺）上的白色參考桿(小區(qū)范圍)和黑暗高度標(biāo)記的坐標(biāo)。
? 使用非監(jiān)督式的機器學(xué)習(xí)技術(shù)，如K-Means和光譜聚類，將像素分成不同的組，如天空、小區(qū)之間的土壤、作物冠層、陰影和小區(qū)領(lǐng)域。
? 在檢測出圖像中的初始參考對象之后，建立了一個虛擬3D參考系統(tǒng)，通過一系列特征選擇方法記錄了小區(qū)范圍、冠層區(qū)域和高度標(biāo)記的2D坐標(biāo)。像素度量轉(zhuǎn)換也基于標(biāo)桿（視距尺）上的高度標(biāo)記來計算。
? PhenoMeasurer算法：
? 采用自適應(yīng)強度和動態(tài)伽馬均衡來調(diào)整顏色和對比度，以最小化由不同田間照明引起的顏色失真。
? 跟蹤給定圖像和初始位置上的小區(qū)之間的幾何差異。如果不同，將應(yīng)用幾何變換方法重新校準(zhǔn)圖像，該方法移除小區(qū)范圍之外的區(qū)域，并且可以在給定圖像的頂部生成不同大小的黑條。
? 通過檢測標(biāo)桿（視距尺）的可見部分來跟蹤作物高度，并通過組合的自適應(yīng)閾值和本地的Otsu閾值方法來定義冠層區(qū)域。
? 應(yīng)用Harris和ShiTomasi角點檢測方法對冠層區(qū)域內(nèi)的尖角特征點進行定位。生成紅色虛擬點來表示直立葉的頂端、彎曲葉的反射表面、頭部和穗頭上的角點。
? 基于優(yōu)化的Canny邊緣檢測方法，對給定小區(qū)的主要方向進行量化，該方法計算作物莖稈的對齊度。
? 數(shù)據(jù)內(nèi)插與分析：
? 用來處理田間試驗中小的數(shù)據(jù)損失。
? 使用三次樣條插值方法36來填補表型數(shù)據(jù)集中的缺失
? G x P x E相互作用模型
? 用于探究基因型（品種）作物生長記錄與若干環(huán)境因素之間的相互作用。
? 用記錄的生長數(shù)據(jù)對每三天分組的環(huán)境因子進行相關(guān)分析。將環(huán)境因素歸入嵌套的三天周期可去除異常值并平滑輸入數(shù)據(jù)。
? 使用公式(eRGR)-1來轉(zhuǎn)移負相關(guān)值，因為相對生長速率(RGR)系列是相對于生長階段的增加性質(zhì)而言的遞減序列，獲得RGR與環(huán)境因子之間的動態(tài)關(guān)系。
? 基于顯著的環(huán)境因素，選擇單個線性回歸模型來估計與給定田間環(huán)境條件相關(guān)的多個基因型（品種）的RGR。
? 應(yīng)用連續(xù)的應(yīng)用程序ht=ht-1(1+yt)，得到隨時間變化的植物高度。
? 生長階段預(yù)測模型：
? 基于真實生長性狀和環(huán)境數(shù)據(jù)，探究如何預(yù)測小麥不同基因型生長階段模型。
? 采用支持向量機（SVM）與徑向基函數(shù)的內(nèi)核分類生長階段，并使用 SVMs的機器學(xué)習(xí)技術(shù)以用于分類。
6 高光譜測量模塊
高光譜模塊是一款以農(nóng)作物參量光譜提取技術(shù)為核心，綜合運用傳感器、自動測量、自動控制和網(wǎng)絡(luò)通訊等技術(shù)，對農(nóng)作物進行在線實時綜合評價的長勢監(jiān)測診斷儀。野外作物生長監(jiān)測實時診斷儀通過測量作物冠層光譜反射率來快速、實時、無損獲取作物生長信息，包括作物葉層氮含量、葉層氮積累量、葉面積指數(shù)、葉干重、葉綠素a、肥力診斷等生長指標(biāo)。克服了傳統(tǒng)作物生長信息獲取中需要田間采樣、室內(nèi)分析等繁瑣過程。
完整的野外作物生長監(jiān)測實時診斷儀系統(tǒng)包括野外作物生長監(jiān)測實時診斷儀和數(shù)據(jù)分析云服務(wù)兩部分。作物長勢監(jiān)測儀可以實現(xiàn)在固定位置實時獲取光譜數(shù)據(jù)，然后基于儀器內(nèi)置的處理器調(diào)用相關(guān)模型算法進行實時解譯反演，解算出農(nóng)作物的長勢監(jiān)測指標(biāo)（作物葉層氮含量、葉層氮積累量、葉面積指數(shù)、葉干重、葉綠素a、肥力診斷等），將這些數(shù)據(jù)上傳至云平臺的數(shù)據(jù)中心，實現(xiàn)24小時實時在線監(jiān)測結(jié)果顯示、病害缺肥自動預(yù)警等功能。
設(shè)計思路
性能優(yōu)勢
? 無人值守、定點監(jiān)測
? 低成本、多指標(biāo)，架設(shè)方便
? 秒級實時監(jiān)測，智能預(yù)警
? 激光定位、輔助攝像，所見即所得
? 兩維角度調(diào)整(360度+180度)
技術(shù)參數(shù)
? 光譜范圍：400-1000 nm
? 光譜分辨率：1 nm
? 數(shù)據(jù)位深：16位
? 采集視場角：25°
? 最小采樣間隔：1 min
? 通訊接口：4G、網(wǎng)口
? 供電電壓：12 V
? 功耗：10 W
? 工作溫度：0℃ — 50℃
? 設(shè)備尺寸（直徑×高度）：206 mm×330 mm
? 安裝接口尺寸：100*100 mm (4xφ7通孔)
? 重量：5.5 kg
? 輔助功能：激光定位、輔助攝像、兩維角度調(diào)整
? 選配組件：太陽能板，30Ah鋰離子電池（定時采集可續(xù)航20天）
? 內(nèi)置模型：作物葉層氮含量、葉層氮積累量、葉面積指數(shù)、葉干重、葉綠素a、肥力診斷等
? 模型準(zhǔn)確度：80%-95%
7 氣孔表型測量模塊
氣孔是植物蒸騰時水分從體內(nèi)排到體外的主要出口，也是光合及呼吸作用與外界氣體交換的主要通道，影響植物的光合、呼吸及蒸騰等過程，影響著全球的碳水循環(huán)。
HT-1820植物氣孔原位動態(tài)表型監(jiān)測系統(tǒng)是一款用于活體植物氣孔動態(tài)表型監(jiān)測的設(shè)備，具有實時成像、同步分析、操作便捷等特點，可實現(xiàn)24小時晝夜不間斷的氣孔行為觀測與實時圖像解析，為微觀視野下的植物氣孔響應(yīng)干旱等逆境脅迫的表型分析提供了低成本、全自動、高通量的活體無損檢測方案。系統(tǒng)以現(xiàn)代物聯(lián)網(wǎng)技術(shù)為基礎(chǔ)，耦合多機位氣孔連續(xù)監(jiān)測終端，開發(fā)深度學(xué)習(xí)圖像分析算法，可實現(xiàn)大規(guī)模、多物種的氣孔監(jiān)測終端的集群部署。廣泛應(yīng)用于小麥、水稻、玉米、棉花和油菜等作物；銀杏、梧桐、桃樹等林木。
主要參數(shù)
l 功率：40W；
l 重量：5Kg
l 顯微鏡尺寸：長12cm，寬3.6cm
l 工作溫度：-10℃~40℃；
l 相對濕度：40%~80%無凝結(jié)；
l 采樣頻率：5~30幀/秒；
l 作業(yè)范圍：單葉尺度；
l 數(shù)據(jù)格式：AVI、MP4等格式；
l 分辨率：1600×1200, 1280×1024dpi
l 可監(jiān)測物種：小麥、水稻、玉米、棉花和油菜等作物；銀杏、梧桐、桃樹等林木
分析指標(biāo)
應(yīng)用案例
南京農(nóng)業(yè)大學(xué)小麥耐漬栽培試驗田氣孔觀測集群
發(fā)表文獻
1. 孫壯壯，姜東*，蔡劍，王笑，周琴，黃梅，戴廷波，曹衛(wèi)星. 單子葉作物葉片氣孔自動識別與計數(shù)技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報, 2019. 35(23).
2. Zhuangzhuang Sun, Yunlin Song, Qing Li, Jian Cai, Qin Zhou, Mei Huang, Dong Jiang*. An integrated method for tracking and monitoring stomata dynamics from microscope videos . Plant Phenomics, 2021, 9835961.
3.In situ determination of stomatal dynamic behavior in wheat elucidates drought priming mechanisms，Under review.
4.Revealing circadian rhythm of stomatal movement based on video data in situ and deep learning in wheat ((Triticum aestivum L.)，Preparation.
