AMR的關鍵技術-聚焦CIS的應用

近年來人力成本的大幅上漲及最近的COVID-19疫情的籠罩下，各個產業都已經開始著手推動工業4.0及AI (Artificial Intelligence) 做為企業評估的主要項目，例如搬運方面等技術門檻較不高的作業就會被當為改進項目的其中之一。就因單純搬運的業務工作，投入太多人力會變為過高的成本，如果減少產線人員就有可能出現人員需要兼顧搬運而導致工作品質受到了影響。

而這部分可藉由自主移動機器人 AMR (Autonomous Mobile Robot) 或是 AGV (Automated Guided Vehicle) 來完成搬運工作，因此成為工業自動化重要項目之一，這樣可降低人力成本，也可以讓作業品質穩定維持在一定的水準，更可以提升作業流程的彈性。

也因現今導航技術與相關供應鏈的逐漸成熟，採用光達或其他感測器與即時定位地圖建構 (SLAM : Simultaneous Localization and Mapping) 技術的 AMR，擁有自主導航與 3D視覺camera，在低速下可完成各種移動送物等任務是為更好的選擇。 因此3D視覺camera在AMR中是不可或缺的要素之一。

3D視覺的技術有三種關鍵技術：立體視覺、結構光、飛行測距TOF (Time of Flight)，其中後面兩種成像需要外加光源來實現。

此技術和人類觀看的方式相似是一種三角測量方式，安裝兩個camera擷取兩個或多個影像，透過比較來確定camera視場中物體距離。兩個camera會產生視差，較近物體與遠處背景的對齊會有不同，如圖一為簡易的圖示範例。

結構光基本零組件包含投射器、相機模組。是將預定的光圖案 (Pattern) 投影到物體上，再由攝影機擷取的影像與原始圖案比較，通過分析比較出相同與差異的變形，再利用三角原理來得知深度信息。如圖二為簡易的圖示範例。

TOF是沒有使用三角原理測量。其原理是透過發射出的紅外線，照到物體表面再反射，由接收器量測物體不同深度位置折射回的時間，來計算出接收端跟物體不同位置的距離。如圖三為簡易的圖示範例。

請參考表一是技術的比較：

                                                                         表一

在不同3D camera應用中立體視覺與結構光會使用到CIS (CMOS Image Sensor)，因此CIS是不可缺少的零件之一，在選擇合適的CIS就是件重要事項。

在討論 Rolling Shutter 與 Global Shutter之前，我們需先來簡單的說明一下『快門』的定義。快門也就是相機用來控制光線到達感光片 (感光區域) 或是影像 sensor 有效曝光時間長度的一種光學機構，快門由閉合到打開再回復到閉合稱為一個快門週期，這之間所用到的時間就稱為快門速度 (shutter speed) 是用秒 (S) 來表示。

快門又可分為機械快門與電子快門，機械快門是指快門的計時方法與開閉的過程會由機械裝置來作動，有關機械快門在此不多做贅述，此篇文章的重點將著重於電子快門的部份。

Rolling Shutter 是透由 CMOS Sensor 逐行曝光的方法實行，在開始曝光時 CMOS Sensor 逐行掃描並開始進行曝光，到所有像素都曝光完成。這所有的掃描與曝光動作都是在很短時間內完成，請見圖四為範例。

由於 Rolling Shutter 的機制不是所有像素同時曝光，而是逐行掃描 sensor 像素與曝光。因此在捕抓快速移動物體時，存在上下行曝光的時間差，導致影像出現扭曲變形 (Skew或Smear) 及稱為『果凍效應』 ( Jello effect)。圖五為拍攝快速轉動的電風扇，所造成的變形。

Global shutter 就與Rolling Shutter 不同，Global shutter 是透由整個場景同一個時間內實行曝光，即在曝光開始時 sensor 所有像素即開始曝光，曝光結束時 sensor 所有像素也結束曝光，但 readout 仍然是逐行 readout，請見圖六範例。

至於 Global Shutter 的機制是所有像素同時曝光，因此在捕抓快速移動物體時，並無存在時間差，即可以完美捕抓整個影像，如圖七為拍攝快速轉動的電風扇。

關於選用的場合可以參考表二簡易的 Rolling Shutter 與 Global Shutter優缺點比較

                                                                                                             表二

在 Global Shutter sensor 中會提到全域快門效率 (GSE-Global Shutter Efficiency) 是 Global Shutter 中一個重要品質參數，它是用於衡量像素對寄生光源 (Parasitic Light) 汙染的敏感度。當寄生光源高、GSE低的狀況下，相對應的圖像品質就會比較差（如拖影、陰影偽影、漏圖等情形），圖八為簡易的圖示範例。

因此，考慮到相關應用環境與截取影像的效果，針對3D視覺在CIS選擇上使用 Global Shutter CIS 會是較好的選擇。

在AI應用中，3D視覺越來越多需求終端在接收到訊息後做到精準和快速的收集與處理動作， Global Shutter CIS 為3D視覺中眼睛的角色，能完美捕抓高速移動影像，不會產生果凍效應，進而可以讓後端判斷精準度更加提升。

目前CPU與GPU的處理效能已遠遠超越人類，因此在不少影像處理會交由CPU或GPU來做運算，例如工業視覺檢測產線機器運轉可能達到500到1000個frame，人眼無法檢測但透過Global Shutter sensor 高速捕抓檢測物體影像後，再提供結果給後端判斷、確認物件是否為良品或為不良品，進而做到自動化生產的檢測。

圖九中的AMR或家用掃地機器人能避開障礙物的功能也是透過3D視覺做到障礙物遠近的判斷，對當時環境空間做出及時的反應動作。在無人機在避開障礙物方面也會選擇 Global shutter CIS ，在快速運轉中空間方向會有六個，因此可透由六個 Global shutter sensor 可抓取完整影像給後端判斷處理。

除了上述部分在車載應用上 DMS 也會使用到 Global shutter sensor來擷取完整影像 (如眼球移動與眼皮狀況) ，讓後端的AI來判斷駕駛者是否有疲勞駕駛情形進而發出警告訊息；道路車牌辨識系統、十字路口道路監控、停車場的智能管理 (圖十) 等這些也都離不開影像成像。擁有完美捕抓影像的 Global shutter sensor 才能更加準確判斷路況與車輛情形。

在圖十一中簡易列舉Global Shutter CIS的應用範例

茂綸的代理品牌之一onsemi在IC產業已經深耕著墨多年，旗下有完善的產品，目前已有電源方案、類比方案、智慧感知等事業群，在應用上更能有優勢的結合。其中onsemi智慧感知在近年來工業與消費性市場無人化腳步的加快下被運用到的產品也越來越多，例如AMR (Autonomous Mobile Robot)、交通監控、工業視覺檢測、工廠自動化等，這些應用對於感測的需求都不可或缺，因此不少醫療照護機構、零售商店或大型賣場的管理陸續大量導入AMR，用於貨物配送、環境消毒、廠房巡視、產線檢測等作業。對於所述場所onsemi的Global Shutter CIS(CMOS Image Sensor)搭配Inter FPGA，即可以提供市場完善的解決方案。

而Intel FPGA從機器人的軟體開發解決方案到硬體都能有效率與高效能方式整合，並適合應用於高效能的 AMR (Autonomous Mobile Robot)，是多功能且強大加速器。軟體方面，可善用 Edge Insights for Autonomous Mobile Robots (AMRs) Software Development Kit (SDK), Edge Insights for AMRs Software Development Kit支援感測器資料擷取、環境建模、行動計劃與行動控制。

現今影像視覺技術越來越普遍化，之後在未來各產業的電子設備勢必會加入更多的影像功能，onsemi image sensor與Inter FPGA在現今競爭激烈的市場上，可提供相當優勢在產品設計建構上。

1. 台灣儀器科技研究中心, 光學量測技術產業應用專題, https://bit.ly/3yek4Gt

2. onsemi官方網站, https://bit.ly/3OIPwlB

3. Intel官方網站, https://intel.ly/3OdD5yk

4. Field testing a new delivery system with Amazon Scout., Amazon, https://reurl.cc/A7rzmY