本項(xiàng)目開發(fā)一種基于機(jī)器視覺的顯示屏測(cè)試機(jī)械手系統(tǒng)，采用直角坐標(biāo)運(yùn)動(dòng)的機(jī)械手模擬人工點(diǎn)擊顯示屏或者薄膜按鍵觸發(fā)對(duì)應(yīng)的功能，通過機(jī)器視覺進(jìn)行恒溫箱中顯示屏工作狀況的實(shí)時(shí)監(jiān)測(cè)，實(shí)現(xiàn)顯示屏在高低溫環(huán)境下運(yùn)行狀況的閉環(huán)測(cè)試和實(shí)時(shí)監(jiān)控，并為顯示屏在高低溫環(huán)境下的性能評(píng)估提供可靠的分析數(shù)據(jù)。

1.2 項(xiàng)目指標(biāo)

序號(hào)	項(xiàng)目要求	指標(biāo)
1	恒溫箱溫度調(diào)節(jié)范圍	-40℃~70℃
2	恒溫箱尺寸規(guī)格	76*76*76 cm 102*67*86 cm 102*100*97 cm
3	恒溫箱溫度控制精度	±0.5℃
4	機(jī)械手運(yùn)動(dòng)精度	0.2 mm
5	機(jī)械手運(yùn)動(dòng)范圍	80*80*80 cm
6	圖像處理設(shè)備拍攝速度	50～10萬(wàn)幀/秒
7	圖像信號(hào)質(zhì)量檢測(cè)	響應(yīng)圖形失真、飽和度等圖像信號(hào)質(zhì)量檢測(cè)要 求

2項(xiàng)目實(shí)施方案

2.1 總體方案

本項(xiàng)目針對(duì)顯示器性能的自動(dòng)測(cè)試問題，開發(fā)基于機(jī)器視覺的顯示屏自動(dòng)化測(cè)試系統(tǒng)，系統(tǒng)總體方案如圖1所示。分別從機(jī)器臂開發(fā)和控制模塊、機(jī)器視覺模塊、系統(tǒng)集成開發(fā)三個(gè)方面展開，研究的主要內(nèi)容包括以下幾個(gè)方面：
（1）結(jié)合硬件平臺(tái)和軟件系統(tǒng)的設(shè)計(jì)，完成直角坐標(biāo)運(yùn)動(dòng)機(jī)械手的總體方案設(shè)計(jì)；通過多自由度運(yùn)動(dòng)控制技術(shù)，搭建伺服控制系統(tǒng)，完成軟件調(diào)試和人機(jī)操作界面設(shè)計(jì)，實(shí)現(xiàn)直角坐標(biāo)運(yùn)動(dòng)機(jī)械手的創(chuàng)成設(shè)計(jì)和調(diào)試。
（2）采用圖像采集和處理技術(shù)，通過相機(jī)標(biāo)定、圖像增強(qiáng)、去噪、和邊緣提取等處理，基于OpenCV和QT應(yīng)用程序開發(fā)框架，獲取并傳輸顯示器運(yùn)行狀態(tài)信息，開發(fā)基于機(jī)器視覺的顯示器運(yùn)行狀態(tài)監(jiān)測(cè)模塊。
（3）采用功能模塊設(shè)計(jì)及集成技術(shù)，完成直角坐標(biāo)機(jī)械手運(yùn)動(dòng)控制系統(tǒng)和圖像處理設(shè)備的通訊和功能匹配設(shè)計(jì)，實(shí)現(xiàn)基于機(jī)器視覺的顯示器運(yùn)行狀態(tài)的自動(dòng)化測(cè)試。

圖1 基于機(jī)器視覺的顯示屏自動(dòng)化測(cè)試系統(tǒng)

2.2具體實(shí)施方案

本項(xiàng)目開展基于機(jī)器視覺的顯示屏自動(dòng)化測(cè)試關(guān)鍵技術(shù)的研究，顯示屏放置于恒溫箱之后，通過專用夾具固定，當(dāng)機(jī)械手代替人手進(jìn)行顯示屏的操作后，需要采用機(jī)器視覺進(jìn)行顯示屏運(yùn)行狀況的監(jiān)測(cè)和信息的閉環(huán)反饋，并且建立顯示屏的故障信息數(shù)據(jù)庫(kù)。具體實(shí)施方案將從機(jī)器臂開發(fā)和控制模塊、機(jī)器視覺模塊、系統(tǒng)集成開發(fā)三個(gè)方面展開。

2.2.1機(jī)器視覺檢測(cè)模塊開發(fā)

機(jī)器視覺就是用機(jī)器代替人眼來(lái)做測(cè)量和判斷。機(jī)器視覺系統(tǒng)是通過機(jī)器視覺產(chǎn)品(即圖像攝取裝置，分CMOS和CCD兩種)將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專用的圖像處理系統(tǒng)，得到被攝目標(biāo)的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào);圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。  
（1）顯示器運(yùn)行狀況圖像信號(hào)采集
對(duì)顯示屏的運(yùn)行狀況進(jìn)行機(jī)器視覺檢測(cè)，采用CCD檢測(cè)，測(cè)量原理框圖如圖3所示。利用透鏡將顯示屏圖像端面成像到CCD上（如圖2所示）。CCD及其驅(qū)動(dòng)電路將采集的信號(hào)依次輸出，再經(jīng)過模數(shù)轉(zhuǎn)換，得到數(shù)據(jù)經(jīng)計(jì)算機(jī)處理，通過圖像處理和識(shí)別，將圖像端面成像然后反饋給計(jì)算機(jī)控制系統(tǒng)，為顯示屏的運(yùn)行狀況分析提供依據(jù)。


 

圖3 機(jī)器視覺檢測(cè)原理圖


圖4 視覺傳感測(cè)量系統(tǒng)示意圖

 
（2）顯示器運(yùn)行狀況圖像處理
用CCD得到后的圖像需要進(jìn)行圖像處理和識(shí)別，以便得到準(zhǔn)確清晰的顯示屏運(yùn)行狀況圖像。首先通過CCD及其驅(qū)動(dòng)電路將各點(diǎn)的圖像型號(hào)轉(zhuǎn)換成電信號(hào)，然后經(jīng)過程序處理，對(duì)圖像進(jìn)行增強(qiáng)、灰度化處理、噪聲去除、閾值分割、圖像邊緣提取等處理，從而提高檢測(cè)準(zhǔn)確性和精度，最后將采集到的圖像進(jìn)行分類統(tǒng)計(jì)，建立顯示屏的故障檢測(cè)數(shù)據(jù)庫(kù)。相機(jī)標(biāo)定和圖像二值化處理如圖5和圖6所示。
 
 

圖5 相機(jī)標(biāo)定
圖6 圖像二值化處理

2.2.2直角坐標(biāo)運(yùn)動(dòng)機(jī)械手控制模塊開發(fā)

采用機(jī)械手代替人手進(jìn)行顯示屏的自動(dòng)化測(cè)試，需要同時(shí)進(jìn)行直角坐標(biāo)運(yùn)動(dòng)的機(jī)械手運(yùn)動(dòng)控制和視覺伺服系統(tǒng)控制，操作人員通過人機(jī)交互界面將操作指令發(fā)送給控制系統(tǒng)，運(yùn)動(dòng)控制卡采用轉(zhuǎn)矩模式，并將數(shù)字量信息轉(zhuǎn)化為脈沖輸出，控制直角坐標(biāo)運(yùn)動(dòng)的機(jī)械手完成運(yùn)動(dòng)并進(jìn)行相應(yīng)操作。編碼器和傳感器檢測(cè)系統(tǒng)完成位置和力矩檢測(cè)，并進(jìn)行控制系統(tǒng)與檢測(cè)系統(tǒng)的信號(hào)傳輸和數(shù)據(jù)交換，完成控制系統(tǒng)模塊和機(jī)械手系統(tǒng)的設(shè)計(jì)開發(fā)，保證運(yùn)動(dòng)精度和顯示屏測(cè)試效率。

圖7 直角坐標(biāo)運(yùn)動(dòng)的機(jī)械手運(yùn)動(dòng)控制方案
將所設(shè)計(jì)的直角坐標(biāo)運(yùn)動(dòng)的機(jī)械手與傳統(tǒng)多軸聯(lián)動(dòng)機(jī)械手進(jìn)行運(yùn)動(dòng)控制方案的對(duì)比分析，控制方案如圖7所示。直角坐標(biāo)運(yùn)動(dòng)的機(jī)械手控制模塊主要用于控制機(jī)械手代替人手進(jìn)行顯示屏的測(cè)試，檢測(cè)系統(tǒng)完成位置和力矩檢測(cè)以及不同系統(tǒng)間的數(shù)據(jù)交換。
（1）運(yùn)動(dòng)系統(tǒng)控制
控制機(jī)械手進(jìn)行三自由度運(yùn)動(dòng)并代替人手進(jìn)行顯示屏的測(cè)試。根據(jù)檢測(cè)系統(tǒng)檢測(cè)到的位置和力矩信息，控制系統(tǒng)控制機(jī)械手進(jìn)行空間三自由度方向上的運(yùn)動(dòng)，并代替人手完成顯示屏的觸摸、點(diǎn)擊等動(dòng)作。

圖8 驅(qū)動(dòng)系統(tǒng)集成示意圖
（2）檢測(cè)系統(tǒng)控制
檢測(cè)系統(tǒng)用于對(duì)機(jī)械手運(yùn)動(dòng)位置、力矩進(jìn)行檢測(cè)。對(duì)檢測(cè)系統(tǒng)的控制包括三自由度直角坐標(biāo)機(jī)械手的運(yùn)動(dòng)位置檢測(cè)，執(zhí)行器末端接觸顯示屏的力矩大小檢測(cè)，以及運(yùn)動(dòng)的速度，距離等運(yùn)動(dòng)參數(shù)。
（3）數(shù)據(jù)交換
檢測(cè)系統(tǒng)由執(zhí)行機(jī)構(gòu)末端的傳感器和編碼器等元器件構(gòu)成，將傳感器測(cè)得的模擬量信號(hào)傳遞到控制模塊，控制模塊將反饋信號(hào)通過一定的轉(zhuǎn)化關(guān)系，進(jìn)行機(jī)械手的運(yùn)動(dòng)控制。
（4）人機(jī)交互
通過人機(jī)交互界面進(jìn)行機(jī)械手的運(yùn)動(dòng)控制，編寫自動(dòng)化運(yùn)動(dòng)系統(tǒng)軟件，操作者選擇對(duì)應(yīng)的菜單獲取想要的數(shù)據(jù)或?qū)崿F(xiàn)期望的功能來(lái)實(shí)現(xiàn)人機(jī)交互。該軟件系統(tǒng)可以實(shí)現(xiàn)顯示機(jī)械手多自由度的運(yùn)動(dòng)控制，位置和力矩模式切換，位置、力矩信號(hào)閉環(huán)反饋，和顯示屏故障信息的存儲(chǔ)等功能。軟件數(shù)據(jù)開發(fā)基于Windows7操作系統(tǒng)，開發(fā)語(yǔ)言環(huán)境選擇C++，數(shù)據(jù)庫(kù)選擇Oracle數(shù)據(jù)庫(kù)。電機(jī)控制的人機(jī)交互界面如圖8所示。

圖8 電機(jī)控制人機(jī)交互界面

2.2.3自動(dòng)化測(cè)試系統(tǒng)集成開發(fā)

基于機(jī)器視覺的顯示屏自動(dòng)化測(cè)試系統(tǒng)發(fā)揮作用需要各功能單元協(xié)調(diào)配合，共同完成顯示屏測(cè)試的自動(dòng)化測(cè)試作業(yè)。研究使自動(dòng)化測(cè)試系統(tǒng)各單元功能的集成載體，設(shè)計(jì)有效運(yùn)行的運(yùn)動(dòng)執(zhí)行本體，實(shí)現(xiàn)顯示屏運(yùn)行狀況檢測(cè)、機(jī)械手代替人手操作顯示屏等控制的一體化集成，保證自動(dòng)化測(cè)試工藝流程協(xié)調(diào)高效的運(yùn)行。整個(gè)自動(dòng)化測(cè)試系統(tǒng)由三大模塊：機(jī)器視覺模塊，機(jī)械臂自動(dòng)化控制模塊，和檢測(cè)模塊的集成構(gòu)成，整體集成方案和模塊間通訊方案如圖9和圖10所示。

圖9 基于機(jī)器視覺的顯示屏自動(dòng)化測(cè)試系統(tǒng)集成方案
整個(gè)自動(dòng)化測(cè)試系統(tǒng)采用現(xiàn)場(chǎng)總線進(jìn)行通訊。通過基于PC平臺(tái)和Windows操作系統(tǒng)的控制軟件，在工控機(jī)內(nèi)構(gòu)件一個(gè)具有 NC功能的實(shí)時(shí)系統(tǒng)，通過PLC的邏輯運(yùn)算，并利用PC機(jī)標(biāo)準(zhǔn)配置的硬件，實(shí)現(xiàn)邏輯運(yùn)算（TwinCAT PLC）功能、運(yùn)動(dòng)控制（TwinCAT NC）功能、浮點(diǎn)運(yùn)算、和存儲(chǔ)和處理大量數(shù)據(jù)的功能。PLC程序先將信號(hào)發(fā)送給NC軸，NC經(jīng)過軌跡規(guī)劃，PID 運(yùn)算和 IO 接口處理輸出給驅(qū)動(dòng)器來(lái)實(shí)現(xiàn)對(duì)電機(jī)的控制，同時(shí)電機(jī)的狀態(tài)通過NC及時(shí)地反饋給PLC程序。在整個(gè)CNC系統(tǒng)中，各個(gè)軟件模塊（如PLC程序、NC、Windows 應(yīng)用程序等）的工作模式類似于硬件設(shè)備，它們能夠獨(dú)立工作。各個(gè)軟件模塊之間的信息交換通過運(yùn)動(dòng)控制器ADS而完成，整個(gè)控制系統(tǒng)模塊通訊的集成構(gòu)架如圖10所示。

圖10 自動(dòng)化測(cè)試系統(tǒng)模塊通訊方案