激光焊接作為現(xiàn)代制造業(yè)的核心工藝之一，憑借其高能量密度、非接觸加工和精密控制等特性，在汽車制造、航空航天、消費電子等領(lǐng)域得到廣泛應(yīng)用。然而，傳統(tǒng)激光焊接過程面臨焊縫定位精度不足、工藝參數(shù)依賴人工經(jīng)驗、質(zhì)量檢測滯后等痛點。

近年來，隨著計算機(jī)視覺與人工智能技術(shù)的深度融合，視覺AI技術(shù)正在重塑激光焊接的技術(shù)范式。據(jù)Marketsand Markets預(yù)測，到2027年全球智能焊接市場規(guī)模將達(dá)86億美元，年復(fù)合增長率13.2%。其中,視覺AI技術(shù)將占據(jù)35%以上的價值份額，成為產(chǎn)業(yè)升級的核心驅(qū)動力。

大族激光旗下子公司深圳市大族視覺技術(shù)有限公司（以下簡稱：大族視覺）依托大族激光在全球激光焊接裝備領(lǐng)域近三十年的技術(shù)沉淀和應(yīng)用積累，持續(xù)深耕智能機(jī)器視覺賽道，致力推動視覺AI技術(shù)向智能化、自動化和高可靠性方向加速發(fā)展。

一、視覺AI的技術(shù)原理

通過學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，本質(zhì)就是將數(shù)據(jù)轉(zhuǎn)換為AI模型的服務(wù)，讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識別文字、圖像和聲音等數(shù)據(jù)。視覺深度學(xué)習(xí)就是學(xué)習(xí)2D/3D圖像樣本中的顏色、紋理、形狀等的高維度特征，避免人為手動提取直線、圓等的特征，具有穩(wěn)定性和一致性高的優(yōu)點，下圖示意深度學(xué)習(xí)的一般處理流程。

▲深度學(xué)習(xí)算法的處理流程

二、HV6.0視覺軟件平臺

隨著視覺AI技術(shù)的飛速發(fā)展，國內(nèi)智能制造市場持續(xù)提升，機(jī)器視覺的應(yīng)用場景不斷擴(kuò)大。大族視覺HV6.0視覺軟件平臺應(yīng)運而生，其功能全面升級，結(jié)合多核處理器與GPU協(xié)同計算架構(gòu)，深度融合2D、3D視覺技術(shù)與AI算法，通過TBB、指令集、GPU等硬件加速處理，支持在線智能調(diào)參，擁有智能專家系統(tǒng)和海量數(shù)據(jù)等，可高效完成缺陷檢測、定位引導(dǎo)、OCR字符識別、精密測量等復(fù)雜任務(wù)。HV6.0視覺軟件平臺廣泛應(yīng)用于激光加工、PCB制造、3C電子、半導(dǎo)體封裝、新能源、汽車制造、物流倉儲、醫(yī)療設(shè)備及食品包裝等工業(yè)領(lǐng)域，助力推動智能制造和自動化生產(chǎn)。

1.算法性能卓越：集成全棧自研2D、3D及AI算法，結(jié)合CPU/GPU加速計算，圖像處理速度達(dá)100fps@4K分辨率，復(fù)雜場景下算法準(zhǔn)確率提升30%以上。

2.工具鏈豐富：集成200+視覺工具包（包括濾波、形態(tài)學(xué)處理、輪廓分析、模板匹配等），支持圖形化拖拽編程與自定義腳本開發(fā)，滿足柔性化生產(chǎn)需求。

3.環(huán)境適應(yīng)性強(qiáng)：內(nèi)置動態(tài)曝光補償、多光譜融合及抗抖動算法，可在強(qiáng)反光、低照度、高速運動等極端條件下穩(wěn)定運行。

4.硬件與系統(tǒng)架構(gòu)：采用工業(yè)級多核CPU+GPU異構(gòu)計算平臺，支持多相機(jī)同步觸發(fā)與海量數(shù)據(jù)并行處理。模塊化設(shè)計，兼容GigE Vision、USB3.0、CoaXPress等多種工業(yè)相機(jī)協(xié)議，適配線陣/面陣相機(jī)、3D激光傳感器等設(shè)備。

三、核心應(yīng)用場景與技術(shù)突破

大族視覺憑借在機(jī)器視覺領(lǐng)域的不斷探索與積累，目前視覺AI技術(shù)主要在以下四個核心場景中取得技術(shù)突破。

1. 焊前深度學(xué)習(xí)定位

在激光焊接過程中，需要對工作件的位置進(jìn)行精準(zhǔn)定位，以確保焊接質(zhì)量。傳統(tǒng)定位方法通常依賴于人工視覺或者機(jī)械測量，這不僅效率低下，還容易受到人為誤差和環(huán)境干擾的影響。視覺AI技術(shù)可以通過圖像識別對工作件進(jìn)行自動定位。例如，分析焊接工藝卡或視頻圖像中的鉚釘位置，利用深度學(xué)習(xí)算法快速定位目標(biāo)區(qū)域。這種方法不僅提高了定位的準(zhǔn)確性，還顯著減少了人工干預(yù)。

-典型案例：柔性金屬編織帶定位

▲柔性編織帶深度學(xué)習(xí)定位效果

該項目中由于來料及編織工藝的影響，金屬編織帶的產(chǎn)品形態(tài)尺寸多變且共存，難以用單一的形狀特征算法（比如模板匹配）兼容。采用自研Anchor-Free的深度學(xué)習(xí)算法，采集不同形態(tài)的編織帶樣本進(jìn)行訓(xùn)練，兼容不同形態(tài)的金屬編織帶的定位，滿足現(xiàn)場焊前定位檢測的需求。

2. 焊后焊縫質(zhì)量檢測

焊后焊縫質(zhì)量檢測焊后焊縫表面的典型缺陷（如裂紋、氣孔、夾渣、焊炸、針孔等），評估焊縫的連續(xù)性、均勻性及幾何尺寸（寬度、余高）是否符合工藝標(biāo)準(zhǔn)。

-典型案例：密封釘焊后缺陷多模態(tài)檢測

焊縫檢測中2D圖像（如RGB或灰度圖）擅長捕捉焊縫表面的顏色、紋理異常（裂紋、夾渣、氧化色差等），但無法量化缺陷的深度（如氣孔內(nèi)部尺寸）、焊縫的幾何形變（凹陷高度、坡口填充不足）等三維特征；并且在金屬反光、油污、光照不均、焊煙殘留等噪聲可能導(dǎo)致2D圖像誤判，而3D點云或深度圖可通過幾何結(jié)構(gòu)分離噪聲與真實缺陷。

大族視覺在該密封釘檢測項目中，將配準(zhǔn)后的2D圖像和3D圖像同時送入深度學(xué)習(xí)網(wǎng)絡(luò)，模型同時學(xué)習(xí)RGB的形態(tài)顏色紋理特征以及3D圖像中的深度形態(tài)特征，避免了單一傳感器物理原理上的缺陷，圖3是密封釘多模態(tài)缺陷檢測的結(jié)果。

▲密封釘多模態(tài)缺陷檢測

3. 視覺深度學(xué)習(xí)缺陷數(shù)據(jù)生成

在真實生產(chǎn)環(huán)境中，合格品數(shù)量遠(yuǎn)多于缺陷品，且缺陷形態(tài)多樣（如裂紋、劃痕、污漬等），通過深度學(xué)習(xí)缺陷樣本生成算法，可低成本擴(kuò)展訓(xùn)練集，覆蓋不同尺寸、位置、紋理的缺陷變體，緩解模型因樣本不足導(dǎo)致的過擬合及漏檢風(fēng)險。此外，生成可控的缺陷數(shù)據(jù)能模擬極端罕見案例，強(qiáng)化模型對小概率異常特征的敏感性，大幅提升工業(yè)質(zhì)檢系統(tǒng)在復(fù)雜場景下的穩(wěn)定性和可靠性。

-典型案例：發(fā)動機(jī)缸體缺陷數(shù)據(jù)生成

發(fā)動機(jī)這類大重量的工件，本身樣品數(shù)量有限，缺陷樣本更加少，參數(shù)量最少的深度學(xué)習(xí)算法都可能不滿足收斂的需求。針對這類項目的檢測需求，大族視覺研發(fā)了缺陷樣本生成的深度學(xué)習(xí)算法，從有限的缺陷數(shù)據(jù)中學(xué)習(xí)缺陷的形態(tài)、顏色、紋理特征，生成海量的缺陷數(shù)據(jù)，還可以單獨針對某一類缺陷單獨進(jìn)行增強(qiáng)，避免數(shù)據(jù)樣本不均衡的情況。圖4示該項目中的缺陷數(shù)據(jù)生成結(jié)果。

▲缺陷樣本生成算法示意

4. 集成2D、3D的統(tǒng)一深度學(xué)習(xí)訓(xùn)練平臺

-產(chǎn)品：HV-UniAI深度學(xué)習(xí)訓(xùn)練平臺

為滿足AI項目評估及現(xiàn)場實施的需求，大族視覺自主研發(fā)統(tǒng)一的深度學(xué)習(xí)訓(xùn)練平臺HV-UniAI。該平臺集成目標(biāo)檢測、分割、分類、異常檢測等AI算法；包含2D/3D數(shù)據(jù)標(biāo)注、清洗、模型訓(xùn)練、導(dǎo)出部署等功能；目的是降低AI算法的使用復(fù)雜度和入門門檻，“會點鼠標(biāo)就會用AI”；基于該平臺，技術(shù)支持工程師即可進(jìn)行深度學(xué)習(xí)項目的評估及客戶現(xiàn)場模型版本快速迭代，滿足現(xiàn)場工藝多變的需求。

▲HV-UniAI深度學(xué)習(xí)訓(xùn)練平臺

四、行業(yè)應(yīng)用與發(fā)展趨勢

大族視覺人工智能技術(shù)正以"大模型+多模態(tài)"為核心引擎，重塑激光焊接的智能化邊界。基于Transformer架構(gòu)的視覺大模型，通過海量焊接缺陷數(shù)據(jù)預(yù)訓(xùn)練，顯著提升微小氣孔、裂紋等微觀缺陷的跨場景泛化識別能力；多模態(tài)感知系統(tǒng)則打破傳統(tǒng)單一視覺維度，融合可見光、3D、紅外等多源數(shù)據(jù)，構(gòu)建"超感官認(rèn)知"網(wǎng)絡(luò)。當(dāng)前技術(shù)發(fā)展呈現(xiàn)出三大方向：

1.焊縫缺陷檢測多模態(tài)標(biāo)準(zhǔn)數(shù)據(jù)集：集成2D和3D線掃等傳感器，構(gòu)建百萬級以上的公開數(shù)據(jù)集，攜手業(yè)內(nèi)有識之士共同解決精密焊接行業(yè)痛點；

2.多模態(tài)數(shù)據(jù)融合技術(shù)：基于標(biāo)準(zhǔn)數(shù)據(jù)集，研發(fā)融合2D+3D的視覺檢測算法，解決單一傳感器圖像中焊縫缺陷檢測算法漏檢過檢問題；

3.遷移學(xué)習(xí)、小樣本收斂的深度學(xué)習(xí)算法：自研多模態(tài)的深度學(xué)習(xí)檢測分割算法，訓(xùn)練百萬級樣本數(shù)據(jù)庫下的焊縫缺陷檢測細(xì)分場景中大模型，實現(xiàn)百張以內(nèi)的小樣本遷移學(xué)習(xí)、快速收斂。

當(dāng)機(jī)器視覺遇見智能制造，不僅帶來了微觀尺度上的工藝革新，更在宏觀層面推動著制造業(yè)的數(shù)字化轉(zhuǎn)型。作為工業(yè)視覺賽道的領(lǐng)先企業(yè)，大族視覺已賦能百余家制造企業(yè)，憑借行業(yè)領(lǐng)先的視覺AI新技術(shù)正在重新定義激光焊接的質(zhì)量標(biāo)準(zhǔn)與效率極限。