Machine Translated by Google

Saldatura nel mondo (2022) 66:643–671

https://doi.org/10.1007/s40194-022-01257-w

DOCUMENTO DI RICERCA

Rilevamento automatizzato dei difetti nella radiografia digitale delle saldature

aerospaziali utilizzando il deep learning

¨
Topias Tyystjärvi 1,2 · Iikka Virkkunen1 · Peter Fridolf3 · Anders Rosell3 · Zuheir Barsoum4

Ricevuto: 16 luglio 2021 / Accettato: 10 gennaio 2022 / Pubblicato online: 24 febbraio 2022
© L'autore(i) 2022

Astratto
Le saldature aerospaziali vengono valutate in modo non distruttivo (NDE) durante la produzione per identificare le parti difettose che
potrebbero comportare rischi strutturali, spesso utilizzando la radiografia digitale. L'analisi di queste radiografie digitali richiede tempo e denaro.
I tentativi di automatizzare l'analisi utilizzando metodi convenzionali di visione artificiale o di apprendimento automatico superficiale non hanno
finora fornito prestazioni equivalenti a quelle degli ispettori umani a causa degli elevati requisiti di affidabilità e del basso rapporto contrasto/
rumore dei difetti. Gli approcci moderni basati sul deep learning hanno compiuto notevoli progressi verso un’analisi automatizzata affidabile.
Tuttavia, i set di dati limitati rendono le attuali soluzioni di apprendimento automatico insufficienti per l’uso industriale. Inoltre, l’accettazione
industriale richiederebbe la dimostrazione delle prestazioni utilizzando parametri standard nella valutazione non distruttiva, come la probabilità
di rilevamento (POD), che non sono comunemente utilizzati negli studi precedenti. In questo studio, il data augmentation con difetti virtuali è
stato utilizzato per superare la scarsità di dati e confrontato con il data augmentation convenzionale. Una rete di segmentazione semantica è
stata addestrata per individuare difetti dai dati radiografici computerizzati delle saldature aerospaziali. Per il confronto sono state adottate
metriche standard di valutazione nelle prove non distruttive. Infine, la rete è stata utilizzata come ausilio all'ispettore in un ambiente realistico
per prevedere i difetti dalle radiografie di produzione. La rete ha raggiunto un'elevata affidabilità di rilevamento e prestazioni di dimensionamento
dei difetti, nonché un tasso di chiamate false accettabile. È stato riscontrato che l'aumento dei difetti virtuali migliora significativamente le
prestazioni, in particolare per dimensioni limitate di set di dati e per tipi di difetti sottorappresentati anche in set di dati di grandi dimensioni. Il
prototipo distribuito si è rivelato facile da usare, indicando la disponibilità per l'adozione da parte dell'industria.

Parole chiave Deep learning · Valutazione non distruttiva · Saldatura · Aumento dei dati · Probabilità di rilevamento

1. Introduzione
La radiografia è ampiamente utilizzata nelle ispezioni di fusioni e
saldature nei settori aerospaziale, nucleare e automobilistico. Il
compito principale è trovare discontinuità che non possono essere
viste tramite ispezione visiva, come pori di gas e crepe incastonate
o difetti di rottura superficiale invisibili a occhio nudo. Jonsson et
al. [24] forniscono linee guida su come le imperfezioni della
saldatura influiscono sulla resistenza alla fatica. Poiché le
discontinuità riducono le proprietà strutturali e possono portare a
guasti imprevedibili, la valutazione non distruttiva (NDE) ha elevati
requisiti di affidabilità. I requisiti sono
Consigliato per la pubblicazione da parte della Commissione
V - NDT e Garanzia di qualità dei prodotti saldati
Topias Tyystjarvi ¨
topias@trueflaw.com
Informazioni estese sull'autore disponibili nell'ultima pagina dell'articolo.
particolarmente severi nei componenti critici per la sicurezza, come quelli utilizzati
nel settore aerospaziale.
Nelle NDE delle saldature, i dati radiografici vengono più
comunemente analizzati da ispettori umani esperti. Questo
processo manuale richiede molto tempo, dipende dall'operatore
ed è costoso. I componenti spesso presentano grandi quantità di
difetti accettabili e pochissimi difetti inaccettabili. La rarità dei
difetti critici e la monotonia dei dati di ispezione rischiano di
´
causare errori legati a fattori umani. Bertovic [ 4] riassume la
ricerca sui fattori umani nelle NDE. Tradizionalmente, l'abilità
individuale dell'ispettore e aspetti psicologici come la stanchezza
o lo stress sono stati considerati i principali fattori umani che
influenzano la qualità della NDE. Gli effetti delle procedure di
ispezione, delle interazioni uomo-macchina e dell'influenza del
gruppo sull'affidabilità dell'ispezione sono sempre più presi in
considerazione. Lo sviluppo di strumenti automatici altamente
capaci che funzionino bene con gli operatori umani è un passo
fondamentale per migliorare l’affidabilità delle NDE [5].
Il carico di lavoro dell'analisi manuale nelle ispezioni costituisce
un fattore limitante in termini di robustezza e capacità.
Machine Translated by Google

644 Saldatura nel mondo (2022) 66: 643–671

I criteri di accettazione dei difetti possono essere correlati alla dimensione,
alla forma, alla posizione e alla vicinanza tra i difetti [20]. Criteri complessi
con definizioni precise delle dimensioni comportano il rischio che la
soggettività dell'operatore influisca sul risultato, portando a risultati
incoerenti. Inoltre, a causa delle analisi costose, le risorse per la
radiografia sono spesso destinate solo al rilevamento e alla classificazione
di difetti critici che richiedono la riparazione o lo scarto del pezzo. La
raccolta di statistiche sui difetti accettabili, come la quantità media di
porosità nelle saldature, potrebbe essere inesplorata, indipendentemente
dal potenziale vantaggio di un controllo di qualità più approfondito. Con
un’analisi più economica e accurata, si potrebbero ottenere miglioramenti
nella produzione semplicemente analizzando i dati di ispezione esistenti,
il che alimenta ulteriormente l’interesse per l’automazione.
insiemi di dati contenenti migliaia o milioni di esempi.
Le risorse di dati di addestramento annotati sono limitate per molte
applicazioni NDE [11, 13] e, pertanto, il potenziale dell'apprendimento
profondo potrebbe non essere pienamente utilizzato. Recenti metodi di
segmentazione basati sul deep learning, come la U-net proposta da
Ronneberger et al. [42], consentono di sviluppare modelli ben performanti
utilizzando set di dati più piccoli. I metodi di aumento dei dati o di
simulazione vengono spesso utilizzati per compensare la mancanza di
esempi di allenamento naturale con risultati promettenti [11, 13, 26, 33].
Anche con il miglioramento della metodologia, l’adozione da parte del
settore potrebbe essere ritardata a causa delle differenze tra i parametri
di valutazione standard nelle NDE e nel deep learning, che rendono
difficile dimostrare che sono state raggiunte prestazioni sufficienti.

Sono state sviluppate diverse tecniche di automazione nel tentativo di

alleviare le difficoltà dell'analisi manuale, parzialmente o completamente.
L’analisi automatizzata basata sulla visione artificiale convenzionale o
sull’apprendimento automatico superficiale [34, 36, 45] ha visto un certo
utilizzo, soprattutto nelle ispezioni delle fusioni. Non sono stati ampiamente
adottati nelle applicazioni di saldatura a causa di sfide quali la geometria
variabile dei componenti, contrasto e luminosità bassi o incoerenti e
anomalie simili a difetti o geometria che producono eccessive false
chiamate. La Figura 1 mostra esempi di difetti e potenziali false indicazioni
nei dati radiografici del materiale utilizzato nel presente lavoro.
Recentemente, un aumento di interesse ha centrato l’apprendimento
automatico e il deep learning in particolare per l’analisi delle immagini. I
modelli di deep learning sono sviluppati attraverso l’apprendimento massivo
1.1 Difetti di saldatura
I processi di saldatura possono causare diversi tipi di difetti, la cui
classificazione è standardizzata, ad esempio, nella norma ISO
6520-1:2007 [19]. Sono elencate sei categorie di imperfezioni: crepe,
cavità, inclusioni solide, mancanza di fusione e penetrazione, forma e
dimensione imperfette e imperfezioni varie. Alcuni processi di saldatura
rischiano solo il verificarsi di alcune di queste categorie.
Questo studio riguarda un processo di saldatura in cui i difetti di interesse
sono crepe e cavità. Le crepe sono imperfezioni lineari nelle saldature
comunemente causate dalla solidificazione o da tensioni residue. In molte
applicazioni, le crepe sono un evento raro ma estremamente critico in
termini strutturali

Fig. 1 Caratteristiche dei dati

radiografici della saldatura. (a)
Anomalia simile a una crepa
non difettosa (freccia bianca). (b)
Piccolo poro in una saldatura
(freccia bianca) e lettere in
piombo con fori che ricordano i pori
(freccia nera). (c) Una coppia di
pori con dimensioni combinate
inaccettabili (cerchi bianchi uniti) e
pori più piccoli e accettabili
(cerchi neri). (d) Un'area non
difettosa sul bordo di una lastra di
imaging, simile a una grande
cavità (freccia bianca). (e) Una catena di piccoli pori (frecce bianche)
Machine Translated by Google
Saldatura nel mondo (2022) 66: 643–671
rischio. Le cavità sono causate da gas intrappolato o ritiro. I più comuni
sono i pori da gas, caratterizzati da forma rotonda. La norma ISO
5817:2014 [20] fornisce un esempio di livelli di accettazione per difetti
di saldatura, spesso utilizzati nel settore come base per criteri di
accettazione più specifici per il caso.
1.2 Radiografia industriale
La radiografia è un metodo di ispezione comune nei processi di
produzione, in particolare nelle fusioni e nelle saldature. Una panoramica
della tecnica è fornita nel manuale ASM di Greene et al. [14]. I tre
metodi più importanti per acquisire l'immagine sono la pellicola, la
radiografia computerizzata (CR) e l'array di rilevatori digitali (DDA). La
radiografia su pellicola funziona in modo simile alla normale fotografia
su pellicola: le immagini vengono sviluppate in una camera oscura e
visualizzate su un dispositivo di illuminazione con retroilluminazione
regolabile o digitalizzate. La CR si basa sulla memorizzazione
dell'immagine su una lastra di imaging riutilizzabile contenente fosforo,
che viene poi digitalizzata mediante scansione con un laser [43].
I DDA producono direttamente un output digitale dalla radiografia.
Nonostante alcune differenze nell'utilizzo e nella qualità dell'immagine,
le tecniche su pellicola, CR e DDA producono dati abbastanza simili,
pertanto per tutte è possibile utilizzare metodi di visione artificiale simili.
Questo studio è condotto per un'ispezione basata su CR.
La norma ISO 10675-1:2017 [21] descrive alcune limitazioni della
radiografia per il rilevamento dei difetti. Potrebbe non essere possibile
valutare imperfezioni superficiali come sottosquadri o schizzi di
saldatura a causa della geometria. Inoltre, poiché la radiografia produce
un’immagine 2D sull’intero spessore della parte studiata, le aree più
spesse con densità di imperfezioni volumetriche simili sembrano più
gravi. Anche le crepe che si aprono orizzontalmente (parallele rispetto
alla lastra o alla pellicola) non sono rilevabili a causa dello spessore
minimo della fessura
non producendo una differenza di intensità sufficiente. Questi effetti
rendono l’ispezione più impegnativa. NASA-STD-5009B [37] fornisce i
valori delle dimensioni minime delle crepe rilevabili per le NDE
radiografiche, a seconda dello spessore del componente.
La lunghezza minima della fessura rilevabile per componenti di 2,72
mm di spessore è 3,8 mm, che è un valore di riferimento approssimativo
adeguato per l'area di applicazione in questo lavoro.
Greene et al. [14] riassumono il modo in cui il processo di imaging
radiografico produce artefatti che riducono la qualità dei dati.
Le ombre si formano a causa della sorgente puntiforme di radiazione:
la geometria spessa proietta un'ombra lontano dalla sorgente perché
una quantità minore di raggio viene assorbita dal mezzo di conversione
dell'immagine. Qualsiasi geometria inclinata rispetto alla lastra ai fosfori
produce una visione distorta. Esistono molte fonti di sfocatura (effetti di
sfocatura), la più significativa delle quali è solitamente l'attenuazione
geometrica, cioè l'ombra parziale proiettata a causa della larghezza
della sorgente di radiazione.
Gli effetti di contrasto limitano la risoluzione effettiva, rendendo invisibili
le piccole imperfezioni al di sotto di una certa soglia.
La radiazione si disperde quando si interagisce con l'oggetto di prova
645
o la superficie direttamente sotto l'oggetto, contribuendo alla sfocatura
e causando un notevole rumore di fondo. Piccoli difetti possono essere
difficili da distinguere da questo rumore, esibendo un piccolo rapporto
contrasto-rumore (CNR).
Per catturare con precisione piccole differenze di spessore, le
immagini radiografiche vengono catturate in un intervallo dinamico elevato.
Dodici bit (4096 valori di grigio) o 14 bit (16384 valori di grigio) sono i
più comuni, mentre le immagini utilizzate nei grandi set di dati di deep
learning come ImageNet [10] hanno una profondità di 8 bit (256 valori
per canale). Tuttavia, la gamma dinamica teorica spesso non viene
utilizzata completamente per evitare tempi di esposizione eccessivamente
lunghi. Aree al di fuori della regione di interesse (ROI) come una lastra
di imaging nuda (intensità massima) o scritte in piombo (intensità
minima) occupano le estremità estreme della gamma dinamica, mentre
le caratteristiche interessanti sono spesso piccole deviazioni nei valori
di grigio. In componenti con spessore variabile, come saldature o
geometria non planare, indicazioni di difetti potrebbero essere presenti
su intervalli di intensità molto diversi. Ciò aumenta la sfida per
l'operatore, poiché l'intensità assoluta non può essere utilizzata per
determinare la gravità dell'imperfezione rilevata. I monitor dei computer
possono visualizzare 8 bit (256 valori di grigio). I monitor radiologi di
fascia alta possono visualizzare 10 bit (1024 valori di grigio) o anche di
più, tuttavia, Kimpe e Tuytschaever [25] stimano che l'occhio umano
possa distinguere solo tra circa 900 valori di grigio. Per utilizzare una
gamma dinamica più ampia di quella che l'occhio umano o il display
possono differenziare, gli operatori regolano ripetutamente i livelli di
luminosità e contrasto per concentrarsi su piccole sezioni dell'intera
gamma alla volta.
La velocità e la qualità della radiografia industriale sono in questo senso
limitate dalla fisiologia umana.
1.3 Automazione nella radiografia digitale NDE
Gli algoritmi di visione artificiale e, più recentemente, il deep learning,
sono stati ampiamente studiati per automatizzare l'analisi nella
radiografia industriale. Gli obiettivi più comuni dei metodi proposti sono
il miglioramento dell'immagine, la segmentazione (contrassegnare le
aree con difetti) e la classificazione tra diversi tipi di difetti. Rispetto ad
altri campi delle NDE come gli ultrasuoni o le correnti parassite, la
radiografia può sfruttare più facilmente gli sviluppi in campi più generali
dell'analisi automatica delle immagini, poiché le radiografie digitali sono
essenzialmente immagini con alcune differenze, come descritto nella
Sezione 1.2.
Per compensare le limitazioni nella qualità dell’immagine radiografica,
sono stati sviluppati diversi algoritmi di miglioramento e segmentazione
prima dei recenti progressi nel deep learning. I rilevatori di bordi e i filtri
di nitidezza vengono utilizzati abitualmente nell'industria. Nacereddine
et al. [36] hanno proposto il miglioramento dell'immagine per le
radiografie digitalizzate delle saldature prendendo una ROI definita
dall'utente e applicando il filtraggio mediano per la rimozione del rumore
e il miglioramento del contrasto mediante la trasformazione della tabella
di ricerca. Hanno studiato diverse soglie
Machine Translated by Google
646
approcci per la segmentazione dei difetti, con dilatazione dell'immagine
e post-elaborazione dell'erosione. Schwartz [45] ha utilizzato un
penetrametro del tipo a cuneo a gradini per collegare la luminosità di
un'immagine radiografica su pellicola digitalizzata allo spessore del
materiale. Hanno segmentato i difetti utilizzando il rilevamento dei bordi
Canny [7] e una soglia derivata dalle informazioni sullo spessore del
materiale e hanno riportato un'elevata precisione di rilevamento sulle
immagini a raggi X delle saldature e su un oggetto di prova con difetti
artificiali forati. Questo tipo di approccio richiede uno spessore uniforme
e l'utilizzo di attrezzature specifiche. In termini di uso industriale, la
segmentazione basata sulla visione artificiale tradizionale è limitata ai
casi in cui le immagini acquisite non mostrano una grande variabilità.
Sviluppi chiave nella classificazione e segmentazione basata
sull'apprendimento profondo da parte, ad esempio, di Krizhevsky et al.
[28] e Long et al. [31] hanno portato l’apprendimento automatico a
raggiungere l’uso mainstream nelle applicazioni di analisi delle immagini
come le auto a guida autonoma [3]. Esistono alcune differenze tra la
radiografia e le comuni applicazioni di analisi delle immagini. Nelle NDE,
il rilevamento degli oggetti di interesse è l'obiettivo principale e la
successiva classificazione è più semplice, perché gli oggetti sono più
semplici e sono presenti solo poche categorie. In molti casi, la
classificazione binaria dello sfondo rispetto al difetto è sufficiente e
un'ulteriore divisione può essere ottenuta osservando la forma
(proporzioni) e la dimensione dei difetti tramite la visione artificiale
convenzionale. Ciò è in contrasto con la classificazione generica delle
immagini, in cui la sfida principale è dare un senso alle immagini con
spesso una gamma diversificata di caratteristiche. Le principali sfide
dell'analisi radiografica basata sull'apprendimento profondo sono legate
alle piccole dimensioni e al CNR dei difetti, ai limiti della qualità
dell'immagine descritti nella Sezione 1.2 e ad altre caratteristiche che
sono difficili da distinguere dagli oggetti di interesse (come mostrato in
Fig. .1 ).
Gli approcci di deep learning si basano su una distribuzione
rappresentativa e ampia di esempi al fine di ottenere una conoscenza
generale su input mai visti prima. Come in molti altri campi, l’uso
dell’apprendimento automatico per il rilevamento automatizzato dei difetti
è limitato dai dati di addestramento etichettati disponibili. Soprattutto
alcuni tipi di difetti critici, come le crepe, sono relativamente rari.
L'etichettatura manuale diretta diventa sempre più problematica con
l'aumento del volume dei dati, perché richiede molto lavoro ed è
suscettibile di errori o incoerenze tra le etichette. Mery et al. [35] hanno
pubblicato il database GDXray che contiene circa 20000 immagini a
raggi X in varie categorie. Notevoli per la radiografia industriale sono
2727 immagini di fusioni e 88 immagini di saldature. Al momento, è
l'unico database disponibile pubblicamente in questo dominio.
Questo set di dati è stato utilizzato sia per le ricerche iniziali che per
quelle più recenti sul rilevamento dei difetti [32, 33, 44]. Il set di getti è
adatto per la marcatura di benchmark con deep learning, ma la
dimensione del set di dati sulle saldature è ancora limitata.
Mery e Arteta [34] forniscono un buon riassunto sulla prima
classificazione automatizzata dei dati radiografici utilizzando
rappresentazioni sparse, classificatori Support Vector Machine (SVM),
Saldatura nel mondo (2022) 66: 643–671
deep learning e altri metodi. Hanno anche estratto un voluminoso set di
dati di patch di immagini difettose e non difettose (32 × 32 pixel) dal
database GDXray [35].
Lavorare con piccole patch fornisce un modo per aumentare il volume di
dati apparente per il set di addestramento, ma limita anche
necessariamente la rete dal fare previsioni basate su caratteristiche su
scala più ampia che possono fornire un contesto importante, come l'area
in cui si trova il difetto. Riportano prestazioni elevate (precisione del
95,2%) con funzionalità estratte ottimizzate manualmente e un
classificatore SVM. Hanno anche notato che il semplice utilizzo di
funzionalità estratte da reti neurali convoluzionali (CNN) pre-addestrate
in ImageNet (VGG, Simonyan e Zisserman [46]; AlexNet, Krizhevsky et
al. [28]; e GoogleNet, Szegedy et al. [47] ) non ha funzionato bene per
queste immagini a raggi X, nonostante fosse uno strumento efficace per
il riconoscimento nelle immagini naturali. Più recentemente, Du et al.
[11] hanno utilizzato un approccio FPN (Feature Pyramid Network) [30]
per rilevare vari difetti nei componenti fusi. Come in molti casi, i dati per
l'addestramento di un sistema di rilevamento a raggi X erano limitati ed
è stato utilizzato l'aumento dei dati (rotazione, ritaglio ed equalizzazione
dell'istogramma) per utilizzare i dati disponibili in modo più efficiente. Gli
autori hanno inoltre dimostrato che questo convenzionale aumento dei
dati ha una portata limitata e che un ulteriore aumento dei dati offre
rendimenti decrescenti.
Jiang et al. [23] hanno proposto una nuova strategia di pooling per le
CNN per rappresentare meglio i difetti scuri e chiari come l'inclusione di
scorie e tungsteno, e hanno classificato i difetti in sei categorie: fessura,
mancanza di fusione, mancanza di penetrazione, inclusione di scorie,
porosità e non difetto. Per la formazione hanno utilizzato una serie di
3486 immagini da 32 × 32 pixel divise in sei categorie.
Difetti simulati e difetti fisici artificiali sono stati utilizzati per generare
dati di addestramento con risultati promettenti.
Recentemente, Gamdha et al. [13] hanno utilizzato una combinazione di
immagini radiografiche sintetiche reali e simulate per addestrare una
rete di segmentazione R-CNN [17] con maschera . I difetti sono stati
introdotti simulando immagini a raggi X da modelli CAD (computer-aided
design) generati con forme che raffigurano difetti caratteristici, come pori
e vuoti. L'aggiunta di immagini sintetiche ha migliorato le prestazioni
della rete ed è stata segnalata una precisione dell'87%. Konnik et al.
[26] hanno proposto di affrontare lo stesso problema creando difetti fisici
artificiali per la tomografia computerizzata (CT). I difetti artificiali sono
stati prodotti strato per strato mediante lavorazione laser e quindi impilati
per la scansione TC, ottenendo così una rappresentazione 3D dei difetti
accuratamente etichettata. Mery [33] ha addestrato diversi moderni
classificatori di deep learning sul set di dati dei getti GDXray [35]
utilizzando difetti ellissoidali simulati sovrapposti ad aree prive di difetti,
ottenendo un'elevata precisione sui dati reali.
1.4 Valutazione radiografica automatica in altri campi
In campo medico, l’analisi automatica dei raggi X che utilizza il deep
learning ha suscitato un ampio interesse. Rajpurkar et al. [38]
Machine Translated by Google
Saldatura nel mondo (2022) 66: 643–671
ha rilevato la polmonite dalle immagini radiografiche del torace
utilizzando un DenseNet proposto da Huang et al. [18], insieme alla
mappatura di attivazione delle classi sviluppata da Zhou et al. [54]
per ottenere una localizzazione grossolana. Hanno riportato punteggi
di previsione superiori al punteggio medio di radiologi esperti su una
serie di test di circa 400 immagini. Allo stesso modo, Li et al. [29] È
stata utilizzata una combinazione di Resnet da He et al. [16], YOLO
di Redmon et al. [40] e una rete completamente convoluzionale
(FCN) di Long et al. [31] per annotare le malattie nel set di dati
Chestx-ray8 [51] . I successi ottenuti nella radiografia medica
suggeriscono che è possibile ottenere buone prestazioni anche nelle applicazioni industriali.
previsione più spiegabile. Con i modelli di classificazione, c’è il
Le applicazioni mediche dei raggi X si concentrano su argomenti
per i quali sono disponibili set di dati pubblici di centinaia di migliaia
di immagini, come CheXpert [22] con 224.316 radiografie del torace.
Di conseguenza, i metodi di simulazione o di aumento non sono
ampiamente utilizzati. Nella NDE, i set di dati disponibili sono
generalmente molto più piccoli. Il più grande set di dati NDE pubblici
sui raggi X, GDXray [35], contiene solo 88 immagini di saldature.
Tuttavia, il compito di rilevamento può anche essere di natura più
semplice, poiché i difetti possono essere caratterizzati più
chiaramente dalla forma e variano principalmente in dimensioni e
proporzioni. Poiché i dati sulle NDE sono scarsi ma relativamente
semplici, la ricerca si è concentrata sui metodi di simulazione e sulla
produzione di difetti artificiali [13, 26, 32] .
1.5 Architetture di deep learning per la segmentazione
Le attività di analisi delle immagini possono essere suddivise in
attività di classificazione, in cui un'etichetta viene assegnata a
un'intera immagine senza localizzazione, e attività di localizzazione
per le quali utilizziamo gli stessi termini di He et al. [17]: rilevamento
di oggetti, dove gli oggetti sono contrassegnati da un riquadro di
delimitazione; segmentazione semantica, in cui ogni pixel è
classificato per produrre una separazione a grana fine tra le classi;
e la segmentazione delle istanze, in cui gli oggetti (possibilmente
sovrapposti) vengono rilevati individualmente oltre alla classificazione in termini di pixel. tramite interpolazione da vettori di spostamento
Le architetture comunemente utilizzate per la classificazione
includono Resnet di He et al. [16] e Densenet di Huang et al. [18],
che sono caratterizzati da stack molto profondi di strati convoluzionali
e da un vettore di output che descrive le probabilità di classe previste.
Zhao et al. [53] riassumono i recenti sviluppi nei modelli di rilevamento
degli oggetti: ad esempio, le reti YOLO di Redmon e Farhadi [39] e
Bochkovskiy et al. [6] sono comunemente usati. Lungo et al. [31]
hanno introdotto gli FCN per la segmentazione semantica e hanno
notevolmente migliorato i risultati in diversi compiti, tra cui PASCAL
VOC [12]. La rete è costituita da stadi di codifica e decodifica
convoluzionali con connessioni skip tra di loro. Ronneberger et al.
[42] hanno sviluppato la U-net per compiti di segmentazione su
immagini biomediche. Si basa sull'FCN con l'aggiunta di livelli di
sovracampionamento più apprendibili e una funzione di perdita
ponderata per il bilanciamento delle classi e la separazione delle
istanze. Lui et al. [17] propose la Maschera
647
R-CNN (basato su Faster R-CNN di Ren et al. [41]), che produce la
segmentazione delle istanze dalle proposte regionali generate da
una CNN.
Jiang et al. [23] hanno utilizzato una CNN con output di
classificazione per il rilevamento dei difetti di saldatura. La
segmentazione offre vantaggi rispetto alla classificazione nelle
applicazioni NDE: i difetti possono essere misurati e contati e la loro
forma può essere determinata, il che è importante per l'accettazione
dei difetti come discusso nella Sezione 1.1. Inoltre, i modelli di
segmentazione forniscono per impostazione predefinita una
rischio di fare previsioni apparentemente corrette basate su
caratteristiche irrilevanti, come un graffio accanto a una crepa. Con
un modello di segmentazione, questo verrebbe esposto poiché
verrebbero indicati solo i pixel appartenenti al graffio. Anche le
architetture di rilevamento degli oggetti e di segmentazione delle
istanze sono state utilizzate in NDE. Mery [33] ha utilizzato le reti
YOLO [6, 39] per produrre riquadri di delimitazione e Gamdha et al.
[13] hanno utilizzato la maschera R-CNN [17] per esempio la segmentazione.
1.6 Aumento dei dati per attività di segmentazione
Ronneberger et al. [42] hanno sviluppato la rete U per la
segmentazione di immagini biomediche: cellule nella microscopia a
contrasto di interferenza differenziale e contrasto di fase e strutture
neuronali nelle registrazioni al microscopio elettronico. I compiti che
mostrano sono simili a quelli della radiografia NDE in quanto i dati
sono bidimensionali (possono essere descritti da un'immagine in
scala di grigi) e le caratteristiche di interesse sono meno varie
rispetto ai compiti generali di segmentazione delle immagini. Inoltre,
le caratteristiche si differenziano debolmente dallo sfondo o hanno
confini poco chiari e sfumati. Quando si utilizzavano piccoli set di
dati, hanno scoperto che l'aumento dei dati mediante deformazioni
elastiche casuali migliorava significativamente l'accuratezza della
segmentazione. Gli aumenti sono stati effettuati generando campi di
deformazione
casuale e applicandoli alle immagini di addestramento.
Le radiografie delle saldature differiscono dalle immagini al
microscopio cellulare poiché hanno uno sfondo più vario con oggetti
di sfondo come geometria, segni, graffi e artefatti di imaging che
assomigliano alle caratteristiche di interesse (difetti). Inoltre, le linee
rette come le crepe o la mancanza di fusione hanno un significato
rendendo gli spostamenti casuali meno rappresentativi.
1.6.1 Aumento dei dati sui difetti virtuali
Di solito, l'aumento consiste in operazioni geometriche come
capovolgimenti, rotazioni, taglio, ritagli e ridimensionamenti casuali
e altre manipolazioni dell'immagine come rumore casuale e
luminosità. Nel contesto della NDE, l'aumento convenzionale non
fornisce alcuna variazione per la localizzazione del difetto. Le
tecniche di simulazione, proposte da Gamdha et al. [13] e Mery [33],
Machine Translated by Google
648
ottenere variazioni di forme e posizioni. La simulazione, tuttavia, si basa
sull’idealizzazione dei veri difetti, portando potenzialmente alla perdita di
alcune variabilità naturali.
Inoltre, imperfezioni con forme più complicate, come crepe, mancanza di
penetrazione nelle saldature o crepe derivanti dai pori, richiedono uno
sforzo crescente per essere catturate con precisione.
Virkkunen et al. [49] hanno introdotto un metodo per creare difetti virtuali
per i dati UT da utilizzare nella qualificazione NDE come alternative ai difetti
nei modelli fisici. Il principio del difetto virtuale è quello di estrarre i segnali
del difetto reale dai dati di ispezione, aumentare il segnale del difetto
separatamente e reintrodurlo in un'altra posizione. Hanno generato un
ampio insieme di dati da difetti reali limitati per misurare in modo più accurato
le prestazioni degli ispettori. Virkkunen et al. [50] hanno utilizzato la
tecnologia dei difetti virtuali come aumento dei dati per un classificatore di
deep learning per i dati dei test a ultrasuoni (UT). Koskinen et al. [27] hanno
confrontato diversi tipi di difetti virtuali e difetti simulati come dati di
addestramento per UT, scoprendo che i difetti virtuali hanno sovraperformato
i dati puramente simulati e che i dati simulati da soli erano insufficienti per
la generalizzazione. Il vantaggio del difetto virtuale è che genera variabilità
sia nei segnali di fondo che in quelli di difetto, pur avendo sia i difetti che il
fondo ricavati da dati reali. Xu et al. [52] hanno utilizzato una tecnica in
qualche modo simile per addestrare una rete per l'opacizzazione delle
immagini, estraendo manualmente gli oggetti in primo piano da immagini
con sfondi semplici e componendoli su nuovi sfondi, riportando buone
prestazioni su immagini naturali.
Un altro vantaggio chiave del difetto virtuale è la capacità di combinare
difetti provenienti da diverse fonti. Ad esempio, le crepe sono importanti da
trovare ma molto rare nei dati reali: utilizzando difetti virtuali, è possibile
estrarre crepe da altri componenti o crepe prodotte artificialmente in campioni
di validazione e trasferirle sullo sfondo specifico del caso.
1.7 Convalida
La valutazione della qualità dell'ispezione è parte integrante della NDE.
Sopravvalutare le capacità rappresenta un evidente rischio per la sicurezza,
mentre sottostimarle comporta un aumento dei costi. Le misurazioni comuni
sono affidabilità, precisione e tasso di chiamate false. L'affidabilità, la metrica
più importante, è la capacità di rilevare i difetti, mentre l'accuratezza è la
qualità con cui si determinano le dimensioni dei difetti. Il tasso di chiamate
false misura la frequenza con cui vengono fornite false indicazioni.
Una curva di probabilità di rilevamento (POD) colpita/persa è una misura
di affidabilità standard nelle NDE. Una descrizione completa è disponibile in
MIL-HDBK-1823A [1]. In una valutazione POD hit/miss, vengono esaminati
i dati di ispezione con posizioni e dimensioni dei difetti note, documentando
i difetti rilevati e non rilevati. Un modello lineare generalizzato viene quindi
adattato ai dati hit/miss che denotano la probabilità di rilevamento
Saldatura nel mondo (2022) 66: 643–671
rispetto alla dimensione del difetto. Un valore di prestazione standard
ottenuto dalla curva POD è a90/95, ovvero la dimensione del difetto che ha
una probabilità di rilevamento del 90% con limiti di confidenza del 95%.
Questa misura viene utilizzata per determinare il difetto più piccolo che può
essere riscontrato in modo affidabile. In particolare, il POD hit/miss non
tiene conto delle false chiamate e presuppone un rilevamento sempre più
difficile con dimensioni dell'imperfezione inferiori. Altri approcci per la
determinazione del POD includono aˆ vs. a, descritto in ASTM E3023-21 [2]
e POD assistito da modello [8, 9].
Il tasso di chiamate false viene analizzato separatamente dall'affidabilità.
Nella norma MIL-HDBK-1823A [1], il tasso di chiamate false è definito come
falsi positivi divisi per il numero di opportunità. La definizione delle opportunità
è specifica al caso e dovrebbe essere effettuata in modo da riflettere bene
l'ispezione.
Le prestazioni di segmentazione del deep learning sono spesso
misurate dall'intersezione sull'unione (IoU), ovvero la sovrapposizione delle
aree reali e previste divise dalle unioni delle aree reali e previste. A differenza
dei parametri NDE, IoU combina il rilevamento e le false chiamate in un
unico valore e non collega la dimensione dell'oggetto al tasso di rilevamento
come POD. L'IoU può anche essere calcolato separatamente tra ciascun
difetto di verità fondamentale e previsione sovrapposta. Spesso viene
impostata una soglia per determinare la quantità minima di sovrapposizione
richiesta per accettare una segmentazione corretta. Come discusso da Mery
[33], i difetti nelle radiografie possono essere molto piccoli, estendendosi
solo su una manciata di pixel, il che rende la soglia IoU più difficile da
raggiungere rispetto alla maggior parte delle applicazioni in cui le
caratteristiche di interesse sono più grandi. Un altro caso è quello dei cluster
di difetti, in cui una previsione può coprire correttamente due difetti molto
vicini, ma produrre un punteggio IoU basso perché non fornisce due
indicazioni separate. Il POD hit/miss non richiede la misurazione corretta
delle dimensioni, ma solo il rilevamento.
1.8 Obiettivi del lavoro presentato
Identifichiamo che le questioni chiave nello sviluppo di sistemi automatizzati
e basati sul deep learning per la radiografia industriale sono la scarsità di
dati annotati, le sfide specifiche relative ai dati radiografici che differiscono
dalle immagini comuni e la necessità di adottare metriche di deep learning
per seguire gli standard di settore in Convalida NDE.
I contributi di questo articolo sono i seguenti. Innanzitutto, mostriamo
che le moderne reti di segmentazione semantica possono essere utilizzate
per trovare difetti di saldatura in un caso di ispezione reale, utilizzando i dati
CR delle saldature nei componenti aerospaziali. In secondo luogo,
esploriamo il vantaggio aggiuntivo dell’aumento dei difetti virtuali a diverse
dimensioni di set di dati, raccogliendo e annotando prima un set di dati di
grandi dimensioni e testando progressivamente le prestazioni su sottoinsiemi
più piccoli del materiale originale. In terzo luogo, prendiamo i parametri dalle
pratiche standard nelle NDE e li adattiamo a un contesto di deep learning
per facilitare l’implementazione nelle applicazioni industriali. Infine, valutiamo
l’efficacia
Machine Translated by Google
Saldatura nel mondo (2022) 66: 643–671
del sistema come strumento di assistenza nell'ispezione radiografica
conducendo un esperimento sul campo. Consideriamo il processo di
imaging come dato, ovvero non vengono apportate modifiche
all'acquisizione dei dati. Le prestazioni vengono confrontate con le
valutazioni effettuate da ispettori umani e non, ad esempio, con i risultati
della valutazione metallografica.
2. Materiali e metodi
L’esperimento è stato suddiviso nelle seguenti fasi. Innanzitutto, i dati
grezzi sono stati raccolti da un'ispezione radiografica reale delle saldature
aerospaziali e annotati manualmente. Inoltre, le piastre campione con
crepe da fatica termica sono state riprese con la stessa unità radiografica
e annotate. In secondo luogo, è stato utilizzato l'aumento dei difetti
convenzionale e virtuale per generare set di dati di addestramento da
sottoinsiemi progressivamente più piccoli dell'intero dato. Un terzo set di
dati combinato è stato creato campionando equamente i due set di dati
aumentati. Successivamente, un modello U-net modificato [42] è stato
addestrato utilizzando diversi set di dati per generare maschere di
segmentazione semantica dei difetti rispetto allo sfondo. Le prestazioni
del modello sono state confrontate utilizzando le metriche NDE pertinenti
di POD, precisione del dimensionamento e tasso di chiamate false. Dopo
la convalida, il modello di deep learning per il rilevamento dei difetti è
stato distribuito su un dispositivo autonomo con un'unità di elaborazione
grafica (GPU).
Abbiamo creato visualizzazioni dalle maschere di segmentazione
generate applicando criteri di dimensione, forma e prossimità per
separare i difetti accettabili da quelli inaccettabili. Il sistema è stato
testato da ispettori esperti per valutare qualitativamente la sua
disponibilità per l'uso industriale.
2.1 Caso di ispezione
L'applicazione studiata in questo lavoro è l'ispezione delle saldature nei
componenti aerospaziali basata su immagini digitali a raggi X. I difetti
nelle saldature ispezionate sono principalmente piccoli pori. Pori più
grandi e ammassi di pori sono le imperfezioni inaccettabili più comuni
riscontrate. L'ispezione a raggi X è impostata con CR e impiega energie
di sorgente di circa 150 kV e superiori. Il CNR delle falle può essere
molto piccolo, talvolta prossimo all’unità. Le immagini hanno un'elevata
gamma dinamica che rende il processo di ispezione arduo, poiché gli
operatori potrebbero dover navigare tra le immagini ingrandendo e
regolando manualmente la luminosità e il contrasto per diversi parametri.
le zone.
2.2 Dati grezzi, annotazioni e fessure prodotte
È stato raccolto un set di dati composto da 223 immagini CR, ciascuna
contenente diverse aree saldate. I difetti nel set di dati erano
principalmente pori. Per espandere il set di addestramento con i dati
sulle cricche, sono state prodotte 5 fessure per fatica termica
649
su campioni di materiale simile. Per rendere rappresentativi i dati
aggiunti, i campioni fratturati sono stati scansionati con la stessa
apparecchiatura radiografica.
Il processo di annotazione è delineato in Fig. 2. I difetti sono stati
annotati manualmente per ciascuna immagine, ottenendo 3500
indicazioni separate, di cui 4 erano crepe trovate nelle immagini originali
e 5 erano crepe da fatica termica prodotte. Oltre ad annotare i difetti, su
ciascuna immagine sono stati contrassegnati manualmente due tipi di
maschere. Le aree di saldatura sono state mascherate per un uso
successivo nella fase di aumento e valutazione dei dati sui difetti virtuali.
I fori praticati negli indicatori di qualità dell'immagine (IQI) sembravano
molto simili ai pori e riducevano leggermente le prestazioni se inclusi
come esempi non difettosi. Pertanto, sono stati mascherati per
consentire loro di essere esclusi dai dati di addestramento.
Per la fase di sviluppo iniziale, le immagini grezze sono state divise
casualmente in set di dati di training (60%), validazione (20%) e test
(20%). Il numero di crepe originali era insufficiente sia per l'addestramento
che per la validazione, quindi tutte le immagini con crepe originali sono
state inserite nei set di validazione o di test e il set di addestramento
conteneva tutte le crepe prodotte, ovvero solo i difetti virtuali sono stati
utilizzati in caso di crepe . I set di training e validazione sono stati
successivamente combinati per essere utilizzati nella validazione
incrociata per confrontare i tre diversi metodi di potenziamento. Il set di
test è stato riservato per una valutazione finale.
2.3 Valutare il significato dell'aumento dei dati sui
difetti virtuali
Abbiamo confrontato 3 diverse strategie di aumento dei dati: standard
(utilizzando taglio casuale, rotazione, ritaglio e ridimensionamento,
inversioni, rumore, luminosità e contrasto), virtuale puro, utilizzando solo
difetti virtuali e combinato, un campionamento uniforme dei primi due
con il 50% di ciascun. Le pipeline di elaborazione risultanti nei tre set di
dati aumentati sono presentate in Fig. 2.
Per l'aumento standard, patch da 512 × 512 pixel sono state estratte
casualmente dalle immagini originali, metà contenenti difetti e metà
pulite. Poiché la linearità delle caratteristiche, come i bordi di saldatura o
le cricche, hanno un significato nel nostro caso, abbiamo utilizzato
trasformazioni affini che preservano le linee rette in contrasto con le
deformazioni elastiche casuali utilizzate da Ronneberger et al. [42].
Per l'aumento virtuale dei difetti, abbiamo utilizzato un metodo simile
a Virkkunen et al. [50], modificato per i dati radiografici.
I difetti annotati sono stati estratti dallo sfondo. I difetti estratti sono stati
aumentati con trasformazioni affini, rumore casuale e inversioni, e
quindi reintrodotti su aree non difettose sulle saldature utilizzando le
maschere di saldatura contrassegnate manualmente. Anche in questo
caso, patch di immagini di dimensione 512 × 512 pixel sono stati
campionati casualmente dalle immagini di training, con il 50% di esempi
difettosi e il 50% non difettosi. A
Machine Translated by Google

650 Saldatura nel mondo (2022) 66: 643–671

Radiografie di
Saldare radiografie piastre con termico
crepe da fatica
Dati grezzi

Annotazione manuale Annotazione manuale Annotazione manuale Annotazione manuale

Realtà di base Realtà di base

Maschere IQI Maschere di saldatura Annotazioni
maschere maschere

Estrarre
le crepe

Escludi dalle patch Estrai

patch
Estrarre i difetti
Segnali di difetto

Difetto Determinare
aumento le posizioni dei
difetti virtuali

Difetti virtuali

Elaborazione delle immagini

Impiantare

Virtuale difettoso
Patch difettose Patch pulite
cerotti

Toppa
Toppa
aumento
aumento

Ingresso Campione Ingresso Campione Puro virtuale

standard combinato ingresso Aumentato
dati in ingresso

Modello del treno

Fig. 2 Fasi di elaborazione dei dati che danno come risultato tre diversi input aumentati: standard, virtuale puro e combinato. La lavorazione è composta da quattro
fasi: raccolta di dati grezzi, creazione di annotazioni, elaborazione di immagini e campionamento di set di dati virtuali standard e puri per un input combinato

rappresentano difetti raggruppati comunemente presenti nelle saldature, fino a
cinque difetti virtuali sono stati impiantati casualmente in ciascun difetto
esempio, ma meno (1–2) sono i più comuni.
Sono stati aggiunti i segnali estratti di cricche da fatica termica
l'aumento del difetto virtuale. Per compensare il piccolo
numero di crepe, i segnali di crack erano sovrarappresentati
rispetto al loro numero nel set di dati originale,
in modo che costituissero il 5% di tutti i difetti impiantati. IL
le fessure impiantate risultanti presentano una variazione naturale inferiore rispetto a
i pori, ma le trasformazioni affini ne costituiscono un equo
distribuzione rappresentativa dei difetti per il compito, in modo simile a
i difetti in un approccio simulativo di Mery [33].
Precedenti studi di Virkkunen et al. [50] e Koskinen
et al. [27] utilizzando l'aumento dei difetti virtuali sui dati UT
avevano un numero limitato di difetti reali nei loro set di dati,
quindi è stato utilizzato un approccio basato su difetti virtuali puri. comunque, il
il materiale in questo studio fornisce una rappresentazione più ampia di
posizioni dei difetti nella sua forma originale, senza possibilità
per artefatti o distribuzione distorta che potrebbero essere presenti
il processo del difetto virtuale. Pertanto, abbiamo studiato se combinare
l'aumento standard e l'aumento dei difetti virtuali possono
migliorare i risultati creando un set di dati campionati 50/50 da
l'aumento virtuale standard e puro. Esempi di
l'aumento del difetto standard e virtuale è mostrato in Fig. 3.
Machine Translated by Google
Saldatura nel mondo (2022) 66: 643–671
Fig. 3 Patch di dati di addestramento e relative etichette per difetto virtuale
e aumento standard. Prima riga: difetto virtuale. (a) Dopo l'impianto del
difetto. (b) Maschera di verità corrispondente. (c) Dopo ulteriore aumento.
(d) Maschera di verità corrispondente. Seconda fila:
2.4 Architettura del modello
Abbiamo scelto un approccio di segmentazione semantica basato
sulle seguenti considerazioni. I difetti che si intersecano o sono vicini
tra loro vengono solitamente trattati come un'unica grande indicazione
in termini di accettazione dell'ispezione, quindi non è necessario
separare accuratamente i difetti. In casi come questo, è possibile
utilizzare architetture di segmentazione semantica invece della
segmentazione di istanze senza perdita di benefici per il caso d'uso.
Ciò semplifica il processo di annotazione, poiché le indicazioni
sovrapposte o adiacenti non devono essere separate. Le reti di
rilevamento degli oggetti (che emettono riquadri di delimitazione),
d'altro canto, forniscono meno informazioni sulla forma del difetto, il
che può essere problematico, ad esempio, nel caso di una fessura
posizionata diagonalmente, che produrrebbe un riquadro di
delimitazione approssimativamente quadrato. Successivamente
abbiamo utilizzato passaggi di post-elaborazione dipendenti dalla
linearità del difetto, quindi è stata necessaria l'annotazione per pixel.
Abbiamo preelaborato i dati mediante mascheramento di contrasto
per evidenziare i difetti, in modo simile a quanto utilizzato dagli
ispettori umani, e concatenato le immagini sfocate e nitide in
un'immagine di input a 2 canali per preservare le informazioni
originali. Abbiamo sottocampionato l'input da 512 × 512 a 256 × 256
pixel per ridurre i costi computazionali sulle immagini di input ad
altissima risoluzione. Ciò è stato fatto innanzitutto invertendo le
immagini, in modo che i difetti fossero leggeri (valori grandi), e quindi
massimizzando il pooling. Infine, abbiamo normalizzato il
651
Aumento standard. (e) Patch non modificata. (f) Maschera di verità
corrispondente. (g) Dopo l'aumento. (h) Maschera di verità corrispondente
immagini in batch sottraendo la media e dividendo per la deviazione
standard.
Una rete a U modificata da Ronneberger et al. [42] è stato scelto
per le prestazioni promettenti in compiti di segmentazione simili, per
l'implementazione semplice e per la sua velocità nel momento
dell'inferenza. Uno schema dell'architettura utilizzata in questo lavoro è
mostrato in Fig. 4. Si tratta di un'architettura codificatore-decodificatore
completamente convoluzionale con connessioni skip tra gli stadi
codificatore e decodificatore corrispondenti. Gli input sono patch di
immagini di dimensioni 256 × 256 pixel e l'output è una maschera di
classificazione in termini di pixel con pixel con valore 0 che indicano
lo sfondo e pixel con valore 1 che indicano il difetto. L'architettura del
modello è mostrata in Fig. 4. Le differenze rispetto alla U-net originale
sono le seguenti. Abbiamo utilizzato meno filtri per velocizzare
l'addestramento e l'inferenza, poiché non è stata rilevata alcuna
perdita di precisione derivante dalla riduzione delle dimensioni del
modello. Abbiamo modificato la convoluzione verso l'alto in
upsampling + convoluzione per compatibilità con una versione
TensorRT ottimizzata del modello utilizzato nella distribuzione.
Abbiamo utilizzato il riempimento nelle convoluzioni per mantenere
l'altezza e la larghezza costanti tra gli strati di pooling. Infine, abbiamo
utilizzato un'attivazione sigmoidea per produrre una classificazione
binaria (difetto rispetto a sfondo) anziché un output di 3 classi (primo
piano, sfondo, bordo) poiché non richiedevamo una segmentazione
consapevole dell'istanza (separazione dei difetti sovrapposti).
Per tenere conto dello squilibrio tra il numero di pixel di sfondo e
di pixel difettosi, abbiamo utilizzato un sistema binario ponderato
Machine Translated by Google

652 Saldatura nel mondo (2022) 66: 643–671

1 Sfocatura, maschera di contrasto, concatena

2 Normalizzazione
1 2 2 2 32 32 64 321 1
3 2x2 pooling massimo 4
Conv. 3x3, ReLU 5
Upsampling del vicino più vicino
+ Conv. 3x3, ReLU 6
Concatenare
Conv 1x1, sigmoideo
7 8Upsampling del vicino più vicino
3 4 4 4 7 8
6

652x652

652x652

652x652
652x652

652x652
652x652

1 2
3 64 64 128 5

4 4 4
6
821x821

821x821

821x821

821x821

821x821
32 3 5 64
128 128 256

4 4 4

46x46

46x46
6
46x46

46x46

46x46
215x215

215x215

215x215

215x215
64 3 5 128
256
4 4
23x23

23x23

23x23

128 256

Fig. 4 Uno schema dell'architettura del modello U-net modificato utilizzato per rilevare ogni. Il blocco del pool massimo e delle due convoluzioni viene ripetuto due volte,
difetti nelle radiografie. I rettangoli rappresentano un singolo esempio mentre si raddoppiando ogni volta i filtri. Vengono eseguite due convoluzioni 3×3 tra gli stadi
propaga attraverso la rete. Le loro dimensioni riflettono le dimensioni dei dati. Il valore codificatore e decodificatore, come mostrato nella sezione centrale in basso.
nella parte superiore o inferiore di ciascun rettangolo mostra la profondità del tensore Questo è seguito da 3 blocchi di sovracampionamento: sovracampionamento,
elaborato (o dell'immagine), mentre i valori all'interno di ciascun rettangolo sono la convoluzione, concatenazione dallo stadio codificatore di uguali dimensioni e un'altra
larghezza e l'altezza. L'immagine in input, a sinistra, è un'immagine monocromatica convoluzione. Infine, una convoluzione 1×1 con attivazione sigmoidea produce le
da 512×512 pixel. L'immagine viene prima preelaborata mediante mascheramento maschere di segmentazione binaria, che vengono sovracampionate alla dimensione originale.
di contrasto, normalizzazione e raggruppamento massimo a metà dimensioni, seguito In totale, il modello ha 1,7 milioni di parametri addestrabili
da due serie di convoluzioni 3×3 con 32 filtri

entropia incrociata che pesa le perdite nei pixel difettosi superiori rispetto ai nei bordi dell'immagine. Dopo l'inferenza, le maschere risultanti vengono
pixel di sfondo in modo simile a Ronneberger et al. [42]. Il peso era un riunite in una maschera di annotazione a grandezza naturale.
iperparametro ottimizzato, ne abbiamo trovati 3 che funzionavano meglio. Il Le regioni sovrapposte vengono unite mediante un'operazione OR, ovvero
modello è stato addestrato utilizzando l'ottimizzatore Adam con una un'indicazione in uno dei patch sovrapposti viene aggiunta alla maschera a
dimensione batch di 32. Il tasso di apprendimento è stato dimezzato ogni grandezza naturale.

2500 passaggi se non si è verificato alcun miglioramento nella perdita di Dopo aver generato maschere a grandezza naturale per le immagini di
convalida. Sono stati salvati i pesi che hanno prodotto la minore perdita di input, è stata eseguita un'ulteriore post-elaborazione per applicare regole di
validazione durante l'addestramento. accettazione basate su dimensione, forma e prossimità. Le maschere di
classificazione sono state postelaborate come segue. Le singole aree
2.5 Inferenza e post-elaborazione dell'output del modello indicate sono state misurate inserendo un cerchio attorno a ciascuna area
mascherata. Le informazioni sulla scalatura pixel-millimetro dell'immagine
Per facilitare i calcoli ad alta intensità di memoria, il modello accetta come sono state utilizzate per fornire il diametro di ciascuna indicazione in
input patch di immagini molto più piccole rispetto a quelle delle radiografie millimetri. Le indicazioni molto vicine tra loro sono state unite, secondo le
originali. Per fare deduzione su queste immagini di grandi dimensioni, è regole di accettazione secondo cui i difetti abbastanza vicini tra loro vengono
stata inizialmente utilizzata una finestra scorrevole per dividere ciascuna interpretati come un unico grande difetto. I difetti di forma lineare sono stati
immagine in patch con una certa sovrapposizione per aumentare la classificati inserendo un rettangolo attorno a ciascuna indicazione e
robustezza. Come nell'approccio inferenziale di Ronneberger et al. [42], i contrassegnando quelli con proporzioni strette. Sono stati rilevati cluster di
confini vengono rispecchiati per individuare meglio i difetti difetti
Machine Translated by Google

Saldatura nel mondo (2022) 66: 643–671 653

per vicinanza e porosità sono state rilevate catene da
cluster utilizzando lo stesso test di linearità utilizzato per i singoli
difetti.
Dopo aver applicato le regole di accettazione, le annotazioni risultanti
erano visualizzati da cerchi. Difetti e cluster che erano
classificati come critici, a causa delle dimensioni o simili a crepe
morfologia, erano contrassegnati da cerchi bianchi. Accettabile
i difetti erano contrassegnati da cerchi neri. Il più piccolo
indicazioni individuali sotto un dato limite di rilevabilità da
l'ispezione non è stata contrassegnata.
2.6 Valutazione
Le metriche di convalida standard nel deep learning e NDE
enfatizzare aree leggermente diverse. Per ricevere l'accettazione
nelle applicazioni industriali, la validazione di un sistema automatizzato
il sistema dovrebbe adattarsi alle pratiche di NDE. Spesso si usa un POD
misurare la capacità dell'intero sistema NDE, incluso
attrezzature e analisi. La valutazione POD in questo articolo
riguarda il rilevamento dalle radiografie disponibili.
Seguendo le considerazioni nella Sezione 1.7, abbiamo interpretato
qualsiasi sovrapposizione come un successo nel calcolo del POD. Abbiamo usato il
POD e limiti di confidenza al 95% per determinare l' a90/95
dimensione del difetto, ovvero la dimensione del difetto rilevato
Probabilità del 90% con confidenza del 95%. Se significativamente grande
fossero presenti difetti nel materiale, un'altra metrica lo farebbe
essere richiesto, tuttavia, tutti i difetti nel set di dati erano piccoli.
Abbiamo definito il tasso di chiamate false come il numero di chiamate false per
lunghezza unitaria della saldatura. Sono state stimate le lunghezze delle saldature
scheletralizzando le maschere delle saldature etichettate manualmente con
l'algoritmo di assottigliamento di Guo e Hall [15]. Il numero
di false chiamate è il numero di regioni previste con n
verità fondamentale sovrapposta. Abbiamo osservato che un significativo
parte delle false chiamate si sono verificate al di fuori dell'area di saldatura.
Se utilizzato come ausilio per l'ispettore, l'utente si limita ad andare
per considerare le risposte che appaiono sulla saldatura. Per riflettere
prestazioni in questo caso d'uso primario, abbiamo anche misurato il
tasso di chiamate false limitato all'area di saldatura per la quale viene utilizzato
le maschere di saldatura annotate manualmente per filtrare le false chiamate
fuori dalle ROI. In uno studio successivo, pianificheremo di farlo automaticamente
segmentare le aree di saldatura per escludere indicazioni esterne
ROI.
Abbiamo misurato le prestazioni di dimensionamento, o l'accuratezza, del
sistema come segue. Per ogni colpo, abbiamo utilizzato un cerchio che lo racchiude
idoneo a misurare il raggio dell'indicazione vera e prevista.
Se più di una previsione si sovrapponeva al vero difetto,
abbiamo scelto quello con la IoU più grande. Abbiamo calcolato il
errore assoluto medio in millimetri.
Utilizzando le metriche di cui sopra, è stata eseguita una convalida incrociata
quintuplicata con sette sottoinsiemi di dati
segue. Per ciascuna delle cinque esecuzioni nella convalida incrociata,
un set di controllo di un quinto dei dati è stato riservato e il
il resto è stato utilizzato per la formazione e la convalida. All'interno di ogni corsa,
erano sette sottoinsiemi di dati di addestramento con dimensioni decrescenti
utilizzato: 100%, 75%, 50%, 25%, 10%, 5% e infine 1,5%.
Le dimensioni dei set di dati sono presentate nella Tabella 1. Il
il set di dati più piccolo conteneva circa 225 512 × 512 unici
patch di pixel di dati e 14 difetti in media, che rappresentano
un materiale estremamente limitato. I set di controllo consistevano
di 35 immagini raw, suddivise come descritto nella Sezione 2.5 a
formano circa 35000 patch (senza sovrapposizione, circa 7875
patch unici di dimensioni 512 × 512 pixel). Il set formativo
è stato campionato in modo casuale dai dati di addestramento disponibili
in base alla dimensione di ciascun sottoinsieme. Un set di dati di convalida con
Il 20% dei restanti dati di allenamento è stato utilizzato per salvare i migliori
modello performante durante l'allenamento. Le pieghe erano leggermente
quantità variabili di difetti, perché i dati sono stati campionati come
immagini intere, ciascuna con un diverso numero di difetti. IL
i metodi di aumento confrontati utilizzavano gli stessi sottoinsiemi di
dati grezzi.
Ogni set di addestramento è stato utilizzato per addestrare 3 modelli: The
il primo utilizzando l'aumento standard, il secondo utilizzando puramente
difetti virtuali e il terzo utilizzando un campionamento uniforme di
aumento dei difetti standard e virtuali. Ogni modello era
addestrato per 15.000 passi con batch size 32, utilizzando Adam
ottimizzatore con tasso di apprendimento iniziale 0,0005. Il tasso di apprendimento
veniva dimezzato ogni 2500 passi se non si verificava alcun miglioramento
sul set di validazione. La formazione è stata effettuata su
una GPU Nvidia RTX 3090 e ha impiegato circa 1 ora per
modello.

Tabella 1 La dimensione del treno,

validazione e dati di test per ciascuno Sottoinsieme immagini Patch uniche Difetti (piega più piccola)
eseguire la convalida incrociata per
Treno Validazione Treno Validazione Treno Validazione Test
diminuzione delle dimensioni del set di dati,

compreso tra il 100 e l'1,5%.

dati utilizzati: il numero di 100% 112 28 25200 6300 1711 399 497

immagini di formazione e convalida 75% 84 21 18900 4725 1276 285 516

dimensioni 7750 × 7750 pixel su 5% 56 14 12600 3150 783 178 499
media per piega, il
25% 28 7 6300 1575 347 69 491
numero approssimativo di univoci
Patch da 512 × 512 pixel nel file 10% 11 3 2475 675 173 48 472
immagini e il minor numero di 5% 6 1 1350 225 73 9 476
difetti fuori dalle pieghe in ciascuno
1,5% 1 1 225 225 7 3 432
frazione
Machine Translated by Google
654
2.7 Valutazione sul campo
Dopo la valutazione quantitativa (Sezione 2.6), un modello addestrato
utilizzando l'aumento combinato è stato implementato in un ambiente di
test come parte di una pipeline di ispezione. Per facilitare l'utilizzo in un
ambiente ad alta sicurezza è stata utilizzata un'unità edge computing
autonoma senza connessione Internet. Il modello è stato convertito in
TensorRT e integrato in un software che ha generato annotazioni dall'input
radiografico. I formati dei dati di input e output sono stati impostati per
funzionare con il software di visualizzazione degli utenti. Le visualizzazioni
basate sulle regole di segmentazione e accettazione sono state valutate
dal personale addetto all'ispezione radiografica confrontando la loro analisi
con le annotazioni fornite dal modello. I risultati qualitativi sono stati raccolti
discutendo con gli utenti. Agli utenti è stato chiesto di descrivere
l'affidabilità, la trasparenza, la facilità d'uso del sistema e i vantaggi
derivanti dalla procedura di ispezione. L'hardware del prototipo era meno
potente dell'unità prevista per l'implementazione e il sistema presentava
alcune incompatibilità con il software degli utenti. Lo studio sul campo ha
avuto un numero limitato di partecipanti (tre) ed era quindi indicativo. In
futuro prevediamo di affrontare i problemi hardware e software per
condurre test sul campo più completi.
3. Risultati
3.1 Prestazioni e POD
I modelli hanno raggiunto una buona velocità di inferenza. Un'immagine di
dimensioni 7900 × 8300 pixel, divisa in 960 patch, impiega circa 6 secondi
(6,3 ms per patch) per annotare su una scheda grafica Nvidia GTX 3090
o 15 secondi su una Nvidia Jetson AGX Xavier che esegue un modello
convertito in TensorRT.
Le curve POD per il modello di aumento combinato addestrato sul
100% dei dati di addestramento disponibili sono mostrate nella Fig. 5.
Vengono tracciate cinque curve, una per ciascun modello addestrato e
convalidato nella convalida incrociata. Tutte le curve POD sono mostrate
nell'Appendice A. A causa delle grandi dimensioni del set di test, il limite
inferiore di confidenza del 95% (linea tratteggiata) è molto vicino alle curve.
L' a90/95 risultante è piccolo, indicando che il modello è sufficientemente
sensibile.
3.2 Confronto tra metodi di data augmentation
Sono stati utilizzati quattro parametri per confrontare l'aumento standard,
virtuale puro e combinato. Per ciascuno sono stati presentati i risultati dei
casi peggiori della convalida incrociata: a90/95, errore di dimensionamento,
tasso di chiamate false sull'area di saldatura e tasso di chiamate false
sull'intera immagine.
La Figura 6a mostra i risultati per a90/95. L'aumento combinato ha
ottenuto i migliori risultati per tutte le frazioni di dati,
Saldatura nel mondo (2022) 66: 643–671
Fig. 5 Curve POD per un modello di deep learning addestrato utilizzando
l'aumento combinato (standard e difetto virtuale) e il 100% dei dati di
addestramento disponibili. Come risultato di una convalida incrociata di 5 volte,
vengono disegnate 5 curve POD separate, ciascuna per un modello addestrato
e convalidato separatamente. I successi sono contrassegnati da punti neri nella
parte superiore della trama e i mancati nella parte inferiore. La curva tratteggiata
viene calcolata prendendo il minimo dei limiti di confidenza inferiori del 95% di ciascuna curva POD
L'intersezione del limite inferiore di confidenza con POD = 0,9, contrassegnato
dalle linee orizzontali e verticali tratteggiate, è il caso peggiore
a90/95
con differenze significative rispetto all'aumento virtuale standard e puro
con set di dati di piccole dimensioni. Per l'aumento combinato, l' a90/95 è
rimasto piccolo anche in sottoinsiemi molto piccoli.
L'aumento dei difetti virtuali e l'aumento convenzionale hanno funzionato
più o meno altrettanto bene con i set di dati più grandi, indicando che il
materiale era sufficiente per catturare in gran parte le caratteristiche
importanti nell'ispezione indipendentemente dal metodo di aumento: le
prestazioni erano probabilmente più limitate dalla linea oscura tra difetto e
non difettoso con indicazioni di piccole dimensioni. Con la diminuzione
delle dimensioni del set di dati, entrambi i metodi con l'aumento dei difetti
virtuali hanno sovraperformato significativamente l'aumento normale. Ciò
è probabilmente dovuto all’insufficiente variabilità nella posizione e nelle
dimensioni dei difetti con il metodo convenzionale.
La Figura 6b presenta i risultati dell'errore di dimensionamento. Le
differenze sono piuttosto piccole, con l'aumento standard e l'aumento
combinato che danno risultati complessivamente migliori. Le differenze tra
i metodi erano minori rispetto a quelle dell’a90/95 e gli errori di
dimensionamento erano generalmente piccoli, indicando che una volta
che un segnale viene correttamente classificato come difetto, la sua
segmentazione accurata è un compito più semplice per il modello di deep
learning.
I risultati per il tasso di chiamate false sull'area di saldatura sono
mostrati in Fig. 6c. I tassi erano abbastanza vicini tra loro, circa 1-2 false
chiamate per 10 cm di saldatura, senza alcun aumento significativo fino a
quando non veniva utilizzato il 5% o meno dei dati di addestramento.
Al 5%, il metodo combinato è rimasto allo stesso livello mentre il puro
aumento virtuale e standard ha fatto molto
Machine Translated by Google

Saldatura nel mondo (2022) 66: 643–671 655

Fig. 6 Quattro metriche di

valutazione NDE rispetto alla frazione
di dati per i tre metodi di aumento:
standard, virtuale puro e
aumento combinato. Vengono
visualizzati i risultati del caso
peggiore derivanti da una convalida incrociata quintupla.
Un valore inferiore è migliore per tutte le metriche.

(a) a90/95. (b) Errore di dimensionamento.

(c) Tasso di chiamate false sull'area di saldatura.

(d) Tasso di chiamate false sull'immagine

altre false chiamate. All'1,5%, il metodo combinato ha iniziato a mostrare un I tassi di chiamate false su intere immagini (anche al di fuori dell'area di
numero eccessivo di chiamate false mentre l'aumento virtuale e standard ha saldatura) sono mostrati in Fig. 6d. I tassi erano significativamente più alti
fatto meno. rispetto alle aree di saldatura, rivelando che la maggior parte delle chiamate false

Fig. 7 Maschere di segmentazione per

un campione di dati di test su modelli
addestrati con il 5% del set di dati, che
illustrano le differenze di
prestazioni nella segmentazione dei
cluster di pori. (a) Un'immagine di input
con porosità raggruppata sopra e
accanto alla saldatura. (b)
Verità fondamentale annotata
manualmente. (c) Aumento standard.
La segmentazione prevista
manca di alcuni pori più grandi e ne
trova altri in modo
apparentemente casuale. (d)
Aumento dei difetti virtuali. La maschera
è molto vicina alla realtà, con una
piccola mancanza al centro.
(e) Aumento combinato con una
previsione quasi identica alla
verità fondamentale
Machine Translated by Google

656 Saldatura nel mondo (2022) 66: 643–671

Fig. 8 Maschere di segmentazione per

un campione di dati di test su modelli
addestrati con il 5% del set di dati, che
illustrano le differenze di
prestazioni nella segmentazione di
cavità di grandi dimensioni. (a)
Un'immagine in input con una
cavità insolitamente grande. (b) Verità
fondamentale annotata manualmente. (c) Aumento standard.
Si trovano i pori piccoli e insignificanti,
mentre manca la cavità grande. (d)
Aumento virtuale del difetto,
mancante anche la cavità grande. (e)
Aumento combinato. La grande
cavità è correttamente segmentata

si è verificato al di fuori delle ROI. Il puro aumento dei difetti virtuali
ha avuto risultati peggiori rispetto ai metodi standard e combinati.
L'aumento standard ha effettuato nel complesso meno chiamate
false, mentre l'aumento combinato ha ottenuto risultati corrispondenti
per il 75% dei dati e risultati migliori per il 5%.
3.3 Risultati qualitativi
Esempi di segmentazione dei modelli sono presentati nelle Figg.
7, 8, 9, 10 e 11. Per evidenziare le differenze tra i metodi,
mostriamo le annotazioni previste generate da

Fig. 9 Maschere di segmentazione per

una patch di dati di test su modelli
addestrati con il 5% del set di dati, che
illustrano le differenze di
prestazioni nel
dimensionamento. (a)
Un'immagine di input
con un poro di medie dimensioni. (b)
Verità fondamentale
annotata manualmente. (c)
Aumento standard. Il difetto è
riscontrato, ma di dimensioni troppo
piccole. (d) Aumento virtuale
del difetto, fornendo un
dimensionamento accurato. (e) Aumento combinato, che fornisce un dimensionamento accurato
Machine Translated by Google

Saldatura nel mondo (2022) 66: 643–671 657

Fig. 10 Maschere di segmentazione

per una patch di dati di test su
modelli addestrati con il 5% del set
di dati, che illustrano le
differenze di prestazioni nelle
false chiamate. (a) Un'immagine
di input con due pori. (b) Verità
fondamentale annotata
manualmente. (c) Aumento
standard. I difetti vengono
riscontrati, ma vengono effettuate due
false chiamate senza una spiegazione chiara. (d) Aumento dei difetti virtuali.
I difetti vengono riscontrati senza
false chiamate. (e) Aumento
combinato. I difetti vengono
riscontrati senza false chiamate

modelli addestrati su una frazione del 5% dei dati di addestramento, La Figura 7 mostra i risultati per un'immagine di input con
dove le prestazioni sono chiaramente divergenti. Un campione porosità raggruppata. L'aumento standard ha avuto risultati scarsi
casuale di previsioni con diverse dimensioni di set di dati è fornito nella segmentazione di un cluster di pori. La Figura 8 mostra le
nell'Appendice C. previsioni per un input con un poro insolitamente grande. Il combinato

Fig. 11 Maschere di segmentazione

per una patch di dati di test su
modelli addestrati con il 5% del set
di dati, che illustrano le
differenze di prestazioni nelle
false chiamate. (a) Un'immagine in
input con pori piccoli e una
particella estranea, non importante
per l'ispezione. (b) Verità fondamentale
annotata manualmente.
Sono incluse tre indicazioni
molto piccole. (c) Aumento standard,
nessuna chiamata falsa. (d)
Aumento dei difetti virtuali. La
particella viene falsamente
segmentata come un
grande difetto. (e) Aumento combinato. Nessuna falsa chiamata
Machine Translated by Google

658 Saldatura nel mondo (2022) 66: 643–671

Fig. 12 Maschere di segmentazione

per una patch di dati di test su
modelli addestrati con il 100% del
set di dati, che illustrano le
differenze di prestazioni nella
ricerca di difetti lineari. I set di dati di
aumento virtuale e standard
contenevano crepe virtuali estratte
da dati esterni al caso di ispezione.
(a) Un'immagine in input con una
grande crepa. (b) Verità fondamentale
annotata manualmente. (c) Aumento
standard. La crepa è mancata.
(d) Aumento dei difetti virtuali.
La fessura è segmentata
correttamente. (e) Aumento
combinato.

La fessura è segmentata correttamente

l'aumento ha segmentato con successo il difetto, mentre i metodi virtuali in tutte le frazioni. Entrambi i metodi che coinvolgono difetti virtuali hanno
puri e standard lo hanno mancato. La Figura 9 illustra le differenze dei segmentato correttamente la fessura, mentre il metodo standard l'ha
metodi in termini di dimensioni mancata.

capacità. I metodi che coinvolgono difetti virtuali hanno mantenuto la loro

capacità di dimensionamento con piccoli dati di addestramento, mentre
l’aumento standard ha sottostimato significativamente la dimensione dei
pori. Le figure 10 e 11 mostrano due casi di false chiamate. Nella Fig. 10,
alcune false chiamate inspiegabili sono state effettuate dall'aumento
standard. Nella Fig. 11, una particella estranea ha causato una falsa
chiamata per il metodo del difetto virtuale puro.
Infine, mostriamo un esempio di capacità di trovare difetti lineari in Fig.
12, questa volta per modelli addestrati sul 100% dei dati disponibili, poiché
le differenze sono chiare
3.4 Risultati degli esperimenti sul campo
Il prototipo del modello è stato implementato con successo in un ambiente
ad alta sicurezza. Un esempio delle visualizzazioni utilizzate nell'esperimento
sul campo è mostrato nella Fig. 13. È stato riscontrato che le indicazioni
corrispondono abbastanza bene alle aspettative. Sono stati riscontrati difetti
all'estremità inferiore accettabile della dimensione del difetto; alcuni di
questi erano indicazioni lasciate non contrassegnate a causa dei criteri di
accettazione. Gli utenti hanno trovato le false chiamate all'esterno della saldatura

Fig. 13 Visualizzazioni utilizzate nel

sistema distribuito. (a) Due pori
accettabili (cerchi neri). (b) Un gruppo
di pori inaccettabile (cerchi bianchi
uniti), con un'annotazione (0,3/2) che
indica un gruppo di due pori con
diametro maggiore di 0,3 mm
Machine Translated by Google
Saldatura nel mondo (2022) 66: 643–671
l'area non influisce direttamente sull'ispezione, ma ho pensato che
potessero potenzialmente distrarre per un periodo di utilizzo più lungo.
Le annotazioni fornite dal modello sono state ritenute di facile
comprensione. Quando le indicazioni non erano presenti, a causa di
errori o potature di piccole indicazioni, il comportamento risultava più
difficile da spiegare. In generale, per gli utenti era importante
comprendere il modo in cui funzionava il modello. L'unità di edge
computing e le visualizzazioni generate si sono rivelate facili da usare.
La velocità di inferenza ha fortemente influenzato l'esperienza dell'utente.
Nel complesso, gli utenti hanno visto il potenziale per l'utilizzo del
sistema come ausilio agli ispettori.
4. Discussione
L' a90/95 di 0,6 mm per l'aumento combinato (Fig. 5) indica un'elevata
affidabilità per il caso di ispezione. È più sensibile del valore di
riferimento NASA-STD-5009B [37] per le dimensioni minime delle crepe
rilevabili, sebbene ciò sia indicativo poiché il materiale è costituito
principalmente da pori. MIL-HDBK-1823A [1] raccomanda un minimo
di 60 difetti per una curva POD hit/miss, il che si traduce in differenze
significative tra la curva POD e i limiti di confidenza. A causa di
Poiché in questo studio la dimensione del campione del set di test è
molto più ampia (circa 500 in media), il limite di confidenza inferiore al
95% (linea tratteggiata) è vicino alle curve POD. Considerando la
dimensione della patch (512 × 512 pixel), il materiale era grande rispetto
ad altri set di dati di saldatura [23, 35].
L'aggiunta di difetti virtuali ha migliorato il rilevamento su set di dati
più piccoli. La Figura 7 mostra come l'aumento standard abbia
segmentato in modo inadeguato un cluster, probabilmente a causa
della mancanza di gruppi di difetti nei dati di addestramento. L'aggiunta
di diversi difetti virtuali ad alcuni esempi ha rappresentato bene i cluster.
In termini di a90/95, l'aumento combinato ha dato risultati migliori su tutte le frazioni.
Anche utilizzando una sola immagine per generare patch di
addestramento, l'incremento combinato dei dati ha ottenuto un buon
risultato (90/95) . Con il puro aumento virtuale dei difetti, utilizzato da
Koskinen et al. [27], può esserci una perdita di alcune caratteristiche
sottili legate alla combinazione di posizione e segnale, non perfettamente
catturate dal difetto virtuale, che viene quindi alleviata mescolando i
difetti nelle loro posizioni originali e in nuove posizioni. Inoltre, la
distribuzione delle dimensioni e delle forme dei difetti è leggermente
distorta rispetto all'originale, il cui effetto è ridotto facendo in modo che
metà del set di dati segua la distribuzione originale. Nella Fig. 8, ad
esempio, il modello di aumento del difetto virtuale puro mancava una
grande cavità, che è stata rilevata dal modello di aumento combinato.
L' a90/95 è rimasto basso per quantità di dati sorprendentemente
piccole, indicando che il sistema proposto può essere adattato ad altri
casi di ispezione con una quantità moderata di annotazioni manuali.
Le differenze di prestazione nella ricerca dei difetti lineari (Fig. 12)
indicano in primo luogo che i difetti lineari sono abbastanza diversi dai
pori, che se non inclusi nell'addestramento
659
dati, potrebbero andare persi. In secondo luogo, utilizzare il difetto
virtuale per estrarre segnali di difetto adeguati da componenti diversi da
quelli da ispezionare è stata una strategia di successo per coprire un
tipo di difetto che era scarso nei dati primari. Questo è un approccio più
semplice rispetto ai metodi di simulazione [13, 33] che richiedono che
ciascun tipo di difetto sia modellato in modo rappresentativo. Koskinen
et al. [27] hanno anche riscontrato che la simulazione produce una
generalizzazione limitata. Nel caso delle crepe, il metodo combinato
non differiva dal metodo virtuale puro, poiché nel set di dati di
addestramento non erano presenti crepe del materiale originale, ma
venivano piuttosto utilizzate per la validazione.
Il puro aumento virtuale ha dimensionato i difetti in modo meno
accurato rispetto agli altri due metodi. Le maschere di verità per i difetti
virtuali, generate durante l'impianto, probabilmente hanno causato una
piccola discrepanza rispetto alle annotazioni regolari. Ancora una volta,
il problema è stato risolto combinando l'aumento dei difetti normale e
virtuale. Con set di dati di dimensioni inferiori, l'aumento convenzionale
ha iniziato a funzionare significativamente peggio, in correlazione con i
valori a90/95 molto più alti , indicando che il modello non è riuscito a
trovare un adattamento ragionevole. Un esempio di prestazioni di
dimensionamento deteriorate per il modello di aumento convenzionale
è mostrato in Fig. 9, dove un poro di medie dimensioni era
significativamente sottodimensionato.
Le annotazioni manuali per i difetti di saldatura più piccoli e accettabili
presentano alcune differenze. Esiste una regione di incertezza dove
non esiste una linea chiara tra difetto e non-difetto come il rumore o la
geometria, anche per un ispettore umano.
Questo è il caso della maggior parte delle applicazioni NDE: decidere
se un segnale è un'imperfezione diventa sempre più difficile vicino ai
limiti di ciò che è rilevabile dal metodo di imaging.
La Figura 9, ad esempio, mostra un poro molto piccolo annotato nella
verità fondamentale, ma non indicato da nessuno dei modelli di
apprendimento automatico. Non è chiaro se sia più corretto il modello o
l'annotazione manuale, poiché un'indicazione piccola potrebbe anche
essere solo rumore o geometria. Un effetto simile è stato osservato da
Mery [33]. Questo rumore nell'etichettatura fa sì che i modelli mostrino
una scarsa separazione ai casi limite nell'intervallo di piccoli difetti (che
non è interessante per l'ispezione), ma in particolare ciò non ostacola
le prestazioni sui difetti più grandi e inaccettabili. Con difetti di piccole
dimensioni, il rumore dell'etichettatura limita anche la precisione del
POD calcolato. Nei set di dati della radiografia medica, come CheXpert
[22], sono stati utilizzati comitati di esperti per migliorare l’etichettatura
dei dati di fatto, nonché etichette di incertezza per riflettere casi difficili
da giudicare. Questo richiede più risorse, ma potenzialmente
interessante per studi futuri. Nel contesto delle NDE, la convalida
tramite test distruttivi come la macrografia potrebbe fornire verità
fondamentali più accurate, ma è irrealizzabile a causa del gran numero
e delle piccole dimensioni dei difetti.
Osservando simultaneamente un tasso di chiamate false di 90/95 ,
si può vedere che i metodi hanno risposto in modo diverso a dati
insufficienti: mentre l'aumento standard ha iniziato a perdere più difetti,
il metodo combinato ha reso eccessivi falsi
Machine Translated by Google
660
chiamate. Il puro difetto virtuale era nel mezzo per entrambi questi
parametri. L' a90/95 è il parametro più cruciale tra questi due, indicando
che si è verificata una modalità di errore più sicura per i metodi che
utilizzano difetti virtuali. Gran parte del tasso di false chiamate sull'area di
saldatura può essere attribuito all'incertezza dell'annotazione alle piccole
dimensioni accettabili.
L'utilizzo di difetti impiantati virtuali puri ha causato una maggiore
tendenza alle false chiamate al di fuori del ROI. L'aumento combinato lo
ha ridotto significativamente, anche se non completamente. Un numero
eccessivo di false chiamate al di fuori delle aree di saldatura non costituisce
un problema per l’uso come strumento di aiuto umano, ma l’utilizzo di
sistemi più automatici o la raccolta di statistiche richiederebbe che fossero
ridotti a livelli inferiori. In futuro prevediamo di risolvere questo problema
segmentando automaticamente le saldature per eliminare le indicazioni al
di fuori delle regioni di interesse.
I risultati sono stati riportati in parametri NDE standard.
Altre ricerche nell'area applicativa [11, 13, 33] riportano metriche orientate
al deep learning come la precisione media media (mAP) o le curve
caratteristiche operative del ricevitore (ROC) utilizzando una soglia IoU,
che rende più difficile l'adozione da parte del settore e il confronto delle
prestazioni NDE . Il POD fornisce informazioni sulla dimensione del difetto
rispetto al rilevamento, che è importante per la NDE. Inoltre, il POD e il
tasso di chiamate false nelle NDE separano l'analisi del rilevamento e
delle chiamate false, mentre le metriche di segmentazione comuni le
combinano.
L'architettura U-net di Ronneberger et al. [42] si è rivelato flessibile per
piccole modifiche. Prestazione
si è scoperto che è fortemente guidato dalle qualità del set di dati come
numero e tipo di difetti, etichettatura del rumore e metodi di aumento, il
che indica che altre architetture come FPN di Lin et al. [30] o maschera R-
CNN di He et al. [17] non sono in grado di apportare miglioramenti
significativi alle prestazioni.
Un confronto tra più architetture simile a Mery e Arteta [34] o Mery [33] è
di interesse per la ricerca futura.
L'esperimento sul campo ha dato indicazioni di un accordo abbastanza
buono con gli operatori umani, con alcuni problemi legati a piccoli difetti
limite e false chiamate al di fuori della ROI. Il metodo di distribuzione e
l'interfaccia utente proposti si sono rivelati facili da usare e adatti
all'applicazione, e la compatibilità con il software di settore esistente ha
reso la distribuzione semplice. È stata evidenziata l’importanza della
trasparenza del sistema: ad esempio, lasciare i difetti più piccoli non
contrassegnati probabilmente riduceva la robustezza percepita del modello,
poiché l’informazione se i difetti erano stati persi o solo lasciati non
contrassegnati a causa delle piccole dimensioni non era facilmente
disponibile.
Per riassumere, la segmentazione basata sul deep learning è un
approccio fattibile per automatizzare le ispezioni radiografiche industriali
per un caso di saldatura impegnativo, in grado di soddisfare severi requisiti
nel campo aerospaziale. Il modello proposto ha indicato una buona
sensibilità rispetto al valore di riferimento NASA-STD-5009B [37] . Abbiamo
trovato un
Saldatura nel mondo (2022) 66: 643–671
L'approccio combinato di aumento dei difetti virtuali e aumento dei dati
standard ha dato un aumento significativo delle prestazioni nella metrica
più importante, l' a90/95, soprattutto nei sottoinsiemi di dati più piccoli. Il
metodo combinato ha funzionato sufficientemente bene anche nel
dimensionamento e nelle false chiamate, rendendolo il metodo
complessivamente migliore tra i tre, un miglioramento rispetto al puro
aumento dei difetti virtuali.
Buone prestazioni sulle crepe sono state ottenute utilizzando difetti virtuali,
che è una strategia più semplice rispetto ai metodi di simulazione per tipi
di difetti molto diversi.
Confrontando i risultati qualitativi, si è scoperto che i parametri NDE
adottati rappresentano bene le prestazioni e ne facilitano l’uso nell’industria.
L'esperimento sul campo ha fornito indicazioni positive per il futuro impiego
come strumento di assistenza per gli ispettori.
5. conclusione
Abbiamo sviluppato un sistema basato sul deep learning per rilevare,
segmentare e valutare automaticamente la gravità dei difetti nelle saldature
nei componenti aerospaziali. Sono state adottate metriche standard nelle
NDE per un approccio di deep learning e sono stati confrontati tre metodi
di aumento: standard (utilizzando taglio casuale, rotazione, ritaglio e
ridimensionamento, capovolgimenti, rumore, luminosità e contrasto), puro
difetto virtuale e un combinazione dei due. È stato condotto un esperimento
sul campo in un contesto industriale reale.
Il metodo migliore che utilizza l'aumento combinato ha raggiunto un'elevata
sensibilità, un dimensionamento accurato e un tasso di chiamate false
accettabile, sufficiente per i rigorosi requisiti di saldatura aerospaziale. È
stato scoperto che l'uso dei difetti virtuali aumenta la capacità di
rilevamento del modello e la combinazione dei dati dei difetti originali e
virtuali ha ampiamente alleviato i possibili problemi legati all'impianto,
come artefatti, rumore di annotazione o distribuzione distorta dei difetti.
Difetti piccoli e accettabili presentavano incoerenze nelle annotazioni
quando erano quasi non rilevabili, contribuendo al tasso di chiamate false
e piccoli errori, ma senza incidere negativamente sulle prestazioni sui
difetti più critici e di grandi dimensioni. L’adozione di metriche standard
del settore ha avanzato i metodi di automazione basati sul deep learning
verso l’uso commerciale nelle NDE di saldatura. Noi demoni-
ha affermato che il rilevamento dei difetti di saldatura basato sul deep
learning può raggiungere prestazioni elevate ed essere implementato in
ambienti industriali reali.
Appendice A. Curve POD
Le curve POD di tutti i modelli addestrati negli esperimenti sono mostrate
nelle Figg. 14, 15 e 16. Le curve sono organizzate nel modo seguente. Per
ciascun sottoinsieme di dati, che vanno da 100 fino all'1,5%, vengono
presentate tre cifre: rispettivamente una per l'aumento standard, l'aumento
del difetto virtuale e l'aumento combinato.
Machine Translated by Google
Saldatura nel mondo (2022) 66: 643–671
Le curve diventano più superficiali a frazioni inferiori di
dati, con conseguenti valori a90/95 più elevati e quindi prestazioni inferiori.
La diffusione delle curve aumenta anche per frazioni più piccole, indicando
che i singoli risultati della convalida incrociata iniziano a differire in modo
significativo a seconda del campione casuale di dati utilizzato per
l'addestramento, la convalida e il test. Le curve di aumento standard
(prima riga nelle Fig. 14, 15 e 16) hanno la maggiore diffusione, mentre le
curve di aumento combinate (terza riga) hanno la minore.
Ciò suggerisce che l’aggiunta di difetti virtuali ha aumentato la robustezza.
Fig. 14 Curve POD per i tre metodi di aumento per ridurre la dimensione del
set di dati. Come risultato di una convalida incrociata di 5 volte, in ciascuna figura
vengono disegnate 5 curve POD separate, ciascuna indicante un modello
addestrato e convalidato separatamente. Il numero di difetti utilizzati per testare
ciascun modello è mostrato nella Tabella 2. I risultati sono contrassegnati da punti neri peggiore
661
Le curve, calcolate seguendo l'approccio POD standard, non mostrano
una probabilità di rilevamento dello 0% per difetti di dimensione zero.
Questa è una limitazione nota in
attuali metodi di analisi POD, che derivano da un'insufficiente separazione
dei risultati positivi e negativi nella gamma di difetti molto piccoli. Il
problema a volte viene alleviato aggiungendo artificialmente un numero
di errori vicino allo zero nelle trame per forzare il comportamento
desiderato. Vedere Virkkunen [48] per ulteriori discussioni su questo
problema e sui potenziali rimedi.
parte superiore della trama e manca la parte inferiore. La curva tratteggiata
viene calcolata prendendo il minimo dei limiti di confidenza inferiori del 95% di
ciascuna curva POD. L'intersezione del limite inferiore di confidenza con POD =
0,9, contrassegnato dalle linee orizzontali e verticali tratteggiate, è il caso
sul a90/95
Machine Translated by Google

662 Saldatura nel mondo (2022) 66: 643–671

Fig. 15 Curve POD per i tre

metodi di aumento per ridurre la
dimensione del set di dati. Come
risultato di una convalida incrociata di
5 volte, in ciascuna figura
vengono disegnate 5 curve
POD separate, ciascuna indicante
un modello addestrato e
convalidato separatamente. Il
numero di difetti utilizzati per testare
ciascun modello è mostrato nella
Tabella 3. I successi sono
contrassegnati da punti neri nella
parte superiore del grafico e i
mancati nella parte inferiore. La curva
tratteggiata viene calcolata prendendo
il minimo dei limiti di confidenza
inferiori del 95% di ciascuna curva
POD. L'intersezione del limite
inferiore di confidenza con POD = 0,9, contrassegnato dai tratti orizzontali e verticali
linee, è il caso peggiore a90 /95
Machine Translated by Google

Saldatura nel mondo (2022) 66: 643–671 663

Fig. 16 Curve POD per i tre

metodi di aumento per ridurre la
dimensione del set di dati. Come
risultato di una convalida incrociata di
5 volte, in ciascuna figura
vengono disegnate 5 curve
POD separate, ciascuna indicante
un modello addestrato e
convalidato separatamente. Il
numero di difetti utilizzati per testare
ciascun modello è mostrato nella
Tabella 4. I successi sono
contrassegnati da punti neri nella
parte superiore del grafico e i
mancati nella parte inferiore. La curva
tratteggiata viene calcolata prendendo
il minimo dei limiti di confidenza
inferiori del 95% di ciascuna curva
POD. L'intersezione del limite
inferiore di confidenza con POD = 0,9, contrassegnato dai tratti orizzontali e verticali
linee, è il caso peggiore a90/95

Appendice B. Risultati completi della convalida incrociata
I risultati della convalida incrociata sono presentati nelle tabelle 2, 3 e 4.
Sono stati confrontati tre metodi di aumento: standard, virtuale puro e
aumento combinato. Sono state registrate quattro metriche per ciascun
modello addestrato: a90/95, errore di dimensionamento, tasso di
chiamate false sulle aree di saldatura e tasso di chiamate false su intere
immagini. Le metriche sono definite nella Sezione 2.6.
La tabella 2 mostra i risultati per i set di dati di addestramento utilizzando
il 100%, 75% e 50% dei dati disponibili. La Tabella 3 mostra i risultati
per il 25% e il 10% dei dati e la Tabella 4 per il 5% e l'1,5% dei dati.
Le immagini grezze presentavano quantità variabili di difetti, quindi il
numero di difetti disponibili per l'addestramento varia tra le pieghe. Per
insiemi di dati di grandi dimensioni, questo effetto è piccolo (1711 contro
1825) come mostrato nella seconda colonna della Tabella 2.
La tabella 4, tuttavia, mostra differenze relative significative nel numero
di difetti con set di dati di piccole dimensioni. Anche a
piccoli set di dati, la varianza tra le pieghe non è direttamente correlata
al conteggio dei difetti: ad esempio con l'1,5% dei dati, l'aumento
standard nella piega 1 con 8 difetti ha ottenuto un a90/95 migliore (0,60
mm) rispetto alla piega 4 con 26 difetti (0,90 millimetri).
Machine Translated by Google

664 Saldatura nel mondo (2022) 66: 643–671

Tabella 2 Convalida incrociata

Trenino elettrico
a90/95 Errore di FCR, FCR, immagine
risultati per a90/95, errore di dimensionamento,
tasso di chiamate false (denominato FCR) difetti (mm) dimensionamento (mm) saldatura (1/cm) (1/cm)
sulla saldatura e FCR sull'immagine per
tre metodi di aumento: 100% dei dati di allenamento
standard, virtuale puro e Norma 1 1815 0,63 0,10 0,05 0,22
aumento combinato. Norma 2 1825 0,81 0,11 0,08 0,29
Risultati per 100%, 75% e
Norma 3 1753 0,48 0,11 0,05 0,28
50% dei dati di allenamento disponibili
usato Norma 4 1775 0,54 0,09 0,04 0,38
Norma 5 1711 0,57 0,10 0,04 0,13

Puro virtuale 1 1815 0,60 0,09 0,05 0,28

Puro virtuale 2 1825 0,63 0,12 0,03 0,62
Puro virtuale 3 1753 0,57 0,10 0,05 0,39
Puro virtuale 4 1775 0,54 0,13 0,09 0,58
Puro virtuale 5 1711 0,54 0,10 0,05 0,26

Combinato 1 1815 0,60 0,10 0,06 0,23

Combinato 2 1825 0,42 0,13 0,12 0,46
Combinato 3 1753 0,51 0,09 0,03 0,29
Combinato 4 1775 0,48 0,11 0,08 0,36
Combinato 5 1711 0,51 0,11 0,10 0,30

75% dei dati di allenamento

Norma 1 1276 0,48 0,11 0,06 0,28
Norma 2 1364 0,48 0,11 0,16 0,44
Norma 3 1284 0,66 0,09 0,04 0,18
Norma 4 1297 0,45 0,11 0,09 0,39
Norma 5 1331 0,57 0,12 0,10 0,59

Puro virtuale 1 1276 0,51 0,10 0,04 0,43

Puro virtuale 2 1364 0,57 0,10 0,10 0,28
Puro virtuale 3 1284 0,60 0,17 0,08 1.00
Puro virtuale 4 1297 0,63 0,13 0,02 0,26
Puro virtuale 5 1331 0,57 0,12 0,06 0,84

Combinato 1 1276 0,48 0,10 0,12 0,59

Combinato 2 1364 0,57 0,10 0,05 0,17
Combinato 3 1284 0,54 0,10 0,05 0,22
Combinato 4 1297 0,45 0,10 0,05 0,29
Combinato 5 1331 0,51 0,12 0,07 0,38

50% dei dati di allenamento

Norma 1 866 0,81 0,11 0,08 0,25
Norma 2 783 0,57 0,11 0,04 0,21
Norma 3 921 0,57 0,08 0,03 0,25
Norma 4 864 0,60 0,15 0,07 0,39
Norma 5 950 0,45 0,13 0,07 0,40

Puro virtuale 1 866 0,81 0,16 0,02 0,83

Puro virtuale 2 783 0,51 0,12 0,06 0,34
Puro virtuale 3 921 0,60 0,12 0,03 0,94
Puro virtuale 4 864 0,57 0,10 0,04 0,29
Puro virtuale 5 950 0,48 0,10 0,04 0,31

Combinato 1 866 0,63 0,12 0,06 0,70

Combinato 2 783 0,48 0,12 0,07 0,68
Combinato 3 921 0,54 0,10 0,05 0,34
Combinato 4 864 0,57 0,11 0,08 0,38
Combinato 5 950 0,48 0,10 0,07 0,57
Machine Translated by Google

Saldatura nel mondo (2022) 66: 643–671 665

Tabella 3 Convalida incrociata

Trenino elettrico
a90/95 Errore di FCR, FCR, immagine
risultati per a90/95, errore di dimensionamento,
tasso di chiamate false (denominato FCR) difetti (mm) dimensionamento (mm) saldatura (1/cm) (1/cm)
sulla saldatura e FCR sull'immagine per
tre metodi di aumento: 25% dei dati di allenamento
standard, virtuale puro e Norma 1 446 0,57 0,11 0,06 0,43
aumento combinato.
Norma 2 473 0,54 0,10 0,05 0,21
Risultati per il 25% e il 10% di
dati di allenamento disponibili utilizzati Norma 3 512 0,75 0,11 0,03 0,40
Norma 4 488 0,78 0,10 0,06 0,30
Norma 5 347 0,66 0,10 0,05 0,18

Puro virtuale 1 446 0,51 0,11 0,17 0,66

Puro virtuale 2 473 0,48 0,10 0,05 0,31
Puro virtuale 3 512 0,54 0,10 0,08 0,51
Puro virtuale 4 488 0,57 0,13 0,04 0,28
Puro virtuale 5 347 0,69 0,10 0,12 0,92

Combinato 1 446 0,57 0,09 0,05 0,30

Combinato 2 473 0,51 0,11 0,06 0,86
Combinato 3 512 0,51 0,12 0,16 0,53
Combinato 4 488 0,54 0,12 0,05 0,31
Combinato 5 347 0,60 0,12 0,05 0,44

10% dei dati di allenamento

Norma 1 183 0,69 0,12 0,06 0,39
Norma 2 210 0,48 0,10 0,10 0,37
Norma 3 183 0,54 0,09 0,07 0,46
Norma 4 175 0,60 0,14 0,08 0,29
Norma 5 173 0,81 0,11 0,05 0,40

Puro virtuale 1 183 0,51 0,12 0,11 0,76

Puro virtuale 2 210 0,63 0,14 0,07 1.28
Puro virtuale 3 183 0,51 0,10 0,07 0,25
Puro virtuale 4 175 0,63 0,12 0,08 0,53
Puro virtuale 5 173 0,48 0,11 0,05 0,46

Combinato 1 183 0,57 0,13 0,07 0,39

Combinato 2 210 0,51 0,10 0,07 0,44
Combinato 3 183 0,51 0,10 0,08 0,33
Combinato 4 175 0,57 0,11 0,07 0,56
Combinato 5 173 0,48 0,11 0,11 0,45
Machine Translated by Google

666 Saldatura nel mondo (2022) 66: 643–671

Tabella 4 Convalida incrociata

Trenino elettrico
a90/95 Errore di FCR, FCR, immagine
risultati per a90/95, errore di dimensionamento,
tasso di chiamate false (denominato FCR) difetti (mm) dimensionamento (mm) saldatura (1/cm) (1/cm)
sulla saldatura e FCR sull'immagine per
tre metodi di aumento: 5% dei dati di allenamento
standard, virtuale puro e Norma 1 121 0,63 0,14 0,29 0,93
aumento combinato.
Norma 2 119 0,66 0,10 0,07 0,21
Risultati per il 5% e l'1,5%.
dati di allenamento disponibili utilizzati Norma 3 159 1.83 0,14 0,15 0,63
Norma 4 73 0,63 0,11 0,13 0,40
Norma 5 91 0,63 0,20 0,04 0,57

Puro virtuale 1 121 0,48 0,12 0,10 0,70

Puro virtuale 2 119 0,54 0,12 0,06 0,69
Puro virtuale 3 159 1.11 0,13 0,07 0,45
Puro virtuale 4 73 0,51 0,08 0,09 0,69
Puro virtuale 5 91 0,51 0,18 0,30 1.34

Combinato 1 121 0,48 0,11 0,07 0,30

Combinato 2 119 0,60 0,13 0,06 0,36
Combinato 3 159 0,72 0,12 0,03 0,32
Combinato 4 73 0,48 0,09 0,10 0,90
Combinato 5 91 0,51 0,14 0,07 0,44

1,5% dei dati di allenamento

Norma 1 8 0,60 0,16 0,02 1.02
Norma 2 7 0,81 0,14 0,05 0,24
Norma 3 17 1.44 0,26 0,01 0,21
Norma 4 26 0,81 0,13 0,06 1.08
Norma 5 13 0,54 0,15 0,12 0,97

Puro virtuale 1 8 0,60 0,11 0,04 1.31

Puro virtuale 2 7 0,60 0,13 0,11 0,31
Puro virtuale 3 17 0,87 0,17 0,23 0,45
Puro virtuale 4 26 0,90 0,14 0,02 2.01
Puro virtuale 5 13 0,48 0,12 0,26 2,55

Combinato 1 8 0,54 0,13 0,10 2.38

Combinato 2 7 0,57 0,19 0,12 0,60
Combinato 3 17 0,72 0,11 0,14 0,56
Combinato 4 26 0,75 0,12 0,03 0,86
Combinato 5 13 0,39 0,18 0,65 3.15

Appendice C. Maschere di previsione Ciascuno di essi presenta i risultati per sette immagini di input: una
per ogni frazione di dati disponibili utilizzati per l'addestramento, che vanno
Un campionamento casuale di patch di immagini, verità fondamentali e dal 100 all'1,5%.

le maschere di segmentazione previste sono mostrate nelle Figg. 17 e 18.

Machine Translated by Google

Saldatura nel mondo (2022) 66: 643–671 667

Fig. 17 Patch estratte casualmente dai risultati dell'inferenza dei diversi metodi di rispettivamente la prima e la seconda colonna. Le mascherine previste da
aumento per l'addestramento delle dimensioni dei set di dati che vanno da sono mostrati gli aumenti standard, virtuali puri e combinati
100-1,5%. Vengono visualizzate le immagini di input e le maschere di verità sul terreno colonne 3, 4 e 5
Machine Translated by Google

668 Saldatura nel mondo (2022) 66: 643–671

Fig. 18 Patch estratte casualmente dai risultati dell'inferenza dei diversi metodi di rispettivamente la prima e la seconda colonna. Le mascherine previste da
aumento per l'addestramento delle dimensioni dei set di dati che vanno da sono mostrati gli aumenti standard, virtuali puri e combinati
100-1,5%. Vengono visualizzate le immagini di input e le maschere di verità sul terreno colonne 3, 4 e 5
Machine Translated by Google
Saldatura nel mondo (2022) 66: 643–671
Ringraziamenti Ringraziamo Mika Sampio (Trueflaw) per le annotazioni e
Oskar Siljama (Trueflaw) per l'assistenza con l'implementazione del codice.
Finanziamento Finanziamento ad accesso aperto fornito dall'Università di Aalto.
Dichiarazioni
Conflitto di interessi Gli autori non dichiarano interessi concorrenti.
Accesso aperto Questo articolo è concesso in licenza con una licenza
internazionale Creative Commons Attribution 4.0, che consente l'uso, la
condivisione, l'adattamento, la distribuzione e la riproduzione in qualsiasi
mezzo o formato, a condizione che si dia il giusto credito all'autore originale
e alla fonte, fornire un collegamento alla licenza Creative Commons e
indicare se sono state apportate modifiche. Le immagini o altro materiale di
terze parti in questo articolo sono inclusi nella licenza Creative Commons
dell'articolo, se non diversamente indicato in una linea di credito al materiale.
Se il materiale non è incluso nella licenza Creative Commons dell'articolo e
l'uso previsto non è consentito dalle norme di legge o supera l'uso consentito,
dovrai ottenere l'autorizzazione direttamente dal detentore del copyright. Per
visualizzare una copia di questa licenza, visitare http://creativecommons. org/
licenses/by/4.0/.
Riferimenti
1. Annis C (2009) Mil-hdbk-1823a, valutazione dell'affidabilità del sistema
di valutazione non distruttiva 2.
ASTM International (2021) Pratica standard per l'analisi della probabilità di
ˆ
rilevamento per dati a rispetto a (astm e3023-21). https://doi.org/10.1520/
E3023-21 _ 3. Badue C,
Guidolini R, Carneiro RV, Azevedo P, Cardoso VB, Forechi A, Jesus L,
Berriel R, Paixao TM, Mutz F et al (2020)
Auto a guida autonoma: un sondaggio. Applicazione sistema Expert:
113816. https://doi. org/10.1016/
´
j.eswa.2020.113816 4. Bertovic M (2016) Fattori umani nelle prove non
distruttive (ndt): rischi e sfide dell'NDT meccanizzato. Tesi di dottorato,
Technische Universitaet Berlin (Germania), https://doi.org/10.14279/
deposi tonce-4685
5. Bertovic M, Virkkunen I (2021) NDE 4.0: nuovo paradigma per il personale
ispettivo NDE, pp 1–31. Pubblicazione internazionale di Springer. https://
doi.org/10.1007/978-3-030-48200-8 6. Bochkovskiy A, Wang
CY, Liao HYM (2020) Yolov4: velocità e precisione ottimali del rilevamento
degli oggetti. arXiv:200410934 7. Canny J (1986) Un approccio
computazionale al rilevamento dei bordi. Transazioni IEEE sull'analisi dei
modelli e sull'intelligenza artificiale PAMI 8 (6): 679–698. https://doi.org/
10.1109/TPAMI.1986.4767851 8. Chapuis B, Jenson F, Calmon
P, DiCrisci G, Hamilton J, Pomie L´ (2014) Curve pod supportate dalla
simulazione per test ultrasonici automatizzati delle saldature
circonferenziali della tubazione. Saldatura nel mondo 58(4):433– 441.
https://doi.org/10.1007/s40194-014-0125-z 9.
Chapuis B, Calmon P, Jenson F et al (2016) Migliori pratiche per l'uso della
simulazione nella stima delle curve pod. Collezione IIW https://doi.org/
10.1007/978-3-319-62659-8 10. Deng J, Dong
W, Socher R, Li LJ, Li K, Fei-Fei L (2009)
Imagenet: un database di immagini gerarchico su larga scala. In:
conferenza IEEE del 2009 sulla visione artificiale e il riconoscimento di modelli.
IEEE, pagine 248–255. https://doi.org/10.1109/CVPR.2009.5206848
669
11. Du W, Shen H, Fu J, Zhang G, He Q (2019) Approcci per il miglioramento
del rilevamento dei difetti dell'immagine a raggi X delle parti in alluminio
fuso di automobili basate sull'apprendimento profondo. NDT & E
International 107:102,144. https://doi.org/10.1016/j.ndteint.2019.102144
12. Everingham M, Van Gool L, Williams CKI, Winn J, Zisserman A (2011)
Le classi di oggetti visivi PASCAL sfidano i risultati del 2011 (VOC2011).
http://www.pascal-network.org/challenges/VOC/voc2011/workshop/
index.html _
13. Gamdha D, Unnikrishnakurup S, Rose KJ, Surekha M, Purushothaman
P, Ghose B, Balasubramaniam K (2021) Riconoscimento automatico
dei difetti su radiografie a raggi X di propellente solido utilizzando
l'apprendimento profondo basato su reti neurali convoluzionali.
J Nondistruggere Valutazione 40(1):1–13. https://doi.org/10.1007/
s10921-021-00750-4 _ 14. Greene A, Michael M, JJM III, Betz R, Barry R,
Nightingale G, Siewert TA, Anderson CE, Luga TF, Folland WH, Surma
G, McCullough R, Thams RW, Apgar B, Becker G, McKinney WE, Wenk
SA, manuale ASM 1992. Volume 17, Valutazione non distruttiva e
controllo di qualità. Ispezione radiografica. ASM Internazionale. https://
doi.org/10.31399/asm.hb.v17.9781627081900 15. Guo Z, Hall RW
(1992) Algoritmi di assottigliamento veloci completamente paralleli.
CVGIP: Comprensione dell'immagine 55(3):317–328. https://doi.org/10.
1016/1049-9660(92)90029-3
16. He K, Zhang X, Ren S, Sun J (2016) Apprendimento residuo profondo
per il riconoscimento delle immagini. In: Atti della conferenza IEEE sulla
visione artificiale e il riconoscimento di modelli, pp 770–778. https://doi.
org/10.1109/CVPR.2016.90´
17. He K, Gkioxari G, Dollar P, Girshick R (2017) Mask r-cnn. In: Atti della
conferenza internazionale IEEE sulla visione artificiale, pp 2961–2969.
https://doi.org/10.1109/ICCV.2017.322 18. Huang G, Liu Z, Van Der
Maaten L, Weinberger KQ (2017)
Reti convoluzionali densamente connesse. In: Atti della conferenza IEEE
sulla visione artificiale e il riconoscimento di modelli, pp 4700–4708.
https://doi.org/10.1109/CVPR.2017.243 19. Organizzazione
internazionale per la standardizzazione (2007) Processi di saldatura e affini
– classificazione delle imperfezioni geometriche nei materiali metallici
– parte 1: saldatura per fusione (iso 6520-1:2007)
20. Organizzazione Internazionale per la Standardizzazione (2014) Saldatura
– giunti saldati per fusione in acciaio, nichel, titanio e loro leghe (esclusa
la saldatura a trave) – livelli di qualità per le imperfezioni (iso 5817:2014)
21. Organizzazione internazionale per la standardizzazione (2016) Prove
non distruttive delle saldature – livelli di accettazione per i test radiografici
– parte 1: acciaio, nichel, titanio e loro leghe (iso 10675-1:2016)
22. Irvin J, Rajpurkar P, Ko M, Yu Y, Ciurea-Ilcus S, Chute C, Mark-lund H,
Haghgoo B, Ball R, Shpanskaya K et al (2019) Chexpert: un ampio set
di dati radiografici del torace con etichette di incertezza e confronto tra
esperti. In: Atti della conferenza AAAI sull'intelligenza artificiale, vol 33,
pp 590–597. https://doi.org/10.1609/aaai.v33i01.3301590 _
23. Jiang H, Hu Q, Zhi Z, Gao J, Gao Z, Wang R, He S, Li H (2021) Modello
di rete neurale di convoluzione con strategia di pooling migliorata e
selezione delle caratteristiche per il riconoscimento dei difetti di
saldatura. Saldatura nel mondo 65(4):731–744. https://doi.org/10.1007/
s40194-020-01027-6 _
24. Jonsson B, Dobmann G, Hobbacher A, Kassner M, Marquis G (2016)
Linee guida IIW sulla qualità della saldatura in relazione alla resistenza
alla fatica. Springer. https://doi.org/10.1007/978-3-319-19198-0 25.
Kimpe T, Tuytschaever T (2007) Aumentare il numero di sfumature di grigio
nei sistemi di visualizzazione medicali: quanto è sufficiente?
Imaging delle cifre J 20(4):422–432. https://doi.org/10.1007/
s10278-006-1052-3 _
Machine Translated by Google
670
26. Konnik M, Ahmadi B, May N, Favata J, Shahbazi Z, Shahbazmo-hamadi
S, Tavousi P (2021) Addestramento di algoritmi di estrazione di
caratteristiche basati sull'intelligenza artificiale, per immagini micro ct,
utilizzando dati sintetizzati. J Nondestruct Eval 40(1):1–13. https://doi.org/
10.1007/s10921-021-00758-w 27. Koskinen T, Virkkunen I, Siljama O, Jessen-
Juhler O (2021) L'effetto di diversi dati sui difetti sull'ispezione ultrasonica
basata sull'apprendimento automatico. J Nondistruggere Valutazione
40(1):1–13. https://doi.org/
10.1007/s10921-021-00757-x _ 28. Krizhevsky A, Sutskever I, Hinton GE
(2012) Classificazione Imagenet con reti neurali convoluzionali profonde.
Adv Neural Inf Process Syst 25:1097–1105. https://doi.org/
10.1145/3065386 29. Li Z, Wang C, Han M, Xue Y, Wei W, Li LJ, Fei-Fei L (2018)
Identificazione e localizzazione della malattia toracica con supervisione
limitata. In: Atti della conferenza IEEE sulla visione artificiale e il
riconoscimento di modelli, pp 8290–8299. https://doi.org/10.
1109/CVPR.2018.00865
´
30. Lin TY, Dollar P, Girshick R, He K, Hariharan B, Belongie S (2017)
Presentano reti piramidali per il rilevamento di oggetti. In: Atti della
conferenza IEEE sulla visione artificiale e il riconoscimento di modelli, pp
2117–2125. https://doi.org/10.1109/CVPR.2017. 106
31. Long J, Shelhamer E, Darrell T (2015) Reti completamente convoluzionali
per la segmentazione semantica. In: Atti della conferenza IEEE sulla
visione artificiale e il riconoscimento di modelli, pp 3431–3440. https://
doi.org/10.1109/CVPR.2015.7298965 32. Mery D (2011)
Rilevamento automatizzato delle discontinuità di saldatura senza segmentazione.
Mater Eval 69(6):656–663 33. Mery D (2021) Ispezione
della fusione di alluminio utilizzando metodi di rilevamento di oggetti profondi e
difetti ellissoidali simulati. Mach Vis Appl. 32(3):1–16. https://doi.org/
10.1007/s00138-021-01195-5 34. Mery D, Arteta C (2017)
Riconoscimento automatico dei difetti nei test a raggi X utilizzando la visione
artificiale. In: Conferenza invernale IEEE 2017 sulle applicazioni della
visione artificiale (WACV). IEEE, pagine 1026–1035. https://doi.org/
10.1109/WACV.2017.119 35. Mery D, Riffo
´
V, Zscherpel U, Mondragon G, Lillo I, Zuccar I, Lobel H, Carrasco M (2015)
Gdxray: il database delle immagini a raggi X per controlli non distruttivi. J
Nondistruggere Eval 34(4):1–12. https://doi.org/10.1007/s10921-015-0315-7
36. Nacereddine N, Zelmat M, Belaifa SS, Tridi
M (2005) Rilevamento dei difetti di saldatura nell'elaborazione delle immagini
digitali basata sulla radiografia industriale.
Trans Eng Comput Technol 2: 145–148. https://doi.org/10.5281/
zenodo.1330641
_ 37. NASA (2019) Nasa-std-5009b, requisiti di valutazione non distruttiva per
componenti metallici critici per la frattura 38.
Rajpurkar P, Irvin J, Zhu K, Yang B, Mehta H, Duan T, Ding D, Bagul A,
Langlotz C, Shpanskaya K et al (2017) Chexnet: rilevamento della
polmonite a livello di radiologo sulle radiografie del torace con deep
learning. arXiv:171105225 39.
Redmon J, Farhadi A (2018) Yolov3: un miglioramento incrementale.
arXiv:180402767
40. Redmon J, Divvala S, Girshick R, Farhadi A (2016) Si guarda solo una
volta: rilevamento di oggetti unificato e in tempo reale. In: Atti della
conferenza IEEE sulla visione artificiale e il riconoscimento di modelli, pp
779–788. https://doi.org/10.1109/CVPR.2016.91
Saldatura nel mondo (2022) 66: 643–671
41. Ren S, He K, Girshick R, Sun J (2015) Faster r-cnn: verso il rilevamento di
oggetti in tempo reale con reti di proposte regionali. arXiv:150601497.
https://doi.org/10.1109/TPAMI.2016.2577031 42. Ronneberger O, Fischer
P, Brox T (2015) U-net: reti convoluzionali per la segmentazione di immagini
biomediche. In: Conferenza internazionale sull'elaborazione delle immagini
mediche e sull'intervento assistito da computer. Springer, pp 234–241.
https://doi.org/10.1007/978-3-319-24574-428 _ _ 43. Rowlands J (2002)
La fisica della
radiografia computerizzata. Fisica in Medicina e Biologia 47(23):R123. https://
doi.org/10.1088/0031-9155/47/23/201 _
44. Saez D (2004) Rilevamento automatico dei difetti nelle fusioni e nelle
saldature di alluminio utilizzando classificatori neuro-fuzzy. In: 16a
Conferenza mondiale sulle prove non distruttive.
Citeseer 45. Schwartz C (2003) Valutazione automatica dei giunti saldati
utilizzando l'elaborazione delle immagini sulle radiografie. In: Atti della
conferenza AIP, vol 657. American Institute of Physics, pp 689–694.
https://doi.org/10.1063/1.1570203
46. Simonyan K, Zisserman A (2014) Reti convoluzionali molto profonde per il
riconoscimento di immagini su larga scala. arXiv:14091556 47.
Szegedy C, Liu W, Jia Y, Sermanet P, Reed S, Anguelov D, Erhan D,
Vanhoucke V, Rabinovich A (2015) Approfondimento con le convoluzioni.
In: Atti della conferenza IEEE sulla visione artificiale e il riconoscimento di
modelli, pp 1–9. https://doi.org/10.1109/ CVPR.2015.7298594
48. Virkkunen I (2021) Il “problema del piccolo crack” nell’hit/miss
probabilità di rilevamento. Inedito
49. Virkkunen I, Miettinen K, Packalen T (2014) Difetti virtuali per la formazione
e la qualificazione nde. In: 11a conferenza europea sulle prove non
distruttive (ECNDT 2014)
50. Virkkunen I, Koskinen T, Jessen-Juhler O, Rinta-Aho J (2021)
Dati ultrasonici aumentati per l'apprendimento automatico. J Nondistruggere
Valutazione 40(1):1–11. https://doi.org/10.1007/s10921-020-00739-5
51. Wang X, Peng Y, Lu L, Lu Z, Bagheri M, Summers RM (2017)
Chestx-ray8: database di radiografie del torace su scala ospedaliera e
parametri di riferimento sulla classificazione e localizzazione scarsamente
supervisionata delle comuni malattie del torace. In: Atti della conferenza
IEEE sulla visione artificiale e il riconoscimento di modelli, pp 2097–2106.
https://doi.org/10.1109/CVPR.2017.369 _
52. Xu N, Price B, Cohen S, Huang T (2017) Opacizzazione profonda
dell'immagine. In: Atti della conferenza IEEE sulla visione artificiale e il
riconoscimento dei modelli, pp 2970–2979. https://doi.org/10.1109/CVPR.
2017.41
53. Zhao ZQ, Zheng P, St Xu, Wu X (2019) Rilevamento di oggetti con
apprendimento profondo: una revisione. IEEE Trans Neural Netw Learn
Syst 30(11):3212–3232. https://doi.org/10.1109/TNNLS.2018.2876865
54. Zhou B, Khosla A, Lapedriza A, Oliva A, Torralba A (2016)
Apprendimento di funzionalità approfondite per la localizzazione
discriminativa. In: Atti della conferenza IEEE sulla visione artificiale e il
riconoscimento di modelli, pp 2921–2929. https://doi.org/10.1109/
CVPR.2016. 319
Nota dell'editore Springer Nature rimane neutrale per quanto riguarda le
rivendicazioni giurisdizionali nelle mappe pubblicate e nelle affiliazioni istituzionali.
Machine Translated by Google

Saldatura nel mondo (2022) 66: 643–671 671

Affiliazioni

Topias Tyystjarvi ¨ 1,2 · Iikka Virkkunen1 · Peter Fridolf3 · Anders Rosell3 · Zuheir Barsoum4

Iikka Virkkunen
iikka.virkkunen@trueflaw.com

Pietro Fridolfo
peter.fridolf@gknaerospace.com
Anders Rosell
anders.ar.rosell@gknaerospace.com

Zuheir Barsoum
zuheir@kth.se
1
¨
Trueflaw, Tillinmaentie 3 A 113, FI-02330 Espoo, Finlandia
2
Dipartimento di Ingegneria Meccanica, Scuola di Ingegneria,
Università di Aalto, casella postale 14200, FI-00076 Aalto, Finlandia
3
Sistemi di motori aerospaziali GKN, SE-46138
¨
Trollhattan, Svezia
4
Dipartimento di Ingegneria Meccanica, KTH Royal Institute of
Tecnologia, Teknikringen 8, SE-100 44
Stoccolma, Svezia