Method Article
La pipeline descritta è progettata per la segmentazione di set di dati di microscopia elettronica più grandi di gigabyte, per estrarre morfologie intere celle. Una volta che le celle sono state ricostruite in 3D, software personalizzato progettato intorno alle esigenze individuali può essere utilizzato per eseguire un'analisi qualitativa e quantitativa direttamente in 3D, utilizzando anche la realtà virtuale per superare vista occlusione.
La sezionamento seriale e la successiva imaging ad alta risoluzione del tessuto biologico utilizzando la microscopia elettronica (EM) consentono alla segmentazione e alla ricostruzione di pile a immagine ad alta risoluzione di rivelare modelli ultrastrutturali che non potevano essere risolti utilizzando 2D Immagini. Infatti, quest'ultimo potrebbe portare a un'errata interpretazione delle morfologie, come nel caso dei mitocondri; l'uso di modelli 3D è, quindi, sempre più comune e applicato alla formulazione di ipotesi funzionali basate sulla morfologia. Ad oggi, l'uso di modelli 3D generati da pile di immagini di luce o elettroni rende le valutazioni qualitative e visive, così come la quantificazione, più convenienti da eseguire direttamente in 3D. Poiché questi modelli sono spesso estremamente complessi, è anche importante creare un ambiente di realtà virtuale per superare l'occlusione e sfruttare appieno la struttura 3D. Qui, una guida passo-passo dalla segmentazione dell'immagine alla ricostruzione e all'analisi è descritta in dettaglio.
Il primo modello proposto per la configurazione di una microscopia elettronica che consente la sezione seriale automatizzata e l'imaging risale al 19811; la diffusione di tali configurazioni automatizzate e migliorate per immagini di grandi campioni utilizzando EM aumentata negli ultimi dieci anni2,3, e opere che mostrano impressionanti ricostruzioni dense o morfologie complete immediatamente seguito4, 5,6,7,8,9,10.
La produzione di set di dati di grandi dimensioni è stata fornita con la necessità di pipeline migliorate per la segmentazione delle immagini. Gli strumenti software per la segmentazione manuale delle sezioni seriali, come RECONSTRUCT e TrakEM211,12, sono stati progettati per la microscopia elettronica a trasmissione (TEM). Poiché l'intero processo può richiedere molto tempo, questi strumenti non sono appropriati quando si tratta di migliaia di micrografie seriali che possono essere generati automaticamente con tecniche di sezione seriale EM automatizzate (3DEM), come microscopia elettronica a scansione a blocchi (SBEM)3 o microscopia elettronica a scansione del fascio focalizzato (FIB-SEM)2. Per questo motivo, gli scienziati hanno messo gli sforzi nello sviluppo di strumenti semi-automatizzati, nonché di strumenti completamente automatizzati, per migliorare l'efficienza della segmentazione. Strumenti completamente automatizzati, basati su machine learning13 o algoritmi di classificazione dei pixel non addestrati allo stato dell'arte14,vengono migliorati per essere utilizzati da una comunità più ampia; tuttavia, la segmentazione è ancora lungi dall'essere pienamente affidabile, e molte opere sono ancora basate sul lavoro manuale, che è inefficiente in termini di tempo di segmentazione, ma fornisce ancora completa affidabilità. Gli strumenti semiautomatici, come ilastik15, rappresentano un compromesso migliore, in quanto forniscono una lettura immediata per la segmentazione che può essere corretta in una certa misura, anche se non fornisce un quadro di correzione reale e può essere integrato utilizzando TrakEM2 in parallelo16.
La segmentazione su larga scala è, ad oggi, per lo più limitata alla connettomica; pertanto, gli informatici sono più interessati a fornire quadri per le visualizzazioni integrate di grandi set di dati annotati e ad analizzare i modelli di connettività dedotti dalla presenza di contatti sinaptici17,18. Tuttavia, ricostruzioni 3D accurate possono essere utilizzate per analisi morfometriche quantitative, piuttosto che valutazioni qualitative delle strutture 3D. Strumenti come NeuroMorph19,20 e analisi glicogeno10 sono stati sviluppati per prendere misure sulle ricostruzioni 3D per lunghezze, aree di superficie e volumi, e sulla distribuzione di punti nuvola, completamente scartando lo stack EM originale8,10. Gli astrociti rappresentano un caso di studio interessante, perché la mancanza di indizi visivi o modelli strutturali ripetitivi danno ai ricercatori un accenno sulla funzione delle singole unità strutturali e la conseguente mancanza di un'adeguata ontologia dei processi astrociti 21, rendere difficile la progettazione di strumenti analitici. Un recente tentativo è stato l'Assotite22, che consente un'esplorazione visiva dei processi astrociti e l'inferenza di relazioni qualitative tra processi astrociti citici e neuriti.
Tuttavia, la comodità dell'imaging del tessuto sezionato sotto EM deriva dal fatto che la quantità di informazioni nascoste in campioni di cervello intatti è enorme e l'interpretazione di immagini a sezione singola può superare questo problema. La densità delle strutture nel cervello è così alta che ricostruzioni 3D anche di pochi oggetti visibili contemporaneamente renderebbero impossibile distinguerli visivamente. Per questo motivo, abbiamo recentemente proposto l'uso della realtà virtuale (VR) come metodo migliorato per osservare strutture complesse. Ci concentriamo sugli astrociti23 per superare l'occlusione (che è il blocco della visibilità di un oggetto di interesse con un secondo spazio, in uno spazio 3D) e facilitare le valutazioni qualitative delle ricostruzioni, tra cui la correzione delle bozze, così come le quantificazioni di feature utilizzando il conteggio dei punti nello spazio. Recentemente abbiamo combinato l'esplorazione visiva VR con l'uso di GLAM (modello di assorbimento lattato derivato dal glicogeno), una tecnica per visualizzare una mappa della probabilità di navetta lattato di neuriti, considerando i granuli di glicogeno come corpi che emettono luce23; in particolare, abbiamo usato la VR per quantificare i picchi di luce prodotti da GLAM.
1. Elaborazione delle immagini con Fiji
2. Segmentazione (semi-automatica) e ricostruzione con ilastik 1.3.2
3. Correzione/Segmentazione (Manuale) in TrakEM2 (Fiji)
4. Analisi 3D
Utilizzando la procedura presentata in precedenza, vengono illustrati i risultati in due stack di immagini di dimensioni diverse, per dimostrare come la flessibilità degli strumenti consente di scalare la procedura a set di dati più grandi. In questo caso, i due set di dati 3DEM sono (i) ratto P14, corteccia somatosensoriale, strato VI, 100 m x 100 m x 76,4 m4 e (ii) ratto P60, ippocampo CA1, 7,07 m x 6,75 m x 4,73 mx 10.
I passaggi di pre-elaborazione (Figura 1) possono essere eseguiti allo stesso modo per entrambi i set di dati, semplicemente tenendo conto che un set di dati più grande, ad esempio il primo stack, ovvero 25 GB, richiede hardware più performante per gestire la visualizzazione e l'elaborazione di dati di grandi dimensioni . Il secondo stack è solo 1 GB, con una dimensione voxel perfettamente isotropico.
La dimensione dei dati potrebbe non essere direttamente correlata al campo visivo (FOV), piuttosto che alla risoluzione dello stack stesso, che dipende dalla dimensione massima in pixel del sensore del microscopio e dall'ingrandimento dello stack. In ogni caso, logicamente, è probabile che i FOV più grandi occupino più spazio fisico rispetto ai FOV più piccoli, se acquisiti alla stessa risoluzione.
Una volta importato lo stack di immagini, come indicato nella sezione 1 del protocollo, nel software Fiji (Figura 1A), una versione scientifica di ImageJ12, un punto importante è assicurarsi che il formato dell'immagine sia a 8 bit (Figura 1B). Questo perché molte aziende di microscopia di acquisizione diverse produttori di produttori generano il loro formato di file proprietario a 16 bit per memorizzare i metadati rilevanti per le informazioni sul processo di acquisizione (cioè, dimensione dei pixel, spessore, corrente/tensione del fascio di elettroni, pressione della camera) insieme alla pila di immagini. Tali regolazioni consentono agli scienziati di risparmiare memoria, poiché l'extra 8 bit contenente metadati non influisce sulle immagini. Il secondo parametro importante da controllare è la dimensione del voxel, che consente quindi di eseguire la ricostruzione dopo la segmentazione sulla scala corretta (micrometri o nanometri; Figura 1B).
Le pile potrebbero richiedere il riallineamento e/o le cuciture se sono state acquisite utilizzando l'agustatura; queste operazioni possono essere eseguite all'interno di TrakEM2 (Figura 2A), anche se per quanto riguarda il riallineamento, le tecniche 3DEM automatizzate come FIB-SEM o 3View sono in genere ben riallineate.
Un ultimo passaggio richiede il filtraggio e, eventualmente, il downsampling della pila, a seconda di quali oggetti devono essere ricostruiti e se il downsampling influisce sul riconoscimento delle feature ricostruibili. Ad esempio, per lo stack più grande (della corteccia somatosensoriale dei ratti P14), non è stato possibile compromettere la risoluzione a beneficio dell'efficienza di ricostruzione, mentre per lo stack più piccolo (dell'ippocampo CA1 dei ratti P60), è stato possibile farlo perché la risoluzione era di gran lunga superiore a quella necessaria per ricostruire gli oggetti più piccoli. Infine, l'uso della maschera unsharp migliora la differenza tra le membrane e lo sfondo, rendendolo favorevole per le ricostruzioni di software come ilastik che utilizza gradienti per pre-valutare i confini.
Dopo l'elaborazione dell'immagine, la ricostruzione può essere eseguita manualmente utilizzando TrakEM2 o semi-automaticamente utilizzando ilastik (Figura 2C). Un set di dati come quello più piccolo elencato qui (ii), che può essere campionato per adattarsi alla memoria, può essere completamente segmentato utilizzando ilastik (Figura 2B) per produrre una ricostruzione densa. Nel caso del primo set di dati elencato qui (i), siamo riusciti a caricare e pre-elaborare l'intero set di dati con una workstation Linux con 500 GB di RAM. La segmentazione sparse di 16 morfologie complete è stata ottenuta con una conduttura ibrida, estraendo la segmentazione ruvida che è stata revisionata manualmente utilizzando TrakEM2.
L'analisi 3D di funzioni quali superfici, volumi o distribuzione del glicogeno intracellulare può essere eseguita all'interno di un ambiente Blender (Figura 3) utilizzando codici personalizzati, come NeuroMorph19 o analisi glicogeno10.
Nel caso di set di dati contenenti anche granuli di glicogeno, è possibile dedurre l'analisi sulla loro distribuzione utilizzando GLAM, un codice C , che genererebbe mappe colore con area di influenza direttamente sulla mesh.
Infine, tali set di dati complessi possono essere visualizzati e analizzati utilizzando VR, che è stato dimostrato utile per l'analisi di set di dati con una particolare vista occlusa (Figura 4). Ad esempio, i picchi dedotti dalle mappe GLAM sono stati facilmente dedotti visivamente dai dendriti nel secondo set di dati descritto qui.
Figura 1: Elaborazione dell'immagine e preparazione per la segmentazione dell'immagine. (a) GUI principale delle Figi. (b) Esempio di immagini impilate dal set di dati (i) discusse nei risultati rappresentativi. Il pannello a destra mostra le proprietà che consentono all'utente di impostare le dimensioni del voxel. (c) Esempio di operazione di ridimensionamento e filer applicata a una singola immagine. I pannelli a destra mostrano gli ingrandimenti dal centro dell'immagine. Fare clic qui per visualizzare una versione più grande di questa figura.
Figura 2: Segmentazione e ricostruzione con TrakEM2 e ilastik. (a) ComME2 GUI con oggetti segmentati manualmente (in rosso). (b) La maschera esportata dal pannello a può essere utilizzata come input (seme) per (c) segmentazione semiautomatica (intaglio). Da ilastik, le maschere (rosso) possono essere ulteriormente esportate in TrakEM2 per la correzione manuale delle bozze. (d) Le maschere possono essere esportate come maglie triangolari 3D per rivelare strutture ricostruite. In questo esempio, quattro neuroni, astrociti, microglia e periciti dal set di dati (i) (discusso nei risultati rappresentativi) sono stati ricostruiti utilizzando questo processo. Fare clic qui per visualizzare una versione più grande di questa figura.
Figura 3: Analisi 3D delle morfologie ricostruite mediante strumenti personalizzati. (a) Volume di immagini isotropiche dal set di dati FIB-SEM (ii) (come discusso nei risultati rappresentativi). (b) Ricostruzione densa dal pannello a. Grigio - assoni; verde - processo astrocitico; blu - dendriti. (c) Micrografo che mostra esempi di obiettivi per le quantificazioni quali sinapsi (i)) e granuli di glicogeno astrocitico (set di dati (ii)) nelle giuste. (d) Maschera del pannello c che mostra la distribuzione di granuli di glicogeno intorno alle sinapsi. (e) Quantificazione della distribuzione del glicogeno dal set di dati del pannello c, utilizzando la cassetta degli attrezzi per l'analisi del glicogeno di Blender. Le barre di errore indicano errori standard. N - 4.145 granuli di glicogeno. (f) Illustrazione grafica della visualizzazione di input e output di GLAM. Fare clic qui per visualizzare una versione più grande di questa figura.
Figura 4: Analisi in VR. (a) Un utente che indossaun auricolare VR mentre lavora sulla densa ricostruzione dal set di dati FIB-SEM (ii) (come discusso nei risultati rappresentativi). (c) Scena VR immersiva da un sottoinsieme di neuriti dal pannello b. Il laser verde punta a un picco GLAM. (d) Esempio di analisi da conteggi picchi GLAM in VR. N - 3 topi per ogni barra. Analisi della FIB-SEM da una precedente pubblicazione28. Le barre di errore indicano gli errori standard; p < 0.1, ANOVA unidirezionale. Fare clic qui per visualizzare una versione più grande di questa figura.
Il metodo qui presentato è un'utile guida passo-passo per la segmentazione e la ricostruzione 3D di un set di dati EM multiscala, sia che provengano da tecniche di imaging ad alta risoluzione, come FIB-SEM, o altre tecniche di sezionamento e imaging seriali automatizzate. FIB-SEM ha il vantaggio di raggiungere potenzialmente l'isotropia perfetta in formato voxel tagliando sezioni sottili fino a 5 nm utilizzando un fascio ionico focalizzato, il suo FOV potrebbe essere limitato a 15-20 m a causa di artefatti laterali, che sono probabilmente dovuti alla deposizione del tessuto tagliato se la FO V supera questo valore. Tali artefatti possono essere evitati utilizzando altre tecniche, come SBEM, che utilizza un coltello di adiamante per tagliare sezioni seriali all'interno della camera del microscopio. In quest'ultimo caso, la risoluzione z può essere di circa 20 nm nella migliore delle posizioni (in genere, 50 nm), ma il FOV potrebbe essere più grande, anche se la risoluzione dei pixel deve essere compromessa per una vasta area di interesse. Una soluzione per superare tali limitazioni (ingrandimento contro FOV) è quella di dividere la regione di interesse nelle piastrelle e acquisire ciascuno di essi ad una risoluzione più alta. Abbiamo mostrato qui i risultati di un set di dati dello stack SBEM (i) nei risultati rappresentativi, sia di un set di dati dello stack FIB-SEM (ii) nei risultati rappresentativi.
Man mano che la generazione di set di dati sempre più grandi e grandi sta diventando sempre più comune, gli sforzi per la creazione di strumenti per la classificazione dei pixel e la segmentazione automatica delle immagini si moltiplicano; tuttavia, ad oggi, nessun software ha dimostrato un'affidabilità paragonabile a quella della revisione umana, che è quindi ancora necessaria, indipendentemente dal suo dispendioso in termini di tempo. In generale, i set di dati più piccoli che possono essere sottocampionati, come nel caso del set di dati (ii), possono essere ricostruiti densamente da un singolo utente esperto in una settimana, incluso il tempo di correzione delle revisioni.
Il protocollo qui presentato prevede l'uso di tre programmi software in particolare: Fiji (versione 2.0.0-rc-65/1.65b), ilastik (versione 1.3.2 rc2) e Blender (2.79), che sono tutti programmi open-source e multi-piattaforma e scaricabili gratuitamente. Fiji è un rilascio di ImageJ, alimentato da plugin per l'analisi biologica delle immagini. Ha un'architettura software robusta ed è suggerito in quanto è una piattaforma comune per gli scienziati della vita e comprende TrakEM2, uno dei primi e più ampiamente utilizzati plugin per la segmentazione delle immagini. Un problema sperimentato da molti utenti ultimamente è la transizione da Java 6 a Java 8, che sta creando problemi di compatibilità; pertanto, si consiglia di astenersi dall'aggiornamento a Java 8, se possibile, per consentire alle Figi di funzionare correttamente. ilastik è un potente software che fornisce una serie di quadri per la classificazione dei pixel, ognuno documentato e spiegato sul loro sito web. Il modulo di intaglio utilizzato per la segmentazione semi-automatica degli stack EM è conveniente in quanto consente di risparmiare molto tempo, consentendo agli scienziati di ridurre il tempo dedicato al lavoro manuale da mesi a giorni per un utente esperto, come con un solo clic un intero neurite può essere segmentati in pochi secondi. La fase di pre-elaborazione è molto intensa dal punto di vista hardware e set di dati molto grandi, come lo stack SBEM presentato qui, che era di 26 GB, richiedono strategie peculiari per adattarsi alla memoria, considerando che si acquisirebbe set di dati di grandi dimensioni perché non è possibile campo di opinione e risoluzione di compromesso. Pertanto, il downsampling potrebbe non essere una soluzione appropriata in questo caso. L'ultima versione del software può fare la pre-elaborazione in poche ore con una potente workstation Linux, ma la segmentazione richiederebbe minuti, e scorrendo attraverso lo stack sarebbe ancora relativamente lento. Usiamo ancora questo metodo per una prima segmentazione approssimativa e ne leggiamo la prova usando TrakEM2. Infine, Blender è un software di modellazione 3D, con un potente motore di rendering 3D, che può essere personalizzato con script pitone che possono essere incorporati nella GUI principale come componenti aggiuntivi, come NeuroMorph e analisi glicogeno. La flessibilità di questo software viene fornito con lo svantaggio che, a differenza delle Fiji, per esempio, non è progettato per la visualizzazione online di grandi set di dati; pertanto, la visualizzazione e la navigazione tra grandi dimensioni (superiore a 1 GB) potrebbero essere lente e non efficienti. Per questo motivo, è sempre consigliabile scegliere tecniche che riducano la complessità della maglia ma stiano attenti a non interrompere la morfologia originale della struttura di interesse. La funzione remesh è utile ed è una funzionalità incorporata dello strumento di importazione batch NeuroMorph. Un problema con questa funzione è che, a seconda del numero di vertici della mesh originale, il valore di profondità dell'octree, che è correlato alla risoluzione finale, deve essere modificato di conseguenza. Gli oggetti piccoli possono essere ristampati con una piccola profondità di octree (ad esempio 4), ma lo stesso valore potrebbe interrompere la morfologia di oggetti più grandi, che ha bisogno di valori più grandi (6 al massimo, a 8 o anche 9 per una mesh molto grande, come una cella completa). Si consiglia di rendere iterativo questo processo e testare le diverse profondità dell'octree se le dimensioni dell'oggetto non sono chiare.
Come accennato in precedenza, un aspetto che dovrebbe essere preso in considerazione è la potenza di calcolo da dedicare alla ricostruzione e all'analisi, relative al software che viene utilizzato. Tutte le operazioni mostrate nei risultati rappresentativi di questo manoscritto sono state ottenute utilizzando un MacPro, dotato di una scheda grafica AMD FirePro D500, 64 GB di RAM e una CPU Intel Xeon E5 con 8 core. Fiji ha una buona architettura software per la gestione di grandi set di dati; pertanto, si consiglia di utilizzare un computer portatile con buone prestazioni hardware, ad esempio un MacBook Pro con una CPU Intel i7 da 2,5 GHz e 16 GB di RAM. Il software ilastik è più esigente in termini di risorse hardware, in particolare durante la fase di pre-elaborazione. Anche se il downsampling dello stack di immagini è un buon trucco per limitare le richieste hardware dal software e consente all'utente di elaborare una pila con un computer portatile (in genere se è inferiore a 500 pixel in x,y,z), suggeriamo l'uso di un high-end computer per eseguire questo software senza problemi. Utilizziamo una workstation dotata di CPU Intel Xeon Gold 6150 con 16 core e 500 GB di RAM.
Quando viene fornita una ricostruzione 3D accurata, gli scienziati possono eliminare i micrografi originali e lavorare direttamente sui modelli 3D per estrarre dati morfometrici utili per confrontare cellule dello stesso tipo, nonché diversi tipi di cellule, e sfruttare la realtà virtuale per valutazioni qualitative e quantitative delle morfologie. In particolare, l'uso di quest'ultimo si è dimostrato vantaggioso nel caso di analisi di morfologie dense o complesse che presentano occlusione visiva (cioè il blocco di vista di un oggetto di interesse nello spazio 3D da parte di un secondo posto tra l'osservatore e la fi rst oggetto), rendendo difficile rappresentarli e analizzarli in 3D. Nell'esempio presentato, un utente esperto ha impiegato circa 4 ore non consecutive per osservare i set di dati e contare gli oggetti. Il tempo dedicato all'analisi della realtà virtuale può variare in quanto aspetti come la malattia della realtà virtuale (che può, in una certa misura, essere correlata al mal d'auto) possono avere un impatto negativo sull'esperienza utente; in questo caso, l'utente potrebbe preferire altri strumenti di analisi e limitare il tempo dedicato alla realtà virtuale.
Infine, tutti questi passaggi possono essere applicati ad altre tecniche di microscopia e non EM che generano pile di immagini. EM genera immagini che sono, in generale, difficili da gestire e segmentare, rispetto, ad esempio, alla microscopia a fluorescenza, dove qualcosa di paragonabile a una maschera binaria (segnale contro sfondo nero), che in linea di principio può essere prontamente resa in 3D per un'ulteriore elaborazione, spesso deve essere affrontata.
Gli autori non hanno nulla da rivelare.
Questo lavoro è stato sostenuto dalla sovvenzione "KAUST-BBP Alliance for Integrative Modelling of Brain Energy Metabolism" della King Abdullah University of Science and Technology (KAUST) "KAUST-BBP Alliance for Integrative Modelling of Brain Energy Metabolism" a P.J.M.
Name | Company | Catalog Number | Comments |
Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
Neuromorph | Open Source | --- | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
Glycogen Analysis | Open Source | --- | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
GLAM | Open Source | --- | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |
Richiedi autorizzazione per utilizzare il testo o le figure di questo articolo JoVE
Richiedi AutorizzazioneThis article has been published
Video Coming Soon