編譯/VR陀螺
XR初創(chuàng)公司MediView 宣布已籌集450萬美元,其AR手術(shù)導(dǎo)航平臺能夠為外科醫(yī)生提供AR圖像,帶來類似3D X射線的視覺感知能力。
種子基金來自俄亥俄州西北部芬德雷市的Inside View風(fēng)險投資集團,其他投資者還有Plug and Play 風(fēng)投公司和西北俄亥俄科技基金。這筆資金將用于進一步開發(fā)該系統(tǒng),預(yù)計在2021年獲得食品和藥物管理局(FDA)的批準。MediView已經(jīng)在首批試驗中對5名肝癌患者使用了該系統(tǒng),并于2019年8月再一次對9名新患者進行試驗。
如果佩戴微軟HoloLens或其他增強現(xiàn)實眼鏡,外科醫(yī)生把儀器插入病人體內(nèi)后,就可以看到逼真的數(shù)字影像,確定儀器在皮膚下的位置。AR手術(shù)導(dǎo)航平臺工具將幫助外科醫(yī)生使用類似電子游戲的方式清除腫瘤。
事實證明,醫(yī)療保健是XR最具前景的領(lǐng)域之一。
MediView首席執(zhí)行官John Black在接受VentureBeat采訪時表示:“我們所做的是創(chuàng)新,運用AR技術(shù)定位到癌變病灶,這種方法史無前例。這就像使用一種帶有增強現(xiàn)實功能的GPS導(dǎo)航到人體的特定位置。我們是唯一一家將AR技術(shù)用于手術(shù)過程的公司,比如追蹤……病人,全息圖,還有醫(yī)療儀器。”
AR如何為癌癥手術(shù)帶來益處
上圖:手術(shù)中,醫(yī)生AR護目鏡和MediView軟件上的顯示畫面
這項新技術(shù)來自克利夫蘭診所的Lerne醫(yī)學(xué)院,目前已進入第二輪人體評估手術(shù)階段。
該系統(tǒng)利用了微軟HoloLens的功能(該公司正在開發(fā)HoloLens 2的一個版本),可以直接觀察病人,透過病人的皮膚看到3D腫瘤,甚至允許外科醫(yī)生四處走動,以任一角度觀察腫瘤、器官等等。通過這樣的方式,外科醫(yī)生就無需分神抽手,并可以完全專注于手術(shù)執(zhí)行。
克利夫蘭診所的介入放射科醫(yī)生Charles Martin III是世界上第一個使用者。他看到了傳統(tǒng)醫(yī)學(xué)成像技術(shù)的局限性以及相關(guān)的輻射泄露問題,希望新技術(shù)能有所改進。
“因為我們能夠利用病人自己的解剖結(jié)構(gòu)來制作這些圖像,所以圖像質(zhì)量實際上相當不錯。隨著處理器速度越來越快,分辨率也會不斷提高,新版本的設(shè)備也會越來越好。渲染的圖像…有一個顏色代碼,當我們制作全息圖時,它可以幫助作區(qū)分。借助這些額外信息,我們可以進行微創(chuàng)治療,縮小手術(shù)規(guī)模。”
Martin說,使用帶有XR全息圖像的微軟HoloLens有可能簡化工作內(nèi)容,因為他現(xiàn)在可以在手術(shù)中看到腫瘤的三維圖像,而更傳統(tǒng)的透視技術(shù)只有二維圖像。
Black說:“作為首席執(zhí)行官,當我看到這項技術(shù)時,我顯然很震驚,甚至所有醫(yī)療從業(yè)人員都是同樣的反應(yīng)。”
MediView XR系統(tǒng)如何工作
上圖:外科醫(yī)生可以使用病人的真實身體圖像籌劃手術(shù)方案,并在AR中還原相同視角執(zhí)行手術(shù)。
MediView XR公司開發(fā)了一種實時的全息可視化系統(tǒng),可以把微軟HoloLens變成一種導(dǎo)航裝置。外科醫(yī)生可以繪制出腫瘤切割過程的數(shù)字圖像,這也可以提高病人對手術(shù)過程的理解程度。在手術(shù)過程中,佩戴HoloLens眼鏡的外科醫(yī)生可以直接看到病人皮膚下的所有內(nèi)部解剖結(jié)構(gòu)。
CT或MRI掃描構(gòu)建出患者的初始3D人體地圖(類似于谷歌的定位地圖)。在人體地圖上,外科醫(yī)生可以看到病人的器官、血管、骨骼和其他結(jié)構(gòu)的位置。
外科醫(yī)生還可以看到器官內(nèi)部的癌變,剝離解剖層,顯示或隱藏不同的解剖區(qū)域。即使外科醫(yī)生在病人周圍移動,一切也可以保持在正確的解剖位置。手術(shù)器械的末端會發(fā)射激光,當激光照射到目標手術(shù)位置,系統(tǒng)會發(fā)出提醒。
“手術(shù)是3D問題,醫(yī)生們不能僅通過平板顯示器上的2D圖像做手術(shù)。全息可視化系統(tǒng)把外科手術(shù)游戲化,這是我們從未見過的。”
系統(tǒng)更加安全
上圖:MediView在過程中提供實時反饋
通過MediView的實時融合全息可視化(RTFHV)系統(tǒng),外科醫(yī)生和患者將大幅減少輻射暴露風(fēng)險。這是因為MediView的擴展現(xiàn)實XR醫(yī)學(xué)成像系統(tǒng)可以代替部分X射線成像。
Black說,這項技術(shù)能夠極大地減少臨床醫(yī)生和患者的輻射暴露風(fēng)險,但不會完全消除,因為手術(shù)還是需要一些基于X射線的成像圖。在MediView的系統(tǒng)中,基于輻射的成像仍將用于術(shù)前診斷和規(guī)劃,但在實際操作中會大大減少。超聲波利用聲波對人體進行成像,且沒有X射線的危險性。MediView利用超聲技術(shù)在術(shù)中驗證成像定位和工具放置,會進一步減少輻射風(fēng)險。
系統(tǒng)不使用X射線,而是通過CT或MRI掃描“融合”超聲波設(shè)備的傳感器讀數(shù),以及外科醫(yī)生用來切除腫瘤的工具的定位數(shù)據(jù),根據(jù)公司宣傳,這是目前最先進的3D全息顯示器。
克利夫蘭診所醫(yī)療設(shè)備主管,Lerner 醫(yī)學(xué)院主任Karl West在接受采訪時表示:“我們在可視化部分遇到了難題。醫(yī)生們需要使用2D透視法將復(fù)雜的三維設(shè)備放入復(fù)雜的三維解剖結(jié)構(gòu),這種操作非常困難。并且這種2D透視法會用到電離輻射成像,所以房間里的每個人都會暴露在電離輻射下。”
可視化的革命性改進
上圖:MediView也在加快外科手術(shù)培訓(xùn)
在克利夫蘭診所,四項關(guān)鍵技術(shù)被提煉并同步到3D技術(shù)中,其中包括主動解剖CT/MRI注冊,這是一項核心技術(shù),可以讓外科醫(yī)生獲得3D X射線的視覺感知能力。
通過CT或MRI報告,外科醫(yī)生可以看到病人皮膚下面的器官、血管、骨骼和其他獨特的結(jié)構(gòu)。外科醫(yī)生可以識別關(guān)鍵的解剖結(jié)構(gòu)和手術(shù)風(fēng)險點,以達到最佳的手術(shù)效果。
West說到,“現(xiàn)在每次你去看醫(yī)生,我們都會做CAT掃描或MRI。核磁共振檢測報告也含有大量信息,我們都會把它們運用起來,然后輸入到實驗室開發(fā)的獨特算法中。我們會把患者自身的數(shù)據(jù)進行注冊,并融合到手術(shù)中。通過電磁跟蹤超聲波和全息透鏡,我們能夠把這個全息制導(dǎo)平臺放在一起……所有用于微創(chuàng)手術(shù)的工具也被追蹤定位并以3D格式呈現(xiàn)在全息圖中。所以外科醫(yī)生可以實時找到手術(shù)位置。”
該技術(shù)還加入了術(shù)前計劃和術(shù)中顯示功能。即使是其他的AR公司也可以使用3D圖像來計劃手術(shù),但在MediView中,醫(yī)生可以直接使用光線工具來規(guī)劃手術(shù)過程,這是一個飛躍性的進步。
MediView整個過程都使用了術(shù)中工具追蹤技術(shù)。如果外科醫(yī)生拿起一個工具并將其帶入手術(shù)工作區(qū),這件工具就會被轉(zhuǎn)換成全息圖像,所以工具在進入病人之前和進入病人體內(nèi)時都是可視化的。
外科醫(yī)生可以隨時查看工具的位置,以及根據(jù)實時導(dǎo)航判斷是否需要推進或調(diào)整手術(shù)軌跡。
如果工具與計劃的路徑對齊,導(dǎo)航系統(tǒng)顯示為綠色即為正確狀態(tài)。如果有任何異變,系統(tǒng)會變回紅色,告知外科醫(yī)生已偏離正確路線。
West說:“正常情況下,我們無法看到手術(shù)刀在人體內(nèi)部的情況。但是,如果利用HoloLens技術(shù)和電磁跟蹤技術(shù),我們?nèi)匀豢梢酝高^皮膚看到人體內(nèi)部的情況……你仍然可以看到它的走向。你可以看到它的尖端,以及病人體內(nèi)的病變位置。”
該技術(shù)還使用了實時全息超聲波覆蓋。MediView系統(tǒng)的最后一項功能是首創(chuàng)全息超聲波技術(shù),利用超聲波產(chǎn)生獨立的三維全息圖。這個全息圖是在手術(shù)過程中創(chuàng)建的,外科醫(yī)生用超聲波探頭掃描病人,并實時確認所有的成像、解剖和工具是否對齊。
為什么說這是一個突破?因為這是全息圖像第一次“追蹤”到移動的軟組織,也就是所謂的“主動配準”。其他系統(tǒng)只能追蹤骨骼,因為它們是剛性結(jié)構(gòu),更容易定位和可視化。MediView系統(tǒng)不僅追蹤腫瘤本身,還可以追蹤病人呼吸或移動時牽動的其他軟組織。
為了獲得全面和準確的指導(dǎo),外科醫(yī)生能夠看到與實時3D人體地圖同步的MediView全部數(shù)據(jù)和圖像。通過使用手勢和語音命令,外科醫(yī)生可以完全自主地控制所有的數(shù)據(jù)和圖像,從而提高臨床決策能力。操作員可以重新定位、旋轉(zhuǎn)、縮放和選擇全息圖的組件,簡化工作內(nèi)容和改進臨床工作流程。
在未來,Black看到了這項技術(shù)的許多其他用途。MediView將利用籌得資金進一步開發(fā)這一變革性的技術(shù),幫助脊柱、神經(jīng)外科、乳腺、耳鼻喉科、骨科以及普外科醫(yī)生。
擴展公司規(guī)模
上圖: Fluorscopy 透視儀器售價300萬美元
Black最初從事建筑工程,如今他將這一經(jīng)驗用來改善醫(yī)療保健的設(shè)備。
Mina Fahim和Greg Miller將于本月加入MediView,分別擔任首席技術(shù)官和首席信息官的職位。Fahim十分看好這項技術(shù),稱“如果有更好的可視化技術(shù),手術(shù)中的很大一部分并發(fā)癥是可以避免的。”Fahim曾就職于Medtronic and St. Jude醫(yī)療公司,是一名研發(fā)工程師。
Miller曾與搭檔合作創(chuàng)辦了兩家初創(chuàng)公司,最近的一家是CentraComm,負責(zé)公司的日常運營,主攻視覺和制造自動化領(lǐng)域。他同樣看好這項技術(shù),說到:“MediView將拯救許多人的生命。”
MediView擁有克利夫蘭診所的兩項關(guān)鍵專利。因為系統(tǒng)仍在開發(fā)中,所以最終成本還未確認。
克利夫蘭診所的Lerner醫(yī)學(xué)院,Karl West正在領(lǐng)導(dǎo)開發(fā)團隊,利用HoloLens制作捐獻者顱骨和其他解剖結(jié)構(gòu)的3D全息圖像,用來評估和完善手術(shù)方案。West公司開發(fā)醫(yī)療設(shè)備已有超過25年的經(jīng)驗。
到目前為止,Black已經(jīng)做了2000多例手術(shù)。他在2017年4月與一名投資者共同創(chuàng)立了MediView,專門授權(quán)并將這項技術(shù)商業(yè)化。大約有10個人全職參與這個項目。
Black說:“我們對這項技術(shù)的真正期待是,希望它可以提升小規(guī)模醫(yī)療中心的工作能力,讓他們可以進行更為復(fù)雜的手術(shù)。如果小醫(yī)院也能夠使用這種新技術(shù)來治病救人,可比花300萬美元買一個透視系統(tǒng)劃算多了。”
來源:venturebeat
投稿/爆料:tougao@youxituoluo.com
稿件/商務(wù)合作: 六六(微信 13138755620)
加入行業(yè)交流群:六六(微信 13138755620)
元宇宙數(shù)字產(chǎn)業(yè)服務(wù)平臺
下載「陀螺科技」APP,獲取前沿深度元宇宙訊息