ASOURCE Navi

VR (Virtual Reality) is a technology that allows you to experience the virtual space drawn by CG by wearing dedicated devices such as goggles and headsets, and is called "virtual reality". Medical care is one of the fields where VR is being introduced, and various new attempts are being made in training, surgical support, telemedicine, rehabilitation, and so on. Here are some examples.

医療現場では、CTやMRIなどによる3次元の画像データが2次元の画面上で利用されています。しかし、2次元の画面から得られる情報には限りがあり、特に手術前のプランニングなどでは立体空間的な理解が必要となります。

HoloeyesではVR/MR（Mixed Reality）などのテクノロジーを駆使し、CT/MRIなどの3Dデータを立体空間に提示し、VR/MRゴーグルを装着することで、臓器や血管をあらゆる角度から観察できるようにしました（図1）。このため、今まで見えにくかった解剖の立体関係や病変の広がり、奥行きなどが理解しやすくなり、スムーズかつ安全で正確な手技のサポートに繋がりました。がん・感染症センター東京都立駒込病院外科（肝胆膵）では、腹腔鏡による膵臓がんの手術の際にVRを併用し、血管が複雑に入り込んでいる膵臓において腫瘍部位を立体画像で確認しながら手術が進められています。

In addition, a service called "Virtual Session" has been added, which allows multiple medical staff to share 3D models in real time in real time in virtual space and real space, and to perform treatment planning and procedure training. .. In July of this year, the operating room of Emirate specialty Hospital in UAE Dubai and the operating room of NTT Medical Center Tokyo in Tokyo will be connected online in real time, and XR (Extended Reality) remote surgery for laparoscopic gastrectomy will be performed in a complex real space. Support was provided.

Some of these functions have been certified as managed medical equipment (class II) as medical image processing software "Holoeyes MD", and will be released nationwide as a program for general-purpose diagnostic imaging equipment workstations from June 2020. I am.

Figure 1: "Virtual session" where 3D models can be shared simultaneously in virtual space and real space between surgical staff.

順天堂大学医学部附属順天堂医院脳神経内科の研究グループは、世界初となる3次元オンライン診療システム「Holomedicine」を開発しました。このシステムは、遠隔地にいる患者の3次元動作情報を離れた場所にいるドクターのヘッドマウントディスプレイ（HoloLens）上に投影し、患者が目の前にいるかのように診察できるものです。

Holomedicineは、MRという技術を駆使し、遠隔地にいる患者を、マーカレス3次元モーションスキャナー（Kinect v2）を用いて、3次元動作情報をリアルタイムでスキャンし、離れた場所にいるドクターのヘッドマウントディスプレイに投影する仕組みです。患者にもHoloLensを着けてもらい音声通話すれば、実際に双方が対面しているような感じになります（図2）。パーキンソン病患者100人を対象に、Holomedicineを用いて診療した場合の運動症状のスコア（UPDRS-Ⅲ）は、これまでの対面による評価によるスコアと比較すると、高い相関があり、対面診療の代わりになり得ることがわかりました。これまでのオンライン診療では、2次元的な情報しか得られないため、歩行や姿勢などの情報を得にくいという難点がありました。

新型コロナウイルス感染症の流行の中で、3次元オンライン診療システムはポストコロナを見据えた新しいオンライン診療として期待されます。

Figure 2: The doctor side (right) and the patient side (left) appear to be in front of you through the head-mounted display.