基于卷积神经网络的CT弦图学习与身体部位识别

陈诗琳; 李淑龙; 马建华

doi:10.13471/j.cnki.acta.snus.2020A061

您当前的位置：

首页 >

文章列表页 >

基于卷积神经网络的CT弦图学习与身体部位识别

研究论文 | 更新时间：2023-11-01

- 基于卷积神经网络的CT弦图学习与身体部位识别
- Bodypart recognition with CT sinogram based on convolutional neural network
- 中山大学学报(自然科学版) 2021年60卷第4期页码：154-163
- 作者机构：
  
  南方医科大学生物医学工程学院 / 广东省医学图像处理重点实验室，广东广州 510515
- 作者简介：
  
  陈诗琳（1996年生），女；研究方向：医学图像分析、深度学习；E-mail：shelena.chen@foxmail.com
  李淑龙（1981年生），女；研究方向：医学图像分析、影像组学；E-mail：shulong@smu.edu.cn
  马建华（1975年生），男；研究方向：医学图像重建、机器学习；E-mail：jhma@smu.edu.cn
- 基金信息：
  
  国家自然科学基金(11771456;U1708261)
- DOI：10.13471/j.cnki.acta.snus.2020A061
  中图分类号： R742;R445.2
- 纸质出版日期：2021-07-25，
  
  网络出版日期：2021-06-02，
  
  收稿日期：2020-11-04，
  
  录用日期：2021-01-19
扫描看全文
陈诗琳,李淑龙,马建华.基于卷积神经网络的CT弦图学习与身体部位识别[J].中山大学学报(自然科学版),2021,60(04):154-163.

CHEN Shilin,LI Shulong,MA Jianhua.Bodypart recognition with CT sinogram based on convolutional neural network[J].Acta Scientiarum Naturalium Universitatis Sunyatseni,2021,60(04):154-163.
陈诗琳,李淑龙,马建华.基于卷积神经网络的CT弦图学习与身体部位识别[J].中山大学学报(自然科学版),2021,60(04):154-163. DOI： 10.13471/j.cnki.acta.snus.2020A061.

CHEN Shilin,LI Shulong,MA Jianhua.Bodypart recognition with CT sinogram based on convolutional neural network[J].Acta Scientiarum Naturalium Universitatis Sunyatseni,2021,60(04):154-163. DOI： 10.13471/j.cnki.acta.snus.2020A061.

摘要

基于医学影像的身体部位识别旨在确定特定医学影像所属的身体部位，是许多医学影像分析任务必不可少的预处理步骤。目前，计算机断层扫描（CT，Computed Tomography）技术是临床中最常用的医学影像技术之一，而基于CT图像的医学影像分析算法（例如，病灶检测、器官分割等）同样需要首先确定CT图像所属身体部位以获取先验知识，从而保证算法的速度及鲁棒性。然而CT图像是由被称为CT弦图（CT Sinogram）的CT原始数据重建得到，而图像重建过程有可能导致信息丢失。因此，相较于CT图像，CT弦图中应该包含更多适用于身体部位识别的有效信息。然而，目前基于CT弦图的身体部位识别研究仍比较少。鉴于此，本研究使用基于卷积神经网络（CNN，Convolutional Neural Network）的深度学习对CT弦图进行特征学习，并验证其在身体部位识别任务中的可用性。实验采用了一个公开数据集（DeepLesion）和来自著名医学机构的三个临床数据集来验证本研究提出方法的性能。具体而言，本研究通过Radon变换理论对CT图像进行数据仿真得到CT弦图，并以CT弦图作为输入，构造基于CNN的分类器（Sino-Net），从而对五个最常见的身体部位（头部、颈部、胸部、上腹部以及骨盆）进行识别。实验结果表明，使用CT弦图进行身体部位识别可以达到与使用CT图像进行身体部位识别相似的性能，甚至优于基于CT图像识别的结果。

Abstract

Medical-image-based human bodypart recognition，which aims to accurately locate the bodypart of a specific medical image，is an essential preprocessing step for many medical image analysis tasks.Currently，computed tomography （CT） is one of the most available medical imaging techniques in clinic.Many CT-based medical image analysis algorithms （such as lesion detection，organ segmentation，etc.） need to first identify the bodypart information contained in the CT image to obtain prior knowledge，so as to ensure the speed and robustness of the algorithms.However，CT images are reconstructed from CT raw data，which is also known as CT sinogram.And the image reconstruction process may cause information loss.Therefore，compared with CT images，CT sinogram may contain more effective information suitable for bodypart recognition tasks.However，there are still relatively few researches on bodypart recognition based on CT sinogram.Therefore，the deep learning based convolutional neural network （CNN） technique is used to train on CT sinogram and its usability in bodypart recognition tasks is verified.A public dataset （i.e.，DeepLesion） and three clinical datasets from well-known medical institutions are adopted to verify the performance of our proposed method.Specifically，the Radon transform is used to perform data simulation on CT images to obtain CT sinogram，which is served as input to train a CNN-based classifier （Sino-Net） to recognize the five most common bodyparts （i.e.，head，neck，chest，upper abdomen and pelvis）.The experimental results show that the use of CT sinogram for bodypart recognition can achieve similar performance to the use of CT images，and sometimes even better than the results based on CT images.

关键词

CT弦图神经网络身体部位多分类

Keywords

CT sinogramconvolutional neural networkbodypart recognitionmulti-class

references

王芹，王然冉，姜述凤，等. 关于人体部位识别的一种模糊算法［J］. 科学技术与工程， 2004， 4（8）：687-690.

WANG Q， WANG R R， JIANG S F， et al. A fuzzy algorithm of recognizing human body parts ［J］. Science Technology and Engineering，2004， 4（8）：687-690.

COOTES T F， HILL A， TAYLOR C J， et al. Use of active shape models for locating structures in medical images ［J］. Image & Vision Computing， 1994， 12（6）： 355-365.

LI W， YANG Y， ZHANG K， et al. Dense anatomical annotation of slit-lamp images improves the performance of deep learning for the diagnosis of ophthalmic disorders ［J］. Nature Biomedical Engineering， 2020， 4（8）： 1-11.

ZHANG K， LIU X， SHEN J， et al. Clinically applicable AI system for accurate diagnosis， quantitative measurements， and prognosis of COVID-19 pneumonia using computed tomography ［J］. Cell， 2020， 181（6）： 1423-1433.

ZLOCHA M， DOU Q， GLOCKER B. Improving RetinaNet for CT lesion detection with dense masks from weak RECIST labels［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention， Springer， 2019： 402-410.

TANG Y， GAO R， LEE H H， et al. High-resolution 3D abdominal segmentation with random patch network fusion ［J］. Medical Image Analysis， 2020， 69： 101894.

TONG N， GOU S， YANG S， et al. Fully automatic multi‐organ segmentation for head and neck cancer radiotherapy using shape representation model constrained fully convolutional neural networks ［J］. Medical Physics， 2018， 45（10）： 4558-4567.

XU X， ZHOU F， LIU B， et al. Efficient multiple organ localization in CT image using 3D region proposal network ［J］. IEEE Transactions on Medical Imaging， 2019， 38（8）： 1885-1898.

TANG Y， GAO R， HAN S， et al. Body part regression with self-supervision ［J］. IEEE Transactions on Medical Imaging， 2021.DOI:10.1109/TMI.2021.3058281http://dx.doi.org/10.1109/TMI.2021.3058281.

YAN K， LU L， SUMMERS R M. Unsupervised body part regression via spatially self-ordering convolutional neural networks ［C］//IEEE 15th International Symposium on Biomedical Imaging （ISBI 2018）. IEEE， 2018： 1022-1025.

MEINE H， HERING A. Efficient prealignment of CT scans for registration through a bodypart regressor［J］. arXiv：1909.08898， 2019.

KARCAALTINCABA M， AKTAS A. Dual-energy CT revisited with multidetector CT： review of principles and clinical applications ［J］. Diagnostic and Interventional Radiology, 2011，17（3）： 181-194.

BASSER P J， JONES D K. Diffusion‐tensor MRI： theory， experimental design and data analysis–a technical review ［J］. NMR in Biomedicine： An International Journal Devoted to the Development and Application of Magnetic Resonance In Vivo， 2002， 15（7/8）： 456-467.

MILDENBERGER P， EICHELBERG M， MARTIN E. Introduction to the DICOM standard ［J］. European Radiology， 2002， 12（4）： 920-927.

GUELD M O， KOHNEN M， KEYSERS D， et al. Quality of DICOM header information for image categorization ［J］. Proc Spie Medical Imaging， 2002，4685： 280-287.

MUSTRA M， DELAC K， GRGIC M. Overview of the DICOM standard ［C］// 2008 50th International Symposium ELMAR， IEEE， 2008，1： 39-44.

张乐锋，郑逸，傅超. 用改进的深度差分特征识别人体部位［J］. 微型机与应用， 2015， 34（14）： 54-57.

ZHANG L F， ZHENG Y， FU C. Improved depth comparison feature for the recognition of human parts ［J］. Microcomputer & Its Applications， 2015， 34（14）： 54-57.

田野，姜娈，李强. 基于CT 图像的身体部位自动识别方法［J］. 计算机工程与设计， 2017， 38（1）： 247-252.

TIAN Y， JIANG L， LI Q. Automated localization of body part in CT images ［J］. Computer Engineering and Design， 2017， 38（1）： 247-252.

PARK J， KANG G， PAN S， et al. A novel algorithm for identification of body parts in medical images ［C］//International Conference on Fuzzy Systems and Knowledge Discovery， 2006： 1148-1158.

HONG L， HONG S. Methods and apparatus for automatic body part identification and localization ［J］. U S Patent App, 2008，11.DOI：US20080112605http://dx.doi.org/US20080112605.

CRIMINISI A， ROBERTSON D， KONUKOGLU E， et al. Regression forests for efficient anatomy detection and localization in computed tomography scans ［J］. Medical Image Analysis， 2013， 17（8）： 1293-1303.

LI S， XU P， LI B， et al. Predicting lung nodule malignancies by combining deep convolutional neural network and handcrafted features ［J］. Physics in Medicine & Biology， 2019， 64（17）： 175012.

ZHOU Z， LI S， HAO H， et al. A multi-objective based feature selection method for lung nodule malignancy classification ［C］//Medical Physics， NJ USA， 2018，45： E678-E678.

林鹏，张超，李竹良，等. 基于深度图像学习的人体部位识别［J］. 计算机工程， 2012， 38（16）： 185-188.

LIN P， ZHANG C， LI Z L， et al. Human body part recognition based on depth image learning ［J］. Computer Engineering， 2012， 38（16）： 185-188.

ROTH H R， LEE C T， SHIN H C， et al. Anatomy-specific classification of medical images using deep convolutional nets ［C］//IEEE 12th International Symposium on Biomedical Imaging (ISBI)， 2015： 101-104.

YAN Z， ZHAN Y， PENG Z， et al. Multi-instance deep learning： discover discriminative local anatomies for bodypart recognition ［J］. IEEE Transactions on Medical Imaging， 2016， 35（5）： 1332-1343.

ZHANG P， WANG F， ZHENG Y. Self supervised deep representation learning for fine-grained body part recognition ［C］//2017 IEEE 14th International Symposium on Biomedical Imaging （ISBI 2017）. IEEE， 2017： 578-582.

HE J， WANG Y， MA J. Radon Inversion via Deep Learning ［J］. IEEE Transactions on Medical Imaging， 2020， 39（6）： 2076-2087.

HE J， YANG Y， WANG Y， et al. Optimizing a parameterized plug-and-play ADMM for iterative low-dose CT reconstruction ［J］. IEEE Transactions on Medical Imaging， 2019， 38（2）： 371-382.

LEE H， HUANG C， YUNE S， et al. Machine friendly machine learning： interpretation of computed tomography without image reconstruction ［J］. arXiv：1812.01068， 2018.［https://arxiv.org/abs/1812.01068v1https://arxiv.org/abs/1812.01068v1]

HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

HUANG G， LIU Z， MAATEN L V D， et al. Densely connected convolutional networks ［C］//IEEE Conference on Computer Vision & Pattern Recognition， 2017： 2261-2269.

SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 2818-2826.

KE Y， WANG X， LE L， et al. DeepLesion： automated mining of large-scale lesion annotations and universal lesion detection with deep learning ［J］. Journal of Medical Imaging， 2018， 5（3）： 036501.DOI：10.1117/1.JMI.5.3.036501http://dx.doi.org/10.1117/1.JMI.5.3.036501.

YU L， SHIUNG M， JONDAL D， et al. Development and validation of a practical lower-dose-simulation tool for optimizing computed tomography scan protocols ［J］. Journal of Computer Assisted Tomography， 2012， 36（4）： 477-487.

ELBAKRI I A， FESSLER J A. Statistical image reconstruction for polyenergetic X-ray computed tomography ［J］. IEEE Transactions on Medical Imaging， 2002， 21（2）： 89-99.

KEATING K A. Use and interpretation of logistic regression in habitat-selection studies ［J］. Journal of Wildlife Management， 2011， 68： 774-789.

YE J， JANARDAN R， QI L， et al. Feature extraction via generalized uncorrelated linear discriminant analysis ［C］//Machine Learning， Proceedings of the Twenty-first International Conference （ICML）， Banff， Alberta， Canada， 2004.

GUO G， WANG H， BELL D， et al. KNN model-based approach in classification ［C］// OTM Confederated International Conferences "On the Move to Meaningful Internet Systems"， 2003： 986-996.

SABARIAH M M K， HANIFA S A， SA'ADAH M S. Early detection of type II Diabetes Mellitus with random forest and classification and regression tree （CART）［C］// International Conference of Advanced Informatics： Concept， Theory and Application （ICAICTA）， IEEE， 2014： 238-242.

BREIMAN L. Random forests ［J］. Machine Learning， 2001， 45（1）： 5-32.

MOŽINA M， DEMŠAR J， KATTAN M， et al. Nomograms for visualization of naive bayesian classifier ［C］//European Conference on Principles of Data Mining and Knowledge Discovery， Berlin， Heidelberg， 2004： 337-348.

SELVARAJ H， SELVI S T， SELVATHI D， et al. Brain MRI slices classification using least squares support vector machine ［J］. International Journal of Intelligent Computing in Medical Sciences & Image Processing， 2007， 1（1）： 21-33.

DAVIS J， GOADRICH M. The relationship between precision-recall and ROC curves ［C］//the 23rd International Conference on Machine Learning， 2006： 233-240.

LOBO J M， JIMÉNEZ-VALVERDE A， REAL R. AUC： a misleading measure of the performance of predictive distribution models ［J］.Global Ecology and Biogeography， 2008，17（2）： 145-151.

YAN K， WANG X， LU L， et al. Deep lesion graphs in the wild： relationship learning and organization of significant radiology image findings in a diverse large-scale lesion database ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 9261-9270.

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

暂无数据