RSNA Knee Abnormality Detection: A Dual-Branch Ensemble

Automated Multi-Abnormality Screening on Knee MRI - Onyx AI

تحميل البحث PDF نموذج Kaggle رابط المسابقة

1. نظرة عامة

RSNA Knee Abnormality Detection هو خط أنابيب ذكاء اصطناعي مُؤتمت بالكامل لفحص دراسات MRI للركبة واكتشاف 12 نوعًا من الشذوذات (Abnormalities) لكل دراسة.

عدد التصنيفات	12 شذوذًا لكل دراسة
المدخلات	سلاسل DICOM متعددة المستويات (Sagittal, Coronal, Axial)
المخرجات	متجه احتمالات 12 بُعدًا (0–1) لكل دراسة
البنية	Ensemble مزدوج: DINOv3 ViT + RadImageNet ResNet-50
الحجم	~700 MB (10 نماذج + Encoder + سكربت الاستدلال)
الترخيص	نموذج بحثي — غير سريري

تطور معمارية الشبكة

Liu et al. (2019)

Astuto et al. (2021)

تطور للبنية

Onyx AI Model (2024)

تطور التصميم من الدراسات المرجعية (Liu et al. و Astuto et al.) وصولاً إلى معمارية Onyx AI الخاصة القائمة على الدمج المزدوج (Dual-Branch Ensemble).

فيديو توضيحي: الرؤية التقنية للبحث

2. البنية المعمارية

النظام يعتمد على فرعين مستقلين يتم دمج مخرجاتهما عبر Ensemble قائم على الترتيب المئوي (Percentile-Rank Ensemble).

2.1 الفرع الأول — “A5“: DINOv3 Vision Transformer Ensemble

Backbone: vit_small_patch16_dinov3 (عبر مكتبة timm)
التجميع: 5 نماذج مدربة بشكل مستقل
المدخلات: 6 فتحات (Sagittal-FS, Sagittal, Coronal-FS, Coronal, Axial-FS, Axial)
آلية Slot Conditioning: يتم إدخال رمز تضمين قابل للتعلم لمعرفة المستوى التشريحي. الفتحات المفقودة يتم تصفيرها للتعامل المرن مع الدراسات الناقصة.

2.2 الفرع الثاني — “Rad“: RadImageNet ResNet-50 Cross-Attention Ensemble

Backbone: ResNet-50 مُدرب مسبقًا على RadImageNet (~6.5 مليون صورة) (مجمد كمستخرج ميزات).
التجميع: 5 رؤوس تصنيف خفيفة تعتمد على Cross-Attention.
المدخلات: 3 مستويات × 8 شرائح × 224×224.

2.4 دمج الترتيب المئوي (Rank-Based Ensemble)

final_score = 0.60 × rank(A5_ensemble) + 0.40 × rank(Rad_ensemble)

يُعطى الفرع A5 (DINOv3) وزنًا أكبر (60%) بينما يسمح الفرع Rad بتصحيح التنبؤات (40%).

4. كيفية الاستخدام (مقتطفات)

التحميل وتهيئة البيئة (Python)

import kagglehub
import sys
from pathlib import Path
import importlib.util

# 1. تحميل النموذج
MODEL_PATH = kagglehub.model_download("ruicompany/rsna-knee-a5-rad/pytorch/pytorch")
print(f"✅ النموذج محمل عند: {MODEL_PATH}")

# 2. استيراد خط الأنابيب
sys.path.insert(0, str(MODEL_PATH))
spec = importlib.util.spec_from_file_location(
    "inference_pipeline", 
    Path(MODEL_PATH) / "inference.py"
)
pipe = importlib.util.module_from_spec(spec)
spec.loader.exec_module(pipe)

LABELS = pipe.LABELS

5. فهم المخرجات (فئات الخطر)

< 50%

Low (منخفض)

50–65%

Borderline (على الحدود)

65–80%

Elevated (مرتفع)

≥ 80%

High (مرتفع جدًا)

8. المراجع والمصادر

Liu F, et al. (2019). Fully Automated Diagnosis of Anterior Cruciate Ligament Tears on Knee MR Images by Using Deep Learning.
Radiol Artif Intell. 1(3):e180091.
Astuto B, et al. (2021). Automatic Deep Learning-assisted Detection and Grading of Abnormalities in Knee MRI Studies.
Radiol Artif Intell. 3(3):e200165.
RSNA 2024 Lumbar Spine & Knee Abnormality Detection (Kaggle Competition)
المسابقة الرسمية التي بُني عليها هذا النموذج.

9. الخلاصة

نموذج RSNA Knee A5 + RadImageNet هو Ensemble مزدوج يجمع بين DINOv3 Vision Transformer مع Slot Conditioning (فرع A5)، و RadImageNet ResNet-50 مع Cross-Attention (فرع Rad). يُنتج النموذج 12 درجة شذوذ لكل دراسة MRI للركبة، مع واجهة مراجعة ملونة تدعم — ولا تستبدل — قراءة أخصائي الأشعة.

الحالة: نموذج بحثي وتنافسي — غير مخصص للاستخدام السريري المباشر.