Makassar, Respublica— Selama ini, kamera merekam apa yang dilihat manusia dari luar. Namun, bagaimana jika gambaran visual yang masuk ke dalam pikiran dapat direkonstruksi melalui aktivitas otak?
Pertanyaan tersebut menjadi salah satu tantangan menarik dalam ilmu saraf dan kecerdasan buatan (AI). Melalui teknologi pencitraan otak dan model pembelajaran mendalam, para peneliti mulai mengembangkan cara untuk menerjemahkan aktivitas saraf menjadi gambaran visual yang menyerupai apa yang sedang dilihat seseorang.

Salah satu terobosan dalam bidang ini diperkenalkan melalui penelitian berjudul Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer. Penelitian yang melibatkan Roman Beliy, Jonathan Kogman, Michal Irani, Amit Zalcher, dan Navve Wasserman dari Department of Computer Science, Weizmann Institute of Science, Israel, tersebut menawarkan pendekatan baru untuk merekonstruksi gambar berdasarkan rekaman aktivitas otak.
Penelitian ini berangkat dari persoalan yang cukup mendasar: aktivitas otak manusia mengandung informasi tentang apa yang dilihat, tetapi menerjemahkan informasi tersebut menjadi gambar yang sesuai dengan pengalaman visual seseorang bukan perkara sederhana.
Dari aktivitas otak menjadi gambar
Dalam penelitian ini, para peneliti menggunakan functional Magnetic Resonance Imaging (fMRI), teknologi pencitraan yang memungkinkan pengamatan terhadap perubahan aktivitas otak melalui perubahan sinyal yang berkaitan dengan aliran darah dan oksigenasi.
Dalam eksperimen rekonstruksi visual, seseorang diperlihatkan gambar alami, sementara aktivitas otaknya direkam menggunakan fMRI. Data tersebut kemudian dipasangkan dengan gambar yang dilihat. Pasangan data inilah yang digunakan untuk melatih model kecerdasan buatan agar dapat mempelajari hubungan antara pola aktivitas otak dan karakteristik visual suatu gambar.
Setelah proses pelatihan, model diuji menggunakan rekaman fMRI baru untuk menghasilkan rekonstruksi gambar yang dipersepsikan oleh subjek.
Dengan kata lain, sistem tidak mengambil gambar langsung dari dalam otak. Sistem mempelajari pola aktivitas saraf yang berkaitan dengan pengalaman visual, kemudian menggunakan pola tersebut untuk memperkirakan gambar yang sedang dilihat.
Pendekatan semacam ini sebenarnya bukan hal baru. Penelitian sebelumnya telah mencoba menerjemahkan sinyal fMRI menjadi fitur gambar menggunakan metode statistik dan pembelajaran mendalam. Perkembangan berikutnya memanfaatkan model difusi (diffusion models), yakni teknologi generatif yang mampu menghasilkan gambar berdasarkan arahan atau informasi tertentu.
Namun, ada persoalan yang belum sepenuhnya teratasi. Gambar hasil rekonstruksi terkadang tampak realistis, tetapi tidak benar-benar sesuai dengan gambar yang dilihat oleh subjek.
Sebuah rekonstruksi mungkin berhasil menghasilkan gambar seekor hewan, misalnya, tetapi keliru dalam posisi, warna, bentuk, atau detail objek yang sebenarnya. Artinya, gambar yang dihasilkan terlihat masuk akal, tetapi belum tentu merepresentasikan pengalaman visual yang sesungguhnya.
Para peneliti Brain-IT menilai salah satu penyebabnya adalah ketergantungan yang terlalu besar pada kemampuan generatif model difusi. Model dapat menghasilkan gambar yang meyakinkan berdasarkan pengetahuan visual yang telah dipelajarinya, meskipun informasi yang diperoleh dari aktivitas otak belum cukup kuat untuk menentukan detail gambar secara akurat.
Meniru cara otak mengorganisasi informasi
Untuk mengatasi persoalan tersebut, para peneliti memperkenalkan pendekatan bernama Brain Interaction Transformer (BIT). Gagasan dasarnya terinspirasi dari cara otak manusia mengolah informasi visual. Pemrosesan informasi di otak tidak berlangsung melalui satu pusat tunggal, tetapi melibatkan berbagai wilayah yang memiliki fungsi berbeda dan saling berinteraksi.
Dalam sistem visual manusia, informasi mengenai posisi objek, warna, bentuk, dan karakteristik semantik diproses melalui jaringan wilayah otak yang saling terhubung. BIT mencoba mengadaptasi prinsip tersebut ke dalam arsitektur kecerdasan buatan.
Alih-alih memperlakukan seluruh aktivitas otak sebagai satu kumpulan informasi besar, model ini mengelompokkan voxel, yaitu unit tiga dimensi yang digunakan dalam pemrosesan data pencitraan otak, berdasarkan kesamaan fungsi.
Setiap kelompok kemudian dirangkum menjadi representasi yang disebut Brain Token. Representasi ini memungkinkan model mengolah informasi dari kelompok-kelompok aktivitas otak yang memiliki karakteristik fungsional serupa.
Menariknya, kelompok fungsional tersebut dirancang untuk digunakan bersama oleh berbagai subjek penelitian. Dengan demikian, model dapat mempelajari pola yang memiliki kesamaan antarmanusia, bukan hanya mengandalkan karakteristik aktivitas otak satu individu.
Setiap kelompok kemudian berinteraksi dengan kelompok lainnya untuk menyempurnakan representasi informasi. Hasilnya dipetakan menjadi fitur-fitur gambar pada bagian atau patch tertentu.
Pendekatan ini memungkinkan informasi dari kelompok aktivitas otak diterjemahkan secara lebih langsung menjadi karakteristik lokal gambar.
Menggabungkan makna dan struktur gambar
Keunggulan lain Brain-IT terletak pada penggunaan dua jalur pemrosesan yang saling melengkapi. Jalur pertama bekerja pada tingkat semantik, yakni informasi mengenai makna atau isi gambar. Fitur yang dihasilkan digunakan untuk mengarahkan model difusi agar menghasilkan objek dan konten visual yang sesuai dengan apa yang dipersepsikan subjek.
Jalur kedua bekerja pada tingkat struktural. Jalur ini berupaya memperkirakan susunan kasar gambar, seperti posisi dan tata letak objek.
Untuk menjalankan fungsi tersebut, peneliti menggunakan fitur VGG yang diproses melalui kerangka Deep Image Prior (DIP). VGG merupakan arsitektur jaringan saraf yang digunakan untuk mengenali karakteristik visual, sedangkan DIP memanfaatkan struktur jaringan konvolusional untuk membantu merekonstruksi gambar.
Kedua jalur tersebut memiliki fungsi berbeda, tetapi saling mendukung. Informasi struktural memberikan gambaran awal mengenai susunan objek, sementara informasi semantik membantu menentukan isi gambar yang lebih tepat.
Selanjutnya, model difusi menyempurnakan hasil rekonstruksi berdasarkan kedua jenis informasi tersebut. Strategi ini penting karena gambar yang akurat tidak cukup hanya terlihat realistis. Gambar juga harus mempertahankan susunan dan karakteristik objek sebagaimana yang dilihat oleh subjek.
Dengan menggabungkan informasi semantik dan struktural, Brain-IT berupaya mengurangi kesenjangan antara gambar yang dihasilkan AI dan gambar yang benar-benar dipersepsikan manusia.
Satu jam data untuk mempelajari otak baru
Salah satu temuan menarik dalam penelitian ini berkaitan dengan efisiensi pembelajaran. Perbedaan aktivitas otak antarindividu selama ini menjadi tantangan dalam pengembangan teknologi rekonstruksi visual. Pola aktivitas yang berkaitan dengan pengalaman visual seseorang belum tentu identik dengan pola aktivitas orang lain.
Akibatnya, model yang dilatih menggunakan data dari satu individu belum tentu dapat bekerja dengan baik ketika diterapkan kepada individu berbeda.
Brain-IT menawarkan pendekatan melalui penggunaan kelompok voxel fungsional yang dibagikan antarsubjek dan komponen model yang menggunakan bobot jaringan bersama. Desain tersebut memungkinkan model mempelajari representasi yang lebih mudah digeneralisasikan kepada individu lain.
Dalam penelitian ini, para peneliti melaporkan bahwa model dapat mencapai hasil rekonstruksi yang sebanding dengan metode sebelumnya yang dilatih menggunakan rekaman lengkap selama 40 jam, hanya dengan memanfaatkan satu jam data fMRI dari subjek baru.
Temuan tersebut menunjukkan potensi efisiensi transfer learning, yakni kemampuan memanfaatkan pengetahuan yang telah dipelajari model untuk diterapkan pada subjek atau kondisi baru dengan kebutuhan data tambahan yang lebih sedikit.
Artinya, model tidak harus selalu memulai proses pembelajaran dari awal setiap kali menghadapi individu baru.
Bukan berarti AI sudah bisa membaca pikiran
Meski menawarkan kemajuan penting, para peneliti tidak menyatakan bahwa Brain-IT telah mampu membaca seluruh isi pikiran manusia. Teknologi ini bekerja dalam ruang lingkup yang lebih spesifik, yakni merekonstruksi pengalaman visual berdasarkan aktivitas otak yang direkam ketika seseorang melihat gambar.
Bahkan, hasil rekonstruksi yang dihasilkan masih memiliki keterbatasan. Dalam bagian diskusi, para peneliti mengakui bahwa detail-detail halus dan aspek semantik tertentu terkadang belum dapat direkonstruksi secara akurat.
Keterbatasan tersebut mungkin berkaitan dengan karakteristik sinyal fMRI itu sendiri maupun kemampuan representasi model yang masih perlu dikembangkan.
Karena itu, hasil penelitian ini lebih tepat dipahami sebagai kemajuan dalam pemetaan hubungan antara aktivitas saraf dan persepsi visual, bukan sebagai bukti bahwa teknologi telah mampu mengakses pikiran manusia secara menyeluruh.
Membuka jalan bagi penelitian otak
Di luar rekonstruksi gambar, pendekatan Brain-IT juga menawarkan peluang bagi pengembangan ilmu saraf. Kemampuan model dalam mengidentifikasi interaksi antara kelompok-kelompok wilayah otak yang memiliki fungsi berbeda dapat membantu peneliti memahami bagaimana informasi diproses dan didistribusikan di dalam otak.
Peneliti juga melihat potensi penggunaan pendekatan ini untuk mengkaji hubungan antara representasi informasi di berbagai wilayah otak dengan proses persepsi manusia.
Kemampuan transfer learning yang dimiliki Brain-IT turut membuka peluang penerapan pada kumpulan data dan subjek penelitian yang lebih beragam. Model yang telah dilatih sebelumnya dapat diadaptasi untuk kebutuhan penelitian baru dengan data tambahan yang relatif terbatas.
Pada akhirnya, penelitian ini memperlihatkan bahwa hubungan antara kecerdasan buatan dan ilmu saraf tidak hanya berjalan satu arah. AI dapat membantu manusia memahami cara kerja otak, sementara pemahaman mengenai organisasi otak juga dapat menginspirasi pengembangan arsitektur kecerdasan buatan yang lebih efektif.
Upaya merekonstruksi gambar dari aktivitas otak masih jauh dari sempurna. Namun, Brain-IT menunjukkan bahwa semakin baik teknologi memahami bagaimana otak mengorganisasi dan mengirimkan informasi, semakin besar pula peluang untuk menerjemahkan aktivitas saraf menjadi representasi visual yang mendekati pengalaman manusia.
Sumber Artikel
Beliy, R., Zalcher, A., Kogman, J., Wasserman, N., & Irani, M. (2025, October 29). Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer. arXiv.org. https://arxiv.org/abs/2510.25976
Comment