Pendekatan baru untuk pembelajaran mendalam dalam aplikasi kritis keselamatan dan sistem fisik


Gambar 1: Pengaruh model yang terlalu sederhana atau kompleks yang menyoroti masalah under-fitting dan over-fitting. Kredit gambar: Sintef

Pembelajaran mendalam adalah cabang dari kecerdasan buatan (AI) yang banyak digunakan dengan sukses besar di berbagai bidang. Namun, penerapannya pada aplikasi industri dan keselamatan sangat sulit karena kurangnya jaminan dalam model pembelajaran mendalam.

Dengan menggabungkan fisika dan pembelajaran mendalam dalam pembelajaran mesin hibrida, kita dapat mengatasi hambatan ini. Dengan menggunakan jaringan saraf Hamiltonian (HNN), kami menyatukan fleksibilitas pembelajaran mendalam dan keamanan serta jaminan dari pendekatan pemodelan berbasis fisika.

Masalah pelatihan yang berlebihan dalam pembelajaran yang mendalam

Pembelajaran mendalam adalah salah satu metode terkemuka dalam AI karena fleksibilitas dan cara yang efisien untuk pengoptimalan. Jaringan saraf dalam telah terbukti sebagai perkiraan fungsi umum, yang berarti bahwa jaringan saraf secara teori dapat mempelajari apa saja.

Gambar 2 Menggunakan HNN dan vanilla NN untuk memodelkan sistem pegas massa. HNN mempertahankan energi (sistem tetap pada lingkaran dalam ruang fase) sedangkan vanilla NN melanggar konservasi energi. Kredit gambar: Sintef

Meskipun ini terdengar bagus di awal, ada dua kondisi untuk pernyataan ini:

Pertama, Anda memerlukan jaringan saraf yang sangat besar, dan kedua, jumlah data yang tidak terbatas untuk mengoptimalkan jaringan (yang mungkin memakan waktu tak terbatas) – persyaratan yang tidak pernah terpenuhi dalam aplikasi nyata. Di dunia nyata, Anda berurusan dengan jaringan saraf yang terbatas dan kumpulan data yang terbatas dan bising, yang mengarah ke masalah yang disebut pelatihan berlebihan. Jika kita menggunakan jaringan saraf yang terlalu fleksibel pada sejumlah kecil data, ia akan mempelajari kumpulan data spesifik, tetapi bukan struktur umum data.

Hal ini diilustrasikan dengan cara pengaturan yang lebih sederhana pada Gambar 1: Pengamatan diambil dari fungsi kuadrat sederhana dan beberapa noise ditambahkan ke setiap titik data. Kami menggunakan tiga model sederhana: model linier yang terlalu sederhana, model kuadrat yang sesuai dengan distribusi data, dan model hijau, yang sangat fleksibel dan seharusnya mewakili jaringan saraf kami. Sementara model linier sederhana gagal menjelaskan data, model hijau melakukan pekerjaan yang lebih baik dalam menjelaskan data daripada model kuadrat, karena noise dan titik data yang terbatas. Tetapi model memiliki perilaku aneh antara titik data dan osilasi ini tidak mewakili perilaku yang kita inginkan, terutama jika kita tahu bahwa model sebenarnya adalah kuadrat.

Memilih model yang tepat untuk masalah fisika

Dalam contoh sederhana, kita dapat membatasi model kita menjadi kuadratik, dan menghindari masalah over-fitting. Gagasan di balik pemodelan sistem fisik dengan pembelajaran mendalam adalah sama: Membatasi model pada perilaku fisik. Pendekatan klasik untuk ini adalah membangun model dari prinsip pertama fisika dan mengoptimalkan parameternya ke data yang diamati. Model yang dihasilkan memiliki perilaku fisik yang diinginkan, tetapi mereka adalah penyederhanaan dari masalah dunia nyata: Apa pun yang tidak termasuk dalam model fisik tidak dapat dijelaskan. Ambil contoh masalah mekanis dengan gesekan: Gesekan hanya dapat dimodelkan kira-kira karena Anda memerlukan semua informasi detail tentang permukaan yang terlibat.

Oleh karena itu, tujuan kami adalah menggabungkan fleksibilitas jaringan saraf dalam dengan ketatnya hukum fisika. Hal ini terutama berlaku untuk aplikasi industri dan keselamatan kritis di mana jaminan perilaku model diperlukan tetapi dikombinasikan dengan fleksibilitas jaringan saraf.

Jaringan saraf Hamiltonian

Jadi, kami ingin membatasi jaringan saraf untuk berperilaku sesuai dengan hukum fisika, tetapi tanpa mengurangi fleksibilitasnya. Bagaimana itu mungkin?

Ide di balik jaringan saraf Hamiltonian (HNNs) bukan untuk membatasi jaringan saraf, tetapi untuk menggunakannya sebagai elemen dalam struktur yang lebih besar. Dengan demikian, struktur kemudian akan memberlakukan fisika dalam sistem. Dalam HNN, jaringan saraf digunakan untuk mempelajari fungsi Hamiltonian. Dinamika sistem kemudian diberikan oleh persamaan gerak (lihat kotak pada mekanika Hamilton). Dengan ini, dijamin bahwa energi selalu dipertahankan, tetapi dengan fleksibilitas jaringan saraf untuk mendekati fungsi Hamiltonian yang sangat rumit.

Demikian pula, Anda juga dapat menggunakan HNN untuk mempertahankan kuantitas lain seperti momentum total sistem. Sistem Hamilton dipelajari dengan baik dalam fisika dan matematika dan dilengkapi dengan perilaku yang terjamin, yang membuatnya sangat relevan untuk aplikasi industri dan kritis terhadap keselamatan. Tentu saja, sistem Hamilton tidak terbatas pada mekanika, meskipun ini biasanya merupakan contoh buku teks; Jaringan saraf Hamilton dapat digunakan dalam sistem hidrodinamik, listrik atau bahkan kuantum.

Keterbatasan dan perluasan jaringan saraf Hamiltonian

Terlepas dari pengaturan umum mereka, HNN memiliki keterbatasan: Mereka terutama dikembangkan untuk mempelajari sistem tertutup. Dalam aplikasi industri, kami tertarik pada sistem terbuka dengan kontrol, di mana material dan energi masuk dan keluar, seperti sistem hidrolik, tungku, atau jaringan tenaga listrik.

Perpanjangan dari HNN adalah jaringan saraf port-Hamiltonian (PHNNs) [2], mengikuti kerangka kerja port-Hamilton. PHNN memiliki prinsip dasar yang sama dengan HNN, tetapi memperkenalkan konsep port, yang memungkinkan interaksi dan kontrol eksternal. PHNN juga mudah diskalakan dan memungkinkan untuk memperkenalkan sebagian pengetahuan tentang sistem yang dimodelkan, yang kemudian mengurangi kebutuhan data saat mempelajari sistem dari data.

Sumber: sintef




Pos terkait