Jika kita mengamati dengan cermat beberapa fenomena terkait penggunaan teknologi digital, kita dapat melihat bahwa paparan sistem TI (Teknologi Informasi) dan OT (Teknologi Operasional) di dunia maya terus berkembang dan penggunaan Kecerdasan Buatan yang saling berhubungan dengan sistem fisik semakin meningkat. memainkan peran mendasar dalam proses kontrol di antara sistem yang menggunakan sensor dan aktuator.
60% perusahaan yang menggunakan kecerdasan buatan di bidang ini mengakui bahwa risiko yang terkait dengannya tentu saja penting dan termasuk yang paling kritis.
Namun, Kecerdasan Buatan membuka jalan tidak hanya terhadap risiko serangan jenis baru tetapi juga kemungkinan pertahanan baru dan ini berarti bahwa paradigma pertahanan penilaian risiko pada sistem kritis saat ini perlu ditinjau ulang.
Di sinilah sebuah proyek yang dibiayai oleh Uni Eropa (program Horizon 2020 Komisi Eropa) ikut berperan, dengan anggaran sekitar empat juta euro: proyek KINAITIKA.
Proyek KINAITICS - Serangan cyber-kinetic menggunakan Artificial Intelligence - resmi lahir pada Oktober 2022 berkat kolaborasi tujuh mitra dari lima negara Eropa yang berbeda, tiga di antaranya adalah Italia (Pluribus One, Fondazione Toscana G.Monasterio dan Engineering) dan empat lainnya adalah Eropa: the Komisariat à l'Energie Atomique et aux Energies Alternatif (CEA), itu Pusat Riset & Teknologi Hellas (CERTH), Vicomtech dan Katholieke Universiteit Leuven.
Proyek internasional ini bertujuan untuk mengeksplorasi peluang serangan baru yang ditawarkan oleh pengenalan sistem kontrol berdasarkan kecerdasan buatan dan untuk mempelajari pendekatan pertahanan baru untuk meningkatkan ketahanan dan ketahanan serta melindungi mereka dari serangan.
Di sektor inilah AI memainkan peran penting dengan mendorong pemahaman yang lebih baik tentang sifat risiko yang muncul dan penerapan pendekatan keamanan yang inovatif.
Hal ini dilakukan melalui pembuatan kerangka kerja terintegrasi, penilaian potensi risiko dan evolusinya, serta studi aspek hukum, etika, dan kepatuhan terhadap undang-undang dan peraturan AI seperti GDPR, arahan NIS2, dan UU AI.
Salah satu aspek kuncinya menyangkut transparansi. Algoritme AI harus dapat dipahami untuk menghindari keputusan yang tidak jelas atau tidak dapat dipahami, sebuah fenomena yang dikenal sebagai kotak hitam.
Dalam konteks kritis, seperti triase medis otomatis atau pengendalian proses industri, keputusan yang tidak transparan dapat menimbulkan ketidakpercayaan atau, lebih buruk lagi, membahayakan nyawa manusia.
Selain itu, prasangka algoritmik (yaitu pengaruh bias atau distorsi implisit dalam data yang mengarah pada keputusan yang bias secara sistematis) mewakili risiko yang nyata. Jika data pelatihan tidak representatif atau mengandung bias, keputusan sistem mungkin bersifat diskriminatif, tidak adil, atau tidak tepat. Misalnya, sistem keamanan berbasis AI dapat memihak atau menghukum kategori orang tertentu berdasarkan karakteristik yang tidak relevan, seperti etnis atau gender.
Kerangka kerja terintegrasi baru
Kerangka kerja pertahanan yang dikembangkan di KINAITICS terkait erat dengan kerangka kerja Anda jangkauan cyber, alat yang dibuat khusus untuk mendidik dan melatih personel melalui latihan dunia maya dan untuk membantu peneliti mensimulasikan serangan nyata. Dengan menerapkan strategi pertahanan dengan alat AI, yang dikoordinasikan oleh pekerjaan manusia, rangkaian cyber berfokus pada kerentanan digital dan fisik dan bertindak sebagai tempat uji coba untuk berbagai jenis serangan, membantu menguji kemampuan penilaian keamanan. secara real time.
Kerangka pertahanan, dibagi menjadi empat modul, meliputi:
- ketik pemantauan perilaku (perilaku) individu, sistem kendali industri (ICS) dan perangkat lunak;
- sistem pendukung keputusan yang membantu menyarankan atau menerapkan tindakan penanggulangan untuk mengurangi dampak insiden dunia maya;
- bentuk rekayasa sosial berdasarkan Pembelajaran mesin (ML) dan Pengolahan Bahasa alami (NLP), dan terakhir penggunaan mekanisme pertahanan hibrida pengguna AI.
Penggunaan ML dan AI membawa manfaat kinerja yang besar namun juga berpotensi menimbulkan risiko baru. Penjahat dunia maya dapat menargetkan sistem AI melalui berbagai metode, seperti keracunan data (yaitu keracunan data) selama latihan, yang akan menyebabkan AI mengambil keputusan yang buruk, pada kenyataannya, semakin kompleksnya AI membawa serta kerentanan baru.
Salah satu risiko terbesar adalah risiko serangan terhadap data pelatihan yang dapat membahayakan kemampuan AI dalam mengambil keputusan yang andal.
Mengamankan sistem ini bukanlah pekerjaan sederhana dan memerlukan pemahaman mendalam tentang teknik yang digunakan oleh penyerang. Penggunaan kerangka kerja yang ada seperti yang ada dalam proyek MITRE ATT & CK e ATLAS (Lanskap Ancaman Adversarial untuk Sistem Kecerdasan Buatan) membantu Anda lebih memahami, mengidentifikasi, dan mengelola risiko terkait kecerdasan buatan, dengan menawarkan solusi yang terus diperbarui.
Tepatnya dengan mengacu pada ATLAS adalah mungkin untuk membayangkan kasus penggunaan yang realistis... Bayangkan misalnya sebuah pabrik industri di mana sensor yang salah dapat menyebabkan kecelakaan, penggunaan kerangka KINAITICS dapat membantu kita memprediksi anomali, menyarankan intervensi sebelum masalah terjadi, itu adalah ini adalah kasus penggunaan Digital Twin (kembaran digital) suatu sistem semakin sering digunakan untuk memodelkan dan memprediksi perilaku idealnya dan memverifikasi bahwa tidak ada penyimpangan yang dapat membahayakan fungsionalitas dan keamanan fisik sistem. Penggunaan Kembar Digital hal ini menguntungkan namun pada saat yang sama memperluas kemungkinan serangan: pikirkan apa yang bisa terjadi jika penjahat dunia maya berhasil mengubah perilaku atau model kembaran digital, sehingga menyebabkan operator melakukan kesalahan yang secara teoritis fatal.
Ancaman lain yang terus meningkat adalah ancaman B yang burukots, digunakan untuk berbagai tujuan tetapi yang terpenting untuk mengumpulkan informasi secara otomatis. Bot seperti ini semakin canggih dan mengikuti perkembangan terkini Laporan Imperva mereka sekarang menggunakan model AI secara intensif yang memungkinkan mereka meniru perilaku manusia untuk menghindari deteksi. Cukuplah dikatakan bahwa pada tahun 2023 49,6% dari seluruh lalu lintas internet tampaknya diproduksi oleh bot jahat e Bot yang bagus.
Alat seperti KINAITICS dapat berguna untuk meningkatkan kemampuan deteksi bot jahat memungkinkan mereka dibedakan dari "Bot Baik" dan manusia berkat kemampuan ML dan AI yang dimilikinya.
Pada akhirnya, semakin berkembangnya integrasi antara sistem fisik dan kecerdasan buatan membuka perspektif baru yang menarik namun juga kerentanan baru. Serangan seperti keracunan data atau teknik model inversi, yang memungkinkan informasi sensitif direkonstruksi mulai dari model AI, dapat mengancam keselamatan proses. Selain itu, koneksi dengan sensor dan aktuator memaparkan sistem pada risiko kinetik, di mana serangan digital dapat menimbulkan konsekuensi fisik, seperti merusak mesin atau menyabotase infrastruktur penting.
Pendekatan proyek KINAITICS, berdasarkan simulasi nyata dan kerangka kerja adaptif, mewakili sebuah langkah maju dalam memitigasi risiko-risiko yang muncul ini.
Proyek seperti KINAITICS tidak hanya meningkatkan keamanan sistem, namun juga meletakkan dasar bagi standar masa depan yang akan memandu penggunaan kecerdasan buatan secara bertanggung jawab dan aman di era konektivitas global.
