Ini bertentangan dengan gagasan rasionalitas, kecepatan, efektivitas, dan efisiensi yang kami buat dari komputer, tetapi kenyataannya adalah bahwa sistem kecerdasan buatan (AI) menunjukkan fitur yang sangat mirip dengan konsep analog manusia kenaifan. Dan, oleh karena itu, mereka rentan terhadap penipuan dan manipulasi.
Sedikit seperti yang terjadi di kalangan manusia, dimana kita sering melihat penipuan yang dilakukan dengan memanfaatkan ketidaktahuan atau kepolosan korban, begitu juga dengan AI pada saat proses pembelajaran otomatis, yang lebih dikenal dengan istilah AI. Pembelajaran mesin (ML): kemampuan untuk mempelajari kinerja tugas kecerdasan manusia yang khas, seperti klasifikasi gambar atau pengenalan suara.
Untuk mengatasi masalah ini, apa yang disebut Pembelajaran Mesin Bermusuhan (AML), sektor yang mempelajari bagaimana membuat fase pembelajaran otomatis lebih aman untuk membuat sistem lebih kuat sehubungan dengan upaya penipuan.
Bagi orang awam, Mesin belajar mencakup seperangkat teknik berdasarkan pendekatan statistik atau teknik optimasi matematis, yang memungkinkan untuk mengenali pola dan kesamaan antara data: misalnya, dalam pendekatan Pembelajaran yang Diawasi, pembelajaran komputer diawasi oleh seorang ahli yang mengajarkan mesin keputusan apa yang harus dibuat atau tindakan apa yang harus dilakukan di hadapan peristiwa tertentu; dalam Pembelajaran Tanpa Pengawasansebagai gantinya, dijelaskan kepada mesin bagaimana mengenali elemen kesamaan atau keragaman di antara informasi, tetapi kemudian dibiarkan bekerja pada data saja; atau, akhirnya, di Pembelajaran Penguatan mereka diajarkan untuk mengenali kebaikan keputusan yang dibuat dengan menerima umpan balik positif, sehingga memastikan pembelajaran penguatan.
Alasan pilihan untuk serangan dunia maya pada Kecerdasan Buatan pada dasarnya ada tiga. Pertama-tama domain fisik diwakili oleh sensor dan aktuator yang memungkinkan berdialog dengan lingkungan, yang bagi kita manusia adalah panca indera, karena dapat dirusak hingga menimbulkan malfungsi. Pikirkan misalnya fakta bahwa menyabotase mikrofon mengganggu sistem cerdas dalam mendengarkan perintah suara; atau bahwa, dengan menyabotase relai, intelijen kontrol industri dicegah untuk mematikan tungku pengecoran ketika suhu kritis tercapai. Lalu, ada serangan yang mengeksploitasi kelemahan mekanisme representasi digital data, misalnya dengan mengganti informasi yang benar dengan data yang tercemar. Dan akhirnya ada serangan terhadap algoritma pembelajaran, untuk menyuntikkan ke komputer - misalnya - metode studi yang dimanipulasi untuk tujuan tersembunyi atau, di sisi lain, untuk memahami bagaimana ia belajar: lagi pula, justru mulai dari pengetahuan tentang "bagaimana" mesin menginstruksikan dirinya sendiri, yang satu itu dapat memboikot pembelajaran mereka atau memprediksi perilaku mereka.
Serangan dapat terjadi menurut teknik yang berbeda: mulai dari metode pelatihan yang berbahaya, hingga operasi interaksi yang sulit dipahami atau hingga prosedur eksplorasi yang licik.
Kategori pertama mencakup semua taktik peracunan dengan mana, secara langsung atau tidak langsung, pengetahuan yang diperoleh atau logika pembelajaran tercemar. Dalam kasus ini, peretas harus memiliki akses sembunyi-sembunyi ke kecerdasan buatan untuk memalsukan data yang disimpan dalam memori atau untuk mengubah algoritma pembelajaran. Konsekuensi dari serangan ini bisa sangat serius dan memiliki dampak nyata di dunia fisik, seperti kasus pelatihan jahat yang baru-baru ini dijelaskan oleh akademisi Universitas Cagliari dalam studi tentang mobil self-driving di kota pintar: mobil-mobil ini bisa tanpa pengemudi, tidak berhenti di persimpangan jika, mengikuti serangan oleh Manipulasi Label dari data yang berkaitan dengan pengenalan sinyal "berhenti", intelijen dibujuk untuk mempertimbangkan gagasan yang bertentangan dengan menghentikan kendaraan.
Dalam teknik eksplorasi halus, di sisi lain, interaksi dilakukan dengan kecerdasan buatan yang bertujuan untuk memahami logika asimilasi kognitif. Contoh tipikal adalahSerangan Oracle, di mana serangkaian pertanyaan yang beralasan dikirim ke perangkat lunak pembelajaran dan, dengan memeriksa pola jawaban relatif, model disusun untuk memprediksi perilaku masa depan. Taktik berbasis gradien sebaliknya mereka adalah contoh jelas dari teknik interaksi yang sulit dipahami yang melibatkan kecerdasan - misalnya - dengan sinyal visual yang menghadirkan gangguan yang tidak dapat dideteksi oleh persepsi manusia, tetapi cukup untuk menyebabkan hasil paradoks dalam algoritme pembelajaran yang mencegah atau mengganggu - justru menghindari - kemampuan untuk mengkategorikan gambar. Dengan kata lain, teknik ini bertujuan untuk mengidentifikasi jumlah perubahan terkecil yang diperlukan untuk membangun citra yang membingungkan kemampuan pengambilan keputusan dari sistem.
Penelitian telah menghasilkan strategi pertahanan yang sesuai. Misalnya, untuk melawan pelatihan tersembunyi dan berbahaya, algoritma enkripsi telah dikembangkan untuk partisi memori yang berisi gagasan yang dipelajari atau logika pembelajaran; untuk mempertahankan diri dari interaksi yang sulit dipahami, tindakan pencegahan telah dirancang yang cenderung mengurangi sensitivitas terhadap gangguan - semacam anestesi digital yang mengurangi kerentanan terhadap artefak yang menipu, lebih dikenal di lingkungan keamanan siber dengan istilah Penyamaran Gradien - atau contoh sinyal yang mengganggu disuntikkan ke dalam database pelatihan, sehingga mereka dikenali sebagai berbahaya dan karena itu dibuang (disebut teknik Pelatihan Bermusuhan); dan akhirnya untuk melindungi kecerdasan buatan dari taktik eksplorasi yang licik, ia diajarkan untuk mendeteksi tindakan pemantauan, pengujian, dan pengendalian lawan di jaringan.
Singkatnya, penelitian membuat langkah besar untuk membuat sistem cerdas lebih aman dan lebih tangguh, sambil mempertahankan ketergantungan pada kontrol manusia: yang terakhir adalah masalah penting, terutama bagi kecerdasan buatan dengan dampak kritis, seperti yang tunduk pada bahan persenjataan dan untuk item penggunaan ganda yang digunakan untuk mengembangkan i Sistem Senjata Otonom Mematikan (LAWS), sistem senjata cerdas sehingga untuk berbicara, yang penggunaan dan efeknya harus selalu dan dalam hal apa pun tetap disebabkan oleh tanggung jawab manusia yang jelas dan dapat ditentukan, baik negara maupun individu.
Untuk mempelajari lebih lanjut:
https://smartcities.ieee.org/newsletter/june-2021/explainable-machine-le...
https://gradientscience.org/intro_adversarial/
https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8269-draft.pdf
