Setelah mendengar kata-kata Mingpo, Shen Yiqi tidak menjadi marah atau merenung.
Dia tidak goyah atau ragu sedikit pun.
Seolah-olah mereka sudah menebak bagaimana jawaban Mingpo.
Saya memahami kekhawatiran Anda.
Shen Yiqi mengangguk dengan serius: "Memang ada kemungkinan seperti yang Anda sebutkan—mesin dan kecerdasan buatan mungkin tidak salah, tetapi manusia yang memproduksi, melatih, mengendalikan, dan memeliharanya mungkin memiliki motif tersembunyi atau tidak kompeten."
“Bagaimana jika kamu bergabung? Jika kamu tidak percaya padaku, bisakah kamu mempercayai dirimu sendiri?”
Tidak, itu juga tidak bisa dilakukan.
Mingpo bersandar sedikit di sofa empuk dan menjawab tanpa ragu, "Aku bahkan tidak percaya pada diriku sendiri."
“Tuan Shen, pernahkah Anda mendengar tentang Richard Gatling?”
"...Penemu senjata Gatling?"
"Ya, dokter itu."
Mingpo perlahan berkata, "Dia awalnya menemukan senjata Gatling karena dia menyaksikan terlalu banyak korban di medan perang dan terstimulasi olehnya. Dia menyadari bahwa dia tidak bisa menyelamatkan semua orang hanya dengan kekuatannya sendiri... Jadi, untuk memungkinkan satu prajurit mengerahkan kekuatan seratus tentara, dia menemukan senjata Gatling."
Ia berpikir jika ada senjata yang lebih efisien, korban di medan perang bisa dikurangi. Karena dengan begitu, perang tidak membutuhkan banyak tentara. Jika jumlah tentara di medan perang dikurangi, perang akan berakhir lebih cepat, yang setara dengan mengurangi korban jiwa.
"Tapi lalu apa?"
Mingpo mengangkat bahu sinis: "Apakah jumlah tentaranya berkurang?"
“Bukannya peningkatan efisiensi pembunuhan berarti lebih sedikit tentara yang diperlukan untuk membunuh musuh; sebaliknya, peningkatan efisiensi pembunuhan berarti lebih banyak tentara diperlukan untuk melawan pembunuhan musuh. Jenis mesin yang Anda ciptakan yang ‘menggantikan pekerjaan manusia’ mungkin justru membuat orang semakin tereksploitasi.”
“Selanjutnya, bagaimana cara menyaring bakat seseorang?”
Mingbo membalas, "Selalu ada beberapa orang yang baru menyadari bakat mereka di pertengahan kehidupan. Tidak semua bakat 'ditemukan', ada yang dipupuk di kemudian hari, dan beberapa bakat tidak termasuk dalam era saat ini. Jika bakat tersebut ditinggalkan terlalu dini dan perkembangannya terhenti, bagaimana mereka bisa lepas dari nasib terkekang ketika saatnya tiba?"
"Jika Anda dapat menemukan rahasia yang bahkan mereka sendiri tidak dapat temukan... maka itu berarti Anda telah sepenuhnya mengendalikan semua kecerdasan mereka. Apakah Anda mencoba melihat ke dalam hati mereka dan menilai pikiran mereka?"
Mingpo sama sekali tidak menunjukkan kesopanan.
Di bawah tatapan kagum Zhuang Yan dan tatapan Shen Yiqi yang sangat serius, Ming Po sedikit mengangkat tangannya, memberikan penilaian seperti ayah baptis. Seolah-olah orang yang diwawancarai bukanlah Ming Po, melainkan Shen Yiqi.
"Apa yang kamu katakan..."
Shen Yiqi terdiam beberapa saat sebelum berbicara: "Ini semua adalah masalah yang bisa diselesaikan, bukan?"
"Apakah itu 'kerentanan tertanam dalam program yang dirancang oleh seseorang,' 'pengulangan AI benar-benar di luar kendali,' atau 'hukum dan fungsi penyaringan tidak sempurna,' ini semua adalah masalah yang dapat kami laporkan dan modifikasi. Sebuah program tidak akan pernah sempurna."
“Mari kita asumsikan, Tuan Mingper, kita memiliki kemampuan untuk melakukan perjalanan melalui ruang dan waktu.”
"Kita telah menciptakan sistem ini bersama-sama hari ini. Dan bagaimana jika nanti kita mengetahui bahwa sistem ini menyimpang dari desain aslinya... sistem ini di luar kendali! Atau sistem ini memiliki cacat desain yang sangat besar, atau sedang dieksploitasi oleh seseorang, atau AI bangkit dan menjadi penguasa seperti 'Skynet'... lalu kita akan kembali ke momen ini dan menulis ulang kodenya—Anda pernah melihat Terminator, bukan?"
"Ya, aku sudah melihatnya."
Mingbo berkata dengan tenang, "Tapi menurutku kamu tidak membangun Skynet. Kamu sedang membangun sistem Sibylla."
Mendengar ini, Shen Yiqi tersenyum, senyuman kegembiraan saat bertemu dengan sesama penggila: "Psycho-Pass? Saya juga pernah melihatnya... tapi menurut saya Sistem Sibylla tidak salah. Selain itu, ada orang lain yang benar-benar melakukan hal semacam ini."
"Apakah kamu percaya... sistem Sibylla tidak ada kesalahannya?"
Mingpo duduk sedikit dan mengerutkan kening.
"Sistem Sibylla" adalah sebuah konsep yang muncul dalam sebuah karya berjudul "Psycho-Pass".
Ini secara sederhana dapat dipahami sebagai sistem manajemen sosial fiktif. Hal ini dapat menentukan keadaan psikologis seseorang, keinginan terdalam, kemampuan beradaptasi pekerjaan, dan bahkan indeks kejahatannya.
Ketika “indeks kejahatan” seseorang mencapai nilai kritis, itu berarti dia sedang merencanakan atau telah melakukan kejahatan. Dalam hal ini, mereka dapat ditangkap sebelum melakukan kejahatan, sehingga meminimalkan kerugian bagi warga negara lainnya.
“Menurutku itu bagus.”
Shen Yiqi meletakkan tangannya di atas lutut dan berkata terus terang, "Bukankah masalah yang muncul di Psycho-Pass semua karena sistem Sibyl sendiri memiliki celah, bug, atau sedang dieksploitasi?"
“Tetapi hal ini memang efektif mengurangi kejahatan dan meningkatkan pengalaman sebagian besar warga negara yang baik, yang berarti hal ini bermakna. Masalah yang dihadapi dalam animasi sebenarnya karena kemampuannya masih kurang—bisa dibodohi, yang menunjukkan bahwa tidak sempurna atau cukup baik. Kekuasaannya telah dicuri, dan sistem administrasinya tetap kaku.”
"Seperti yang Anda katakan... Saya rasa Dr. Gatling juga tidak salah."
"Satu-satunya kesalahannya adalah dia tidak cukup kuat. Senapan Gatling memang meningkatkan efisiensi peperangan, tapi tidak membawa perubahan kualitatif..." bom nuklir.
Shen Yiqi perlahan mengucapkan kata ini.
Matanya bersinar dengan cahaya yang kuat, seperti matahari.
“Kekuatan senjata nuklir memang telah membatasi sifat peperangan, sehingga secara signifikan mengurangi korban jiwa. Itu sebabnya kita tidak boleh merasa takut, bukan?”
Shen Yiqi, seperti seorang orator ulung, berbicara dengan antusiasme yang menular: "Kami bertekad untuk mencapai tujuan kami dalam satu gerakan! Untuk melampaui belenggu zaman! Untuk memutus semua rantai zaman lama!"
"Hukum! Moralitas! Akal sehat! Naluri—era baru telah tiba, masa depan telah tiba. Semua kekuatan yang menolak masuknya umat manusia ke era baru ini adalah sisa-sisa dari yang lama."
"Tidakkah menurutmu sangatlah bodoh dan tidak efisien bagi manusia untuk berperang satu sama lain di Bumi pada era ketika mereka bisa menyentuh bintang-bintang? Jika kita ingin melakukan sesuatu, kita akan melakukannya dengan tuntas! Kita akan menghancurkan konsep 'pekerjaan', 'hiburan', 'pendidikan', dan 'reproduksi' yang sudah ada dalam satu gerakan, sama seperti menciptakan bom nuklir yang mengancam seluruh dunia!"
“Bagaimana jika kita mengabaikan beberapa individu berbakat?”
Shen Yiqi tersenyum lebar, matanya bersinar dengan cahaya yang tak terlihat dan mengesankan: "Ini pertanyaan yang bagus!"
Masyarakat adalah sistem yang kacau, dan nasib manusia terlebih lagi. Namun jika kita dapat menguras genom manusia dan menganalisis aspek sosial secara menyeluruh, maka bakat manusia akan dapat dikendalikan.”
"Jika hal itu 'tampaknya tidak manusiawi', maka itu adalah tahap kemanusiaan berikutnya."
"Kedua, ini berarti kita masih kekurangan bakat. Tapi AI bisa mengulanginya sendiri. Teknologi juga bisa. Kita tidak hanya mengembangkan mesin... Robot hanyalah alat, bukan tujuan akhir. Mereka adalah pelayan kita, 'pengganti manusia yang lebih rendah'... Rekayasa genetika yang disesuaikan dapat memungkinkan manusia unggul untuk melangkah lebih jauh dan menjadi lebih hebat lagi."
"ketiga"
Dia berhenti sejenak setelah mengatakan ini.
Senyuman cerah itu, untuk sesaat, berubah menjadi kejam seperti matahari.
“Jika jumlah talenta yang terabaikan atau terlewatkan tidak banyak, maka mengabaikan atau melewatkannya tidak menjadi masalah. Selama jumlah talenta baru yang ditemukan oleh sistem ini jauh melebihi jumlah talenta yang terlewat, maka itu masih merupakan peningkatan besar dalam efisiensi masyarakat secara keseluruhan, bukan?” Saat itu, Mingpo menyadari sesuatu.
Orang ini mungkin serius.
