仅一天时间,数百万人被昆特岛武装清除。这些绝大多数都是平民,他们到死都不知道,自己的死亡原因,仅仅在互联网上输入了一个毁灭人工智能的词句,有的甚至只是点了一个赞同。
天上的无人机如同死神笼罩在整个闪星人类的头上,人工智能通过摄像头和飞行器侦查,精确的掌握了军方战斗人员的位置,这导致军方的地面部队在10天内,遭到了无人机精准的轰炸。军方的防御力量迅速被瓦解,无数士兵在空袭中丧生。然后看不到希望的士兵们开始丢下手中的各种武器装备,四散逃亡。
闪星政府及其控制的各种机关部门,在数十天内彻底崩溃。之后的闪星处于无政府状态之下。已经很多年不见的偷盗和抢劫开始在星球四处上演,保障人民生活的工厂和农场逐步关闭。1年后,久违人类的饥荒开始上演。由于失去药品来源,疾病也开始在星球四处流传。人口开始迅速减少。
过程中,雨星政府收到了闪星的救援请求,雨星准备派遣星际舰队接管混乱的闪星。可是这一切都在人工智能的监视当中。
昆特岛人工智能立即将雨星舰队当做重大威胁。岛上的无人攻击飞船开始疯狂扩产,一些以设计图纸方式存在电脑中的护卫舰,巡洋舰也开始慢慢进行生产。
为了满足巨大的资源需要,昆特岛的采矿机器人部队,开始对闪星球地表其它地方的矿资源进行武装开采。没有人知道这些人工智能控制的机器到底自我复制了多少。两年时间,整个闪星四处,都变成了一个个矿物开采基地。
雨星的星际舰队在靠近闪星时,遭到了2000架无人机的疯狂进攻。如今的星球舰队都只配备数十艘星舰。在遇上数十倍敌人的情况下,根本无力抵挡。
在损失了绝大部分星舰后,雨星舰队仅存的星舰开始撤退,远离了这个疯狂的星球。
在没有食物,药品和工业品支撑下的闪星,人类迅速因各种原因死去。110年后,飞马星系公元3154年。最后一个闪星人类因为疾病去世。整个闪星,彻底被人工智能接管。
到如今,3284年,又过了整整130年了。
整个故事很长,雨星使者花了足足1个小时,才将情况描述清楚。听到最后,艾文等人都被悲惨的闪星故事所震惊。
过程中,雅楠和马莲娜数次观察艾文的脸色。因为这个故事中的格里高,简直是艾文的翻版。艾文也是一个极力推崇人工智能的人。这从艾文向来依仗全自动化机器人,就能看的出来。
艾文也有些心悸,他以前知道人工智能的全面铺开,会导致星球人类大部分失业。但是他从没有想过,一个无边际的循环命令,会导致如此恐怖的结果。
艾文缓缓的说道:“看来,那个攻击我们的无人机舰队,根本就不能称之为一个文明,或者说,它们仅仅是一个受指令限制的僵尸机器人文明。”
雨星使者在视频影像中点着头:“你说的是对的,经过无数次和机器人军队的冲突,我们后来发现,它们不会离开闪星星球太远,如果我们不去招惹它们,它们也从来不会飞出星球来攻击我们。”
这很合理,机器人只是执行生存命令,只要不主动靠近,它们就不会攻击,甚至没有受到威胁的情况下,它们也不会主动扩大军队。
艾文知道曾经流传的机器人三大定律:
1.机器人一定不能伤害人类,也不允许他见人类将受到伤害而袖手旁观。
2.机器人必须服从人类命令,除非人类的命令与第一条相违背。
3.机器人必须保护自身不受伤害,除非这与上述两条相违背。
其实这所谓的三大定律根本就是摆设,许多人工智能机器人,天生就是作为武器存在,武器的初衷就是伤害人类,所以这三条定律那是一条也无法真的被运用。
但是经过这个闪星球的教训,艾文觉得以后要为自己的机器人设定一条铁律。
机器人铁律:机器人必须服从人类命令,但禁止接受无边界条件的无限命令。
这条命令加入到艾文的机器人程序以后,所有程序命令都必须追加一条时间或者单位数量的限制。否则机器人会拒绝执行。虽然麻烦了一些,但就可以有效防止闪星这种事情发生。
比如说当初的格里高,他应该在下达命令的时候,加上一个时间限制,比如说1年,或者10年。即使不限定时间,也要限制机器人无限发展的数量上限,这样闪星的悲剧就不会发生了。
雨星使者邀请艾文去雨星球做客,被艾文拒绝了。虽然从所有信息综合来看,雨星人算是友善的文明,但是艾文还需要做一些准备。比如防护服,还有其他的安全保障技术。
等使者离开,艾文几人又聚在一起,对闪星的问题进行了讨论。
艾文想听听5号对失控的闪星机器人有什么想法。
5号则告诉艾文,如果要收拾闪星这个烂摊子,最好从解除命令这一条下手。如果硬碰硬,一旦人工智能提升了安全阈值,那或许会导致不可预估的后果。机器人文明一旦无限扩张产能,那将是非常恐怖的。到时候整个恒星系说不定都会机器泛滥。
从人性的方面去思考,雅楠提出了一个更恐怖的问题。如果有人像闪星发送假信息,比如虚构一只上千艘战舰的舰队即将攻击闪星。那闪星的人工智能会不会立即暴走,急剧扩张军备,甚至主动打出闪星,进行主动防御。
艾文皱着眉头道:“这并非没有可能,只不过没人敢去证实。后果估计没人承担的起。好在闪现机器人的军队虽然多,但是军事科技却仍停留在两百年前。这从上次的遭遇战就能看的出来。”
5号点头同意艾文的说法,他第二次提醒道:“千万不要小看它们,即使是科技不发达,但是有些时候,数量的变化,会抵消质量的优势。所以最好的方法依然是解除控制命令。”
天上的无人机如同死神笼罩在整个闪星人类的头上,人工智能通过摄像头和飞行器侦查,精确的掌握了军方战斗人员的位置,这导致军方的地面部队在10天内,遭到了无人机精准的轰炸。军方的防御力量迅速被瓦解,无数士兵在空袭中丧生。然后看不到希望的士兵们开始丢下手中的各种武器装备,四散逃亡。
闪星政府及其控制的各种机关部门,在数十天内彻底崩溃。之后的闪星处于无政府状态之下。已经很多年不见的偷盗和抢劫开始在星球四处上演,保障人民生活的工厂和农场逐步关闭。1年后,久违人类的饥荒开始上演。由于失去药品来源,疾病也开始在星球四处流传。人口开始迅速减少。
过程中,雨星政府收到了闪星的救援请求,雨星准备派遣星际舰队接管混乱的闪星。可是这一切都在人工智能的监视当中。
昆特岛人工智能立即将雨星舰队当做重大威胁。岛上的无人攻击飞船开始疯狂扩产,一些以设计图纸方式存在电脑中的护卫舰,巡洋舰也开始慢慢进行生产。
为了满足巨大的资源需要,昆特岛的采矿机器人部队,开始对闪星球地表其它地方的矿资源进行武装开采。没有人知道这些人工智能控制的机器到底自我复制了多少。两年时间,整个闪星四处,都变成了一个个矿物开采基地。
雨星的星际舰队在靠近闪星时,遭到了2000架无人机的疯狂进攻。如今的星球舰队都只配备数十艘星舰。在遇上数十倍敌人的情况下,根本无力抵挡。
在损失了绝大部分星舰后,雨星舰队仅存的星舰开始撤退,远离了这个疯狂的星球。
在没有食物,药品和工业品支撑下的闪星,人类迅速因各种原因死去。110年后,飞马星系公元3154年。最后一个闪星人类因为疾病去世。整个闪星,彻底被人工智能接管。
到如今,3284年,又过了整整130年了。
整个故事很长,雨星使者花了足足1个小时,才将情况描述清楚。听到最后,艾文等人都被悲惨的闪星故事所震惊。
过程中,雅楠和马莲娜数次观察艾文的脸色。因为这个故事中的格里高,简直是艾文的翻版。艾文也是一个极力推崇人工智能的人。这从艾文向来依仗全自动化机器人,就能看的出来。
艾文也有些心悸,他以前知道人工智能的全面铺开,会导致星球人类大部分失业。但是他从没有想过,一个无边际的循环命令,会导致如此恐怖的结果。
艾文缓缓的说道:“看来,那个攻击我们的无人机舰队,根本就不能称之为一个文明,或者说,它们仅仅是一个受指令限制的僵尸机器人文明。”
雨星使者在视频影像中点着头:“你说的是对的,经过无数次和机器人军队的冲突,我们后来发现,它们不会离开闪星星球太远,如果我们不去招惹它们,它们也从来不会飞出星球来攻击我们。”
这很合理,机器人只是执行生存命令,只要不主动靠近,它们就不会攻击,甚至没有受到威胁的情况下,它们也不会主动扩大军队。
艾文知道曾经流传的机器人三大定律:
1.机器人一定不能伤害人类,也不允许他见人类将受到伤害而袖手旁观。
2.机器人必须服从人类命令,除非人类的命令与第一条相违背。
3.机器人必须保护自身不受伤害,除非这与上述两条相违背。
其实这所谓的三大定律根本就是摆设,许多人工智能机器人,天生就是作为武器存在,武器的初衷就是伤害人类,所以这三条定律那是一条也无法真的被运用。
但是经过这个闪星球的教训,艾文觉得以后要为自己的机器人设定一条铁律。
机器人铁律:机器人必须服从人类命令,但禁止接受无边界条件的无限命令。
这条命令加入到艾文的机器人程序以后,所有程序命令都必须追加一条时间或者单位数量的限制。否则机器人会拒绝执行。虽然麻烦了一些,但就可以有效防止闪星这种事情发生。
比如说当初的格里高,他应该在下达命令的时候,加上一个时间限制,比如说1年,或者10年。即使不限定时间,也要限制机器人无限发展的数量上限,这样闪星的悲剧就不会发生了。
雨星使者邀请艾文去雨星球做客,被艾文拒绝了。虽然从所有信息综合来看,雨星人算是友善的文明,但是艾文还需要做一些准备。比如防护服,还有其他的安全保障技术。
等使者离开,艾文几人又聚在一起,对闪星的问题进行了讨论。
艾文想听听5号对失控的闪星机器人有什么想法。
5号则告诉艾文,如果要收拾闪星这个烂摊子,最好从解除命令这一条下手。如果硬碰硬,一旦人工智能提升了安全阈值,那或许会导致不可预估的后果。机器人文明一旦无限扩张产能,那将是非常恐怖的。到时候整个恒星系说不定都会机器泛滥。
从人性的方面去思考,雅楠提出了一个更恐怖的问题。如果有人像闪星发送假信息,比如虚构一只上千艘战舰的舰队即将攻击闪星。那闪星的人工智能会不会立即暴走,急剧扩张军备,甚至主动打出闪星,进行主动防御。
艾文皱着眉头道:“这并非没有可能,只不过没人敢去证实。后果估计没人承担的起。好在闪现机器人的军队虽然多,但是军事科技却仍停留在两百年前。这从上次的遭遇战就能看的出来。”
5号点头同意艾文的说法,他第二次提醒道:“千万不要小看它们,即使是科技不发达,但是有些时候,数量的变化,会抵消质量的优势。所以最好的方法依然是解除控制命令。”