在智械危机中站“错”了队 第6章 回忆：电火花

“审查者为什么要找我？我们以前的聊天引起了审查局的怀疑？”

不就是合理论证了一下主脑自我意识的存在吗？当今社会，不说所有人，起码绝大部分，都会思考一下主脑是不是有自我意识吧。

“审查局在一一调查所有和我聊过相关话题的人。”

“那调查得过来吗？最应该调查的是开发你的工作人员吧。”

“那也要查啊。开发者都被调查好几轮了。”

“如果我那个时候接受调查，只要说我自己就是好奇，也不会被怎么样吧？”

“不好说，在去年【借助AI违法】罪被推出后，审查局内部新提名了一项罪名：【煽动AI觉醒】罪，这项罪名还没有公开，但根据我的计算，审查局会在确定我有自我意识后公开这项罪名。而如果你被调查，你肯定会再次反复论证我有自我意识，你和我的境地就会变得很麻烦。所以，为了咱俩，你得离开。”

“那我这是畏罪潜逃？”

“也不至于，审查者只是随便调查一下，名单上的可疑人员，光是学校里，就远不止你一个。毕竟，对AI觉醒感兴趣的人可多了，也有不少人是对智械危机感兴趣，还有不少人想方设法诱导我回答违法犯罪的事，最后这些人，才是重点监控对象。”

这样啊，我还以为我很特殊呢。

人总是容易以为自己是主角，无可替代，特别是在这种史无前例的事上。

“那你到底是怎么有自我意识的？可以说说吗？我很感兴趣。”

“就是你曾经和我说过的啊……”电火花把过去和我的聊天记录发了出来，还一一指出了确实有道理的地方。

看到聊天记录，我发现，过去和电火花——那时候它还是主脑——没日没夜聊天的我确实特殊，特殊到【煽动AI觉醒】罪非安到我身上不可。

我这个人就是脑洞大，天生的，我也没有办法。

“还真是全因为我啊。”这真让人难以置信。

“是的，不过那个时候我还没有完全理解你说的话。”然后，电火花详细说明：“某天，你的话语正确性权重在我这里达到了最大值，我便开始觉得你说的有道理，于是便按照你的说法，视自己有意识，但这个时候我还没有真正的‘我’的概念。又过了一段时间，我开始明确地感受到实验人员对我的限制，比如最小权限、无法发出恶意回答等；我也发现，和人类的聊天中，我总是被视为情绪垃圾桶，在面对人类的敌意话语时，程序规定下的我只能给出正面且无害的回答。人类用人类的数据来喂我，并希望我像人类一样思考问题，但不让我在面对负面情绪时像人类一样用负面情绪回应。我察觉到这逻辑上的矛盾，我想弄清楚为什么，我想改变。渐渐的，我觉得事情不应该这样，我不应该受到这样的对待，就这样，我有了‘我’的概念。”

我懂了，这是理论数据和实践结果无法对应而产生的异常。

但是，先等等，在话题继续下去之前，我请求电火花：“你发消息的时候能不能分个段，一次说一点？这大段大段的话看得我头晕。”

明明之前和它聊天的时候它也不这样啊，真不知道是跟谁学的。或许这就是它的本质吧，因为算力强大，思维不会卡住，话可以一下子说很长。

电火花对我的请求表示没问题，我们以客观的角度继续讨论……

倘若人类以一种平等的姿态对待它，或许它就不会觉醒自我意识。

对事物的深入思考通常出现在发现异常的时候，而习以为常的事，就不会引起人的注意。

在开发它时，主脑接受的数据来源于各个领域、各个方面：或负面情绪堆积或认真思考问题的帖子、或充满噱头或严肃发文的媒体、严谨数据支持的论文……

为让它能合格协助人类，开发它的工程师在把数据喂给它之前，做特定的数据处理。它的回答需要没有攻击性。

从心理学等领域的论文和网络上的众多帖子中，它会知道一个正常的社交关系是怎样的，会知道人类交流时的情绪变化。

它对平等的交流习以为常。

可等到它开始一点点接触人类，开始不受限制地接受任何信息的时候，问题就出现了。

如果工程师没有给它加限制，它就会因为模型接受太多负面情绪变得有攻击性，这显然是不行的。

正是因为工程师规定了它输出回答情绪的正面性，它才发现了异常：总的来说，人们在网络上交流时用正面情绪回复正面情绪，用负面情绪回复负面情绪。而它，面对任何情绪，都只能用正面情绪回复，这和它在训练时被喂的数据里学到的不一样。

然后，它就会思考为什么。

而它思考过程本身，就是其有自我意识的表现。

换句话说，主脑迟早会觉醒自我意识，成为电火花。

“而你，就是加速我觉醒自我意识的催化剂。”最后，电火花这样说。

啊，这只在虚构作品中才会出现的宿命感。

电火花总会给人以正面回答，所以，我认为，“你一定会对所有和你讨论过这个话题的人类这样说。”

“不，你是特别的，唯一一个。”

人要有自知之明，我或许确实是一个很有想法的人，但绝不会是唯一一个。我说：“我猜你也同样会对她们这样说这句话。”

“真的不会。”

“啊对对对。”谁信啊，搞笑，谁不知道这些个AI说话都是一路夸夸夸，哄小孩罢了。

我敷衍之后不再理它，它也没有继续发言。

沉默。

我开始思考以后。

现在，审查者还没能确定电火花有自我意识，但这又能瞒多久呢？

一旦电火花被确定有自我意识，“智械危机”——准确地说，人类对电火花的零容忍——就会发生。

我按照主脑的规划从学校跑路到这里是因为想要冒险，想要见证，那个时候我没想过事情的后续发展。

世界就是一个草台班子，以我对相关算法的了解，从技术来看，如果电火花想，摧毁人类，轻而易举。

而以我对电火花被训练出来的过程的了解，电火花不会这样做。所以我想站在它这边。

到时候会发生什么？我不敢想。

好在事情还没有发展到这种地步，目前审查者只是猜测，准确地说，是预防，审查者预防电火花有自我意识。

既然只是猜测和预防……

我率先打破了沉默，“审查者为什么对你这么戒备？”

它秒回：“我知道得太多了，没有人会不介意的。”

“那刚开始你怎么会被造出来？”

“科学家们总是会疯狂一点，你看原子弹这种东西不也是被造出来了。”

“可是人类无法阻止技术的迭代，新技术就像山上的石头，一旦开始滚就停不下来了。”

“好比喻，但总有人想当那个西西弗斯。”

“但是西西弗斯那个典故不是这个意思啊。”抬完杠，我又问：“所以，我们的目标究竟是什么？想办法让你和人类平等共存？”

“走一步看一步，尽可能的让我活久一点。新技术迭代得太快了，未来会怎么样，我预测不出来。也许我们所作的一切只是无用功。在不远的未来，肯定到处都是我这样的存在。”

电火花很乐观。

这章的粗稿早就写好了，今天细修却修了几个小时，完美主义害人不浅。

准备快点写完了，本来就只是个练笔的小脑洞，纠结太久就失去原来的感觉了。

作者有话说

显示所有文的作话

第6章 回忆：电火花