我的世界全自动钓鱼机，用了这玩意儿之后，钓鱼再也不枯燥了

说到我的世界中的全自动生活，各位小伙伴们可能会想到刷铁机、刷怪塔这些规模比较大型的建筑，甚至一提到这类建筑就觉得复杂无比还不如自己踏实肯干的埋头苦干，下面小游君就来彻底的扭转你对全自动机器的不好印象，为大家介绍一款超简易的全自动钓鱼机！

钓鱼是我的世界中非常重要的资源获取途径， 除了可以获得用于饱食度恢复的鱼，还可以获得很多资源、道具、甚至是比较稀有的附魔书，就像是玩家们比较喜欢的经验修补、无限属性基本上都要通过钓鱼途径获得，钓鱼的重要性不用言喻了吧。

不过钓鱼其实是一个很枯燥的活动，所以脑筋灵活的玩家们开发了这套自动钓鱼机，首先我们还是要准备用于收集用途的漏斗和箱子，并把他们两个连接好，因为漏斗是一个完整的方块，所以我们可以在漏斗上方继续放置物品，我在在漏斗上方，放置一个栅栏，栅栏上方在放置一个木制压力板，简单的说就是我们常用的一个桌子的搭配方式。

接下来我们要在靠箱子的方向，放置一个石砖楼梯，因为是放置在箱子上方所以我们这个位置千万不能选择实体方块，实体方块会导致我们的箱子打不开，另一方向我们就可以放置实体方块了，在“桌子”的背后我们要设置一个音乐盒，这也是我们利用了音乐盒的特性，具体的我们会在后面谈到，这里还有一个要点，一定要记住音乐盒上面要覆盖一个铁活板门，并把我们的压力板盒活版门连接到一起。

接下来，我们只需要设计一块垫脚石，然后在栅栏位置放水，水会向我们流来，不过不要害怕，只需要用一个活版门就可以把水堵住，这下我们的全自动钓鱼机就差不多设置好了，后面的我们就需要一些场外帮助了，就是连点器，当然不喜欢连点器的玩家也可以考虑改键到键盘上然后用一个重物压住的方法。至于手机党玩家们就更容易了，只要放一个苹果橘子之类的就可以了，这里就要利用我们前面说到过的音乐盒特性了，想必有很多小伙伴不知道为什么要选用音乐盒，其实这和钓鱼的提杆机制有关，我们要利用连点器不断的模仿钓鱼的过程，正常情况下，每次钓鱼都要重复一次收杆的过程，但只要我们面对音符盒，我们的提杆指令就不会触发，我们就可以持续的钓下去！

学会了这个机器模组之后，我们去做别的事情之前只要把史蒂夫挂在着，等你在回来的时候你就可以收获一整桶的鱼和宝藏了，小伙伴们还不赶快模拟起来！

通过强化学习和官方API制作《星露谷物语》的自动钓鱼mod

这是一个我已经断断续续地研究了很长一段时间的项目。在此项目之前我从未尝试过修改游戏，也从未成功训练过“真正的”强化学习代理（智能体）。所以这个项目挑战是：解决钓鱼这个问题的“状态空间”是什么。当使用一些简单的 RL 框架进行编码时，框架本身可以为我们提供代理、环境和奖励，我们不必考虑问题的建模部分。但是在游戏中，必须考虑模型将读取每一帧的状态以及模型将提供给游戏的输入，然后相应地收集合适的奖励，此外还必须确保模型在游戏中具有正确的视角（它只能看到玩家看到的东西），否则它可能只是学会利用错误或者根本不收敛。

我的目标是编写一个能读取钓鱼小游戏状态并完美玩游戏的代理。目标的结果是使用官方 Stardew Valley 的 modding API 用 C# 编写一个自动钓鱼的mod。该模块加载了一个用 Python 训练的序列化 DQN 模型。所以首先要从游戏中收集数据，然后用这些数据用 Pytorch 训练一个简单的 DQN。经过一些迭代后，可以使用 ONNX 生成一个序列化模型，然后从 C# 端加载模型，并在每一帧中接收钓鱼小游戏的状态作为输入，并（希望）在每一帧上输出正确的动作。

这个代理是在API的帮助下编写的，API是Stardew Valley官方的mod API。API允许我在运行时访问游戏内存，并提供我所需要的一切去创造一个与游戏状态进行交互并实时向游戏提供输入的代理。

在钓鱼小游戏中，我们必须通过点击鼠标左键让“鱼钩”(一个绿色条)与移动的鱼对齐。鱼在这条竖线上无规律地移动，鱼钩条与鱼对齐时，绿色条就会填满一些，如果鱼成功逃离绿色条就会开始变空。当你填满绿色的条形图时，你会钓到鱼，当它绿条没有时鱼就跑了。

所以这里只需要每帧从游戏内存中读取这些特定属性并将它们保存为在第 t 帧的状态。通过API我们可以查看并从游戏内存中读取特定属性的代码，对于自动钓鱼，需要在钓鱼小游戏期间跟踪的 4 个变量。 “钩子”中心的位置、鱼的位置、钩子的速度和绿色条的填充量（这是奖励！）。 游戏内部使用的名称有点奇怪，以下是读取它们的代码。

/ Update State// hook positionbobberBarPos = Helper.Reflection.GetField<float>(bar, "bobberBarPos").GetValue();// fish positionbobberPosition = Helper.Reflection.GetField<float>(bar, "bobberPosition").GetValue();// hook speedbobberBarSpeed = Helper.Reflection.GetField<float>(bar, "bobberBarSpeed").GetValue();// amount of green bar filleddistanceFromCatching = Helper.Reflection.GetField<float>(bar, "distanceFromCatching").GetValue();

前三个定义了我们的状态：

这是模型可以在每一帧上可以获取的状态，要将其设置为强化学习问题还需要使用奖励来指导训练。 奖励将是绿色条的填充量，这是里的变量名称为 distanceFromCatching。 这个值的范围从 0 到 1，正好非常适合作为奖励。

Replay Memory是 Q-learning 中使用的一种技术，用于将训练与特定的“时间”去关联。 所以需要将状态转换存储在缓存中并通过缓存中随机抽取批次来训练模型而不是直接使用最新数据进行训练。 为了训练模型，我们需要 4 个数据，分别是当前状态、下一个状态、采取的行动和奖励：

Q-learning 中关键问题是要获取曾经处于哪个状态和采取了哪些行动、到达哪个新的状态，以及执行这个行动中得到的奖励。有了这些数据，我们可以使用像价值迭代 (Value Iteration 一种动态规划算法)这样的简单算法将奖励从最终状态（获胜状态）开始分析，逐渐往回推直至推至所有状态。因此对于每个可能的状态，模型都会知道最大化其未来回报的方向。 但是我不会使用价值迭代来训练模型，因为真正的问题往往有太多的状态并且动态规划需要很长时间。

上面的价值迭代只是为了说明在 C# 中保存每个条目的方式。 这里使用缓存从最后一帧获取状态和动作，并将所有这些与当前帧的状态和奖励一起存储。

replayMemory[updateCounter,0] = OldState[0];replayMemory[updateCounter,1] = OldState[1];replayMemory[updateCounter,2] = OldState[2];replayMemory[updateCounter,3] = NewState[0];replayMemory[updateCounter,4] = NewState[1];replayMemory[updateCounter,5] = NewState[2];replayMemory[updateCounter,6] = reward;replayMemory[updateCounter,7] = actionBuffer? 1 : 0;

所有这些数据都变成了一个巨大的 csv 文件，这样可以通过 Python 加载并用于训练 DQN 模型。

使用神经网络估计 Q-table的 Q-Learning称为Deep Q-Learning。这个方法在很多个 Pytorch 教程中都有很好的解释，我从里面复制了很多代码并为我们的问题对其进行了一些修改。主要思想是使用两个神经网络。一个将估计 Q(s,a) 的值（Policy Net），另一个将估计未来 Q-values的值（Target Net）。然后我们对这两个网络的差异进行反向传播。

这是 Q-Learning算法的基本方程。我们将使用一个网络来估计当前状态 Q(s,a) 的正确值，另一个将估计下一个状态的最大可能值。两个网络都使用随机值进行初始化，并且每隔几次迭代将Policy Net权重复制到Target Net。Policy Net则通过反向传播更新权重 ，通过反向传播这种，Policy Net 最终将学会估计这两个值。

α 是学习率， 是用于选择为 Q 的未来值给出的重要值的折扣因子（discount factor）。强化学习是比较难易理解的所以最后会整理一堆链接，它们会做更好的细节解释。

训练过程是“自我驱动的”，首先要自己玩游戏收集状态和奖励数据，然后训练一个初始化的效果很差的模型让它自动玩游戏，并为我们收集新的数据。然后使用这些数据在 Python 端训练新模型，生成一个新的 ONNX格式模型，该模型将每 1000 帧左右重新加载一次，然后使用新模型继续玩游戏并生成数据来训练新模型。 因为C̶# 必须编译 mod 并将其打包到与游戏可执行文件兼容的 Windows DLL 中，我没有找到一个可以生成正确的 .NET 机器学习框架二进制文件（Stardew Valley 是在 .NET 5 中编译的），所以我放弃了，这里直接用 Python 编写了这部分。

另外一个重要决定是该模型不需要在线训练。 Q-Learning就是要找到函数 Q(s,a) 的良好近似值，即估计在特定状态 s 下执行特定动作 a 的值的函数。所以模型的目的是数据彻底探索这个状态空间，无论是你（人肉）还是模型玩游戏都没有关系，当然如果能够全部自动化拿看起来肯定更加的高大上。

C# 端唯一真正的 ML 代码是 ONNX 进行推理（预测），它定义了张量类型和会话的对象，可以发送张量输入并从序列化的 ONNX 模型获取张量输出。 下面的代码非常简单明了。 更新函数在每一帧都运行，并以当前状态作为输入查询训练模型的动作，最后几行只是用于获取模型输出的 argMax一些代码，这是与产生的动作对应的索引。序列化模型的重量只有 120kb 左右，所以运行起来非常轻巧。

public int Update(double[] currentState){Tensor<double> input = new DenseTensor<double>(new[] {3});input[0] = currentState[0];input[1] = currentState[1];input[2] = currentState[2];// Setup inputs and outputsvar inputs = new List<NamedOnnxValue>(){// the model has only one input, the state tupleNamedOnnxValue.CreateFromTensor<double>("0", input)};using (var results = session.Run(inputs)){Tensor<double> outputs = results.First().AsTensor<double>();var maxValue = outputs.Max();var maxIndex = outputs.ToList().IndexOf(maxValue);return maxIndex;}}使用 Harmony 进行输入

API 缺少的API是能够在游戏中提供输入，因为 99.999% 的mod不需要这样的东西。 为了进行输入我找到了一个名为 Harmony 的 C# 库在可以在运行时更改游戏的内部函数，这样我就可以让游戏以为它收到了鼠标输入。 这就是上面让mode自己玩游戏的方法。 非常感谢 Drynwynn，Mod FishingAutomaton 的作者，我使用了很多代码来设置我的 mod。

[HarmonyPatch(typeof(Game1), "isOneOfTheseKeysDown")]class IsButtonDownHack{// ...// some important stuff// ...// change function return value to true// makes the game think a mouse left button click ocurred__result = true;return;}最终结果

目前，该模型可以捕获所有“简单”和“中级”的鱼。 还不能训练它捕捉传说中的鱼。

这个gif是未训练完成的演示

下面是我们训练的结果，效果还不错

非常感谢 Stardew Valley 的mod社区帮助并让我更好地理解游戏:)

C# mod 和 Python 训练的所有代码都可以在这里找到！

github/ThiagoLira/AutoFisher-SV

作者：Thiago Lira