深入理解EVM - Part 3 - 存储

原文链接：https://noxx.substack.com/p/evm-deep-dives-the-path-to-shadowy-3ea?s= 译者：Alvan's Blog 这是“深入理解EVM”系列的第三篇文章，需要第一篇 和第二篇的前置知识，因此如果您没读过的话建议先读一下。在这一篇里，我们会仔细研究合约存储区是怎么工作的，提供一些有助于理解插槽包装(slot packing)的思维方式，如果对它很陌生也不必担心，插槽包装的知识对EVM的骇客们至关重要，你也可以在本文结束时深刻了解它。

如果你玩过Ethernaut Solidity Wargame Series 或者其他Solidity的CTF赛事，就会知道插槽包装的知识经常是解决难题的关键。(译者注: CTF全称Capture The Flag，中文名夺旗赛，一般指网络安全领域的技术竞赛)。

基础知识

在“Program the Blockchain” 里对合约存储基础知识有一个相当完整的概述，我将回顾一下这篇文章里的关键知识点，当然也很推荐看一下这个全文。

数据结构

我们先从合约存储的数据结构说起，这是我们理解其他知识的坚实基础。

合约存储就是一个简单的 k-v map结构。32字节的key，32字节的value。key有32字节让我们可以拿到0到(2^256)-1的key值。

所有的value都会初始化为0，0不会显式写入。还挺有道理的，可观测宇宙里也是有 2^256 个原子。没有计算机能存储这个多的数据。存储区 value 置 0 返还gas，因为节点不用存储这些数据了。

你可以把存储区视为一个宇宙级的大数组，二进制 0 对应的 key 代表数组的第 0 个元素，二进制1对应的 key 代表数组的第一个元素，以此类推。

定长变量

声明为存储(storage)的的合约变量分为两种，定长变量和不定长变量。我们着重研究一下前者，看看EVM是怎么把定长便利那个装进32字节的插槽里的。关于不定长变量可以看一下“Program the Blockchain” 这篇文章。

现在我们知道存储区是一个map，那么下一个问题就是怎么给key分配value。假设我们有以下代码。

给定的变量都是定长的，EVM可以从 0 开始挨个装填，装完 0 装 1，装完 1 装 2，以此类推。排列顺序基于合约里变量声明的顺序，第一个被声明的变量会在0插槽。在这个例子里插槽0存储 value1，value2 是一个长度为 2 的数组，所以存在插槽1 和插槽2，value3 存储在插槽3，如下图所示：

现在我们看一个类似的合约，猜下是怎么存的。

注意变量类型不是 uint256

根据上一个例子你可能猜测我们会占用 0 到 3 插槽，因为有4个变量。但其实这个例子只占用了插槽0。这是变量类型不同造成的，之前我们用的都是 uint256 类型也就是32字节，在这里我们用的是 uint32，uint64 和 uint128，分别代表4字节，8字节和16字节的数据。

这就是插槽包装一词的由来。Solidity编译器知道一个插槽能装 32字节的数据， uint32 value1 装填在插槽0里只占用了4字节，等读到下一个可以装填的变量时，就会装进这个插槽。

(译者注：不知道你记不记得上一篇文章里有一个无法写入的0值插槽，它和插槽0是两个不同的东西，前者英文写作 zero slot，后者是 slot[0]，具体可见官方文档)

根据上边的例子我们开始从插槽0开始装填：

• value1 装进插槽0，占用4字节
• 插槽0剩余28字节
• value2长4字节，小于等于28，装进插槽0
• 插槽0剩余24字节
• value3长8字节，小于等于24，装进插槽0
• 插槽0剩余16字节
• value4长16字节，小于等于16，装进插槽0
• 插槽0剩余0字节

注意uint8是solidity的最小类型，因此包装不能小于1字节(8位)

下图展示了插槽0里存放的共32字节的4个变量。

EVM Storage Opcodes

了解了存储区数据结构和插槽包装的原理只有我们看两个相关的opcode，SSTORE 和 SLOAD。

SSTORE

SSTORE 从调用栈取两个值，一个是32字节的 key，一个是32字节的 value。然后把 value 存在 key 值对应的插槽上，可以在[这里](https://www.evm.codes/playground?unit=Wei&codeType=Mnemonic&code='z1uFFv1 0w~z2uy8965w'~\nz%2F%2F Example yv2 w~SSTORE~v~PUSHuy0xFF
uvwyz~_)看到他是怎么工作的。

//Example 1
PUSH2 0xFFFF
PUSH1 0
SSTORE

//Example 2
PUSH2 0xFF
PUSH2 8965
SSTORE

SLOAD

SLOAD 从调用栈拿32字节的 key 值，然后把 key 值插槽的 value 拿出来压到调用栈上，可以在这里看到他是怎么工作的。

// Set up the state
PUSH1 46
PUSH1 0
SSTORE

// Example 1
PUSH1 0
SLOAD

//Example 2
PUSH1 1
SLOAD

这时候你就要问了，如果 SSTORE 和 SLOAD 都是处理32字节的数据，那不足32字节被包装进插槽的怎么办呢？那上边的例子来说，我们 SLOAD 插槽0之后，拿到32字节数据，里边有 value1 到 value4 四个变量，EVM怎么知道要返回什么呢？SSTORE 也有同样的问题，如果我们每次都写32字节，那怎么确保 value2 不会覆盖 value1 呢，怎么确保 value3 不会覆盖 value2 呢？接下来我们将找出答案：

存取被包装(slot packing)的变量

下边是一个仿照上个例子的合约，加上了一个方法，功能是存储然后读一个值去做算术操作。

这个store()函数将会执行上边那些我们有疑问的操作：在不覆盖原有数据的情况下，将多个变量写进同一插槽，以及从插槽的32字节数据中取出我们想要的那个变量。

让我们看一看执行结束后，插槽0的最终状态，牢记十六进制数被机器识别为二进制码，它会在slot packing中作为位运算的操作数。

记下 0x115c 为十进制 444，0x14d 为十进制 333，0x16 为十进制 22，0x01为十进制 1，与代码里的赋值相符，一个插槽持有 4 个变量。

位运算

Slot packing使用 AND，OR 和 NOT 三个位运算，对应 EVM 的 opcode 与之同名。让我们快速过一遍。

AND

下看下边的两个 8 位二进制数，AND 操作第一个数的第一位和第二个数的第一位，如果都是 1 的话结果的第一位就是 1 。否则为 0。之后算两个操作数的第二位，以此类推。

OR

OR就是两个操作数中，每位只要有一个 1 值，结果的对应位就是 1，否则为 0。

NOT

NOT 有些不一样，因为他只有一个操作数，效果就是对着每一位取反。

现在看看他们是怎么应用于上边solidity例子里的。

插槽操作：存储包装变量SSTORE

看一下solidity代码第18行

value2 = 22;

在这时 value1 已经存进插槽0了，现在我们需要pack一些额外数据放进这个插槽。value3 和 value4 存储的时候也是一样的逻辑。我们来看一下理论上是怎么做的，也会提供一个EVM playground强化理解。

我们从以下变量开始讲起

注意0xffffffff 是二进制 11111111111111111111111111111111。

EVM干的第一件事就是用 EXP ，输入一个基数一个指数返回计算结果。我们现在使用 0x100 作为基数，代表一个字节的偏移量，之后指数为 0x04，代表 value2 的起始位置。下图展示了这个返回值的作用：

我们得到了EXP函数的返回值，这样就可以把0x16写在正确的位置上，即4字节的位置。 (译者注：0x100 的 0x04 次幂，算出来是2 ^ 8，也就是0x100000000，插槽从右往左装填，相当于从右到左偏移八位)

我们现在还不能写进去，因为已经存储的 value1 会被覆盖，这时候掩码就发挥作用了。

上图展示了掩码是怎么发挥作用的，怎么拿数据可以把待写入那个区域单独无视，其他部分正常提取。在这个情况下 value2 想占用的区域已经都置零了，如果没置零，我们将看到数据被清除。

(译者注：掩码的原理很简单，就是用AND命令制造一个某区域为0，其它区域数值不变的方法，比如给定一个数 0x1010，我想把从左到右第三位隐藏，那么我可以制造一个数 0x1101，即待隐藏位置为 0 其它为 1，那么由于 0 和任何数and都是0，1 和任何数and结果都与该数一致，用0x1101 AND 0x1010，我们得到了一个0x1000，第三位被抹去了，其它位数不变。用在这里就是为了抹去对应位的原值)

这有另一个例子是我们把4个变量全部存进去的情况下把 value2 值从 22 改成 99。看到0x016 值被清除了。

你可能正在想 OR 是怎么用上的，这张图会展示下一个步骤：

(译者注：就是把第一步计算的“只有 value2”的32字节数据与第二步计算的“隐藏了value2位置的32位数据”做OR操作，即可得到最终结果)

我们现在可以把包含 value1 和 value2 的 32字节数据写入插槽0了，他们都在正确的位置。

插槽操作：取出被包装的变量SLOAD

关于提取我们看一下solidity带么的22行

uint96 value5 = value3 + uint32(666)

我们只关心 value3 是怎么拿出来的，对它的算术计算不感兴趣。下面就是取出 value3 需要的数据，跟上边的不太一样。

经过了一些修改，他们将会用于检索。

我们现在从插槽0 里提取出了 value3，0x14d也就是十进制 333，跟solidity里看到的一样。 (译者注：就是和存储反过来了，先取出slot，再根据除法把待取一直右移到插槽最低位，最后用掩码把其它数据匿藏)

再次使用掩码和位操作和以帮助我们从32字节的插槽里准确提取数据，现在它放在栈上，可以执行 “value3 + uint32(666)” 了。

EVM Playground

这是store()的所有opcode了，你可以把它放在 EVM playground里跑一跑交互一下，会有一个直观的感受，可以看到调用栈和合约存储在你一步一步执行的时候是怎么变化的。

// --------------------------------
// Solidity Line 17 - "value1 = 1;"
// --------------------------------

PUSH1 0x01
PUSH1 0x00
DUP1
PUSH2 0x0100
EXP
DUP2
SLOAD
DUP2
PUSH4 0xffffffff
MUL
NOT
AND
SWAP1
DUP4
PUSH4 0xffffffff
AND
MUL
OR
SWAP1
SSTORE
POP

// ---------------------------------
// Solidity Line 18 - "value2 = 22;"
// ---------------------------------

PUSH1 0x16 // value2 = 22 decimal = 0x16 in hex

PUSH1 0x00 // slot 0 - storage location for "value2"

PUSH1 0x04 // 4 bytes in - start position for "value2"

PUSH2 0x0100 // 0x100 in hex = 256 in decimal, 256 bits in 1 byte 

EXP // exponent of 0x0100 & 0x04 = 0x100000000       

DUP2 // duplicate 0x00 to top of stack

SLOAD // load data at slot 0

DUP2 // duplicate exponent of 0x0100 & 0x04 = 0x100000000

PUSH4 0xffffffff // bitmask 4 bytes length      

MUL // multiply to get bitmask for the 8 bytes assigned to "value2"

NOT // NOT operation to get bitmask for all bytes except the 8 bytes assigned to "value2"

AND // AND of bitmask and slot 0 value to zero out values in the 8 bytes assigned to "value2" and retain all other values

SWAP1 // bring 0x100000000 to top of the stack

DUP4 // duplicate value2 value = 22 = 0x16

PUSH4 0xffffffff // bitmask 4 bytes length 

AND // AND to ensure the value is no more than 4 bytes in length

MUL // returns value2 at the correct position - 4 bytes in

OR // OR with previous value and the value AND yielded on line 38 gives us the 32 bytes that need to be stored

SWAP1 // slot 0 to top of the stack

SSTORE // store the 32 byte value at slot 0

POP // pop 0x16 off the stack

// ----------------------------------
// Solidity Line 19 - "value3 = 333;"
// ----------------------------------

PUSH2 0x014d
PUSH1 0x00
PUSH1 0x08
PUSH2 0x0100
EXP
DUP2
SLOAD
DUP2
PUSH8 0xffffffffffffffff
MUL
NOT
AND
SWAP1
DUP4
PUSH8 0xffffffffffffffff
AND
MUL
OR
SWAP1
SSTORE
POP

// -----------------------------------
// Solidity Line 20 - "value4 = 4444;"
// -----------------------------------

PUSH2 0x115c
PUSH1 0x00
PUSH1 0x10
PUSH2 0x0100
EXP
DUP2
SLOAD
DUP2
PUSH16 0xffffffffffffffffffffffffffffffff
MUL
NOT
AND
SWAP1
DUP4
PUSH16 0xffffffffffffffffffffffffffffffff
AND
MUL
OR
SWAP1
SSTORE
POP

// ----------------------------------------------------------
// Solidity Line 22 - "uint64 value5 = value3 + uint32(666);"
// ----------------------------------------------------------

PUSH1 0x00

PUSH2 0x029a // uint32(666)

PUSH4 0xffffffff // bitmask 4 bytes length

AND // ensure uint32(666) does not exceed 8 bytes, trim if it does 

PUSH1 0x00 // slot 0 - location of value3

PUSH1 0x08 // 8 bytes in - start position for "value3"

SWAP1 // bring 0x00 to top of stack for SLOAD of slot 0

SLOAD // load data at slot 0

SWAP1 // bring 0x08 to top of stack for EXP

PUSH2 0x0100 // 256 bits in 1 byte 

EXP // exponent of 0x0100 & 0x08 = 0x10000000000000000

SWAP1 // get slot 0 value to top of stack

DIV // DIV of slot 0 value with 0x10000000000000000 remove bottom 8 bytes  

PUSH8 0xffffffffffffffff // bitmask 8 bytes length 

AND // Zero out bytes outside of the 8 byte mask to return variable "value3"

// To see the rest of the opcodes for this calculation recreate the contract in remix and enter debugging mode

在我们文章里提到的两个部分(solidity18行和22行)写了注释，强烈建议把这份代码拍一遍加深理解。

你现在应该对存储插槽的工作原理和EVM存取插槽内特定位置数据有一定了解了，尽管SLOAD 和 SSTORE 两个opcode只能操作32字节数据，但是我们可以使用掩码和位运算存取想要的数据。

在这个系列的第四篇，我们会学习Geth是怎么实现 SSTORE 和 SLOAD 操作码的。

希望对您有帮助！