Branch data Line data Source code
1 : : // Copyright (c) 2019-present The Bitcoin Core developers
2 : : // Distributed under the MIT software license, see the accompanying
3 : : // file COPYING or http://www.opensource.org/licenses/mit-license.php.
4 : :
5 : : #include <crypto/common.h>
6 : : #include <crypto/poly1305.h>
7 : :
8 : : namespace poly1305_donna {
9 : :
10 : : // Based on the public domain implementation by Andrew Moon
11 : : // poly1305-donna-32.h from https://github.com/floodyberry/poly1305-donna
12 : :
13 : 1368627 : void poly1305_init(poly1305_context *st, const unsigned char key[32]) noexcept {
14 : : /* r &= 0xffffffc0ffffffc0ffffffc0fffffff */
15 : 1368627 : st->r[0] = (ReadLE32(&key[ 0]) ) & 0x3ffffff;
16 : 1368627 : st->r[1] = (ReadLE32(&key[ 3]) >> 2) & 0x3ffff03;
17 : 1368627 : st->r[2] = (ReadLE32(&key[ 6]) >> 4) & 0x3ffc0ff;
18 : 1368627 : st->r[3] = (ReadLE32(&key[ 9]) >> 6) & 0x3f03fff;
19 : 1368627 : st->r[4] = (ReadLE32(&key[12]) >> 8) & 0x00fffff;
20 : :
21 : : /* h = 0 */
22 : 1368627 : st->h[0] = 0;
23 : 1368627 : st->h[1] = 0;
24 : 1368627 : st->h[2] = 0;
25 : 1368627 : st->h[3] = 0;
26 : 1368627 : st->h[4] = 0;
27 : :
28 : : /* save pad for later */
29 : 1368627 : st->pad[0] = ReadLE32(&key[16]);
30 : 1368627 : st->pad[1] = ReadLE32(&key[20]);
31 : 1368627 : st->pad[2] = ReadLE32(&key[24]);
32 : 1368627 : st->pad[3] = ReadLE32(&key[28]);
33 : :
34 : 1368627 : st->leftover = 0;
35 : 1368627 : st->final = 0;
36 : 1368627 : }
37 : :
38 : 1621188 : static void poly1305_blocks(poly1305_context *st, const unsigned char *m, size_t bytes) noexcept {
39 [ + + ]: 1621188 : const uint32_t hibit = (st->final) ? 0 : (1UL << 24); /* 1 << 128 */
40 : 1621188 : uint32_t r0,r1,r2,r3,r4;
41 : 1621188 : uint32_t s1,s2,s3,s4;
42 : 1621188 : uint32_t h0,h1,h2,h3,h4;
43 : 1621188 : uint64_t d0,d1,d2,d3,d4;
44 : 1621188 : uint32_t c;
45 : :
46 : 1621188 : r0 = st->r[0];
47 : 1621188 : r1 = st->r[1];
48 : 1621188 : r2 = st->r[2];
49 : 1621188 : r3 = st->r[3];
50 : 1621188 : r4 = st->r[4];
51 : :
52 : 1621188 : s1 = r1 * 5;
53 : 1621188 : s2 = r2 * 5;
54 : 1621188 : s3 = r3 * 5;
55 : 1621188 : s4 = r4 * 5;
56 : :
57 : 1621188 : h0 = st->h[0];
58 : 1621188 : h1 = st->h[1];
59 : 1621188 : h2 = st->h[2];
60 : 1621188 : h3 = st->h[3];
61 : 1621188 : h4 = st->h[4];
62 : :
63 [ + + ]: 43924166 : while (bytes >= POLY1305_BLOCK_SIZE) {
64 : : /* h += m[i] */
65 : 42302978 : h0 += (ReadLE32(m+ 0) ) & 0x3ffffff;
66 : 42302978 : h1 += (ReadLE32(m+ 3) >> 2) & 0x3ffffff;
67 : 42302978 : h2 += (ReadLE32(m+ 6) >> 4) & 0x3ffffff;
68 : 42302978 : h3 += (ReadLE32(m+ 9) >> 6) & 0x3ffffff;
69 : 42302978 : h4 += (ReadLE32(m+12) >> 8) | hibit;
70 : :
71 : : /* h *= r */
72 : 42302978 : d0 = ((uint64_t)h0 * r0) + ((uint64_t)h1 * s4) + ((uint64_t)h2 * s3) + ((uint64_t)h3 * s2) + ((uint64_t)h4 * s1);
73 : 42302978 : d1 = ((uint64_t)h0 * r1) + ((uint64_t)h1 * r0) + ((uint64_t)h2 * s4) + ((uint64_t)h3 * s3) + ((uint64_t)h4 * s2);
74 : 42302978 : d2 = ((uint64_t)h0 * r2) + ((uint64_t)h1 * r1) + ((uint64_t)h2 * r0) + ((uint64_t)h3 * s4) + ((uint64_t)h4 * s3);
75 : 42302978 : d3 = ((uint64_t)h0 * r3) + ((uint64_t)h1 * r2) + ((uint64_t)h2 * r1) + ((uint64_t)h3 * r0) + ((uint64_t)h4 * s4);
76 : 42302978 : d4 = ((uint64_t)h0 * r4) + ((uint64_t)h1 * r3) + ((uint64_t)h2 * r2) + ((uint64_t)h3 * r1) + ((uint64_t)h4 * r0);
77 : :
78 : : /* (partial) h %= p */
79 : 42302978 : c = (uint32_t)(d0 >> 26); h0 = (uint32_t)d0 & 0x3ffffff;
80 : 42302978 : d1 += c; c = (uint32_t)(d1 >> 26); h1 = (uint32_t)d1 & 0x3ffffff;
81 : 42302978 : d2 += c; c = (uint32_t)(d2 >> 26); h2 = (uint32_t)d2 & 0x3ffffff;
82 : 42302978 : d3 += c; c = (uint32_t)(d3 >> 26); h3 = (uint32_t)d3 & 0x3ffffff;
83 : 42302978 : d4 += c; c = (uint32_t)(d4 >> 26); h4 = (uint32_t)d4 & 0x3ffffff;
84 : 42302978 : h0 += c * 5; c = (h0 >> 26); h0 = h0 & 0x3ffffff;
85 : 42302978 : h1 += c;
86 : :
87 : 42302978 : m += POLY1305_BLOCK_SIZE;
88 : 42302978 : bytes -= POLY1305_BLOCK_SIZE;
89 : : }
90 : :
91 : 1621188 : st->h[0] = h0;
92 : 1621188 : st->h[1] = h1;
93 : 1621188 : st->h[2] = h2;
94 : 1621188 : st->h[3] = h3;
95 : 1621188 : st->h[4] = h4;
96 : 1621188 : }
97 : :
98 : 1368627 : void poly1305_finish(poly1305_context *st, unsigned char mac[16]) noexcept {
99 : 1368627 : uint32_t h0,h1,h2,h3,h4,c;
100 : 1368627 : uint32_t g0,g1,g2,g3,g4;
101 : 1368627 : uint64_t f;
102 : 1368627 : uint32_t mask;
103 : :
104 : : /* process the remaining block */
105 [ + + ]: 1368627 : if (st->leftover) {
106 : 947 : size_t i = st->leftover;
107 : 947 : st->buffer[i++] = 1;
108 [ + + ]: 7374 : for (; i < POLY1305_BLOCK_SIZE; i++) {
109 : 6427 : st->buffer[i] = 0;
110 : : }
111 : 947 : st->final = 1;
112 : 947 : poly1305_blocks(st, st->buffer, POLY1305_BLOCK_SIZE);
113 : : }
114 : :
115 : : /* fully carry h */
116 : 1368627 : h0 = st->h[0];
117 : 1368627 : h1 = st->h[1];
118 : 1368627 : h2 = st->h[2];
119 : 1368627 : h3 = st->h[3];
120 : 1368627 : h4 = st->h[4];
121 : :
122 : 1368627 : c = h1 >> 26; h1 = h1 & 0x3ffffff;
123 : 1368627 : h2 += c; c = h2 >> 26; h2 = h2 & 0x3ffffff;
124 : 1368627 : h3 += c; c = h3 >> 26; h3 = h3 & 0x3ffffff;
125 : 1368627 : h4 += c; c = h4 >> 26; h4 = h4 & 0x3ffffff;
126 : 1368627 : h0 += c * 5; c = h0 >> 26; h0 = h0 & 0x3ffffff;
127 : 1368627 : h1 += c;
128 : :
129 : : /* compute h + -p */
130 : 1368627 : g0 = h0 + 5; c = g0 >> 26; g0 &= 0x3ffffff;
131 : 1368627 : g1 = h1 + c; c = g1 >> 26; g1 &= 0x3ffffff;
132 : 1368627 : g2 = h2 + c; c = g2 >> 26; g2 &= 0x3ffffff;
133 : 1368627 : g3 = h3 + c; c = g3 >> 26; g3 &= 0x3ffffff;
134 : 1368627 : g4 = h4 + c - (1UL << 26);
135 : :
136 : : /* select h if h < p, or h + -p if h >= p */
137 : 1368627 : mask = (g4 >> ((sizeof(uint32_t) * 8) - 1)) - 1;
138 : 1368627 : g0 &= mask;
139 : 1368627 : g1 &= mask;
140 : 1368627 : g2 &= mask;
141 : 1368627 : g3 &= mask;
142 : 1368627 : g4 &= mask;
143 : 1368627 : mask = ~mask;
144 : 1368627 : h0 = (h0 & mask) | g0;
145 : 1368627 : h1 = (h1 & mask) | g1;
146 : 1368627 : h2 = (h2 & mask) | g2;
147 : 1368627 : h3 = (h3 & mask) | g3;
148 : 1368627 : h4 = (h4 & mask) | g4;
149 : :
150 : : /* h = h % (2^128) */
151 : 1368627 : h0 = ((h0 ) | (h1 << 26)) & 0xffffffff;
152 : 1368627 : h1 = ((h1 >> 6) | (h2 << 20)) & 0xffffffff;
153 : 1368627 : h2 = ((h2 >> 12) | (h3 << 14)) & 0xffffffff;
154 : 1368627 : h3 = ((h3 >> 18) | (h4 << 8)) & 0xffffffff;
155 : :
156 : : /* mac = (h + pad) % (2^128) */
157 : 1368627 : f = (uint64_t)h0 + st->pad[0] ; h0 = (uint32_t)f;
158 : 1368627 : f = (uint64_t)h1 + st->pad[1] + (f >> 32); h1 = (uint32_t)f;
159 : 1368627 : f = (uint64_t)h2 + st->pad[2] + (f >> 32); h2 = (uint32_t)f;
160 : 1368627 : f = (uint64_t)h3 + st->pad[3] + (f >> 32); h3 = (uint32_t)f;
161 : :
162 : 1368627 : WriteLE32(mac + 0, h0);
163 : 1368627 : WriteLE32(mac + 4, h1);
164 : 1368627 : WriteLE32(mac + 8, h2);
165 : 1368627 : WriteLE32(mac + 12, h3);
166 : :
167 : : /* zero out the state */
168 : 1368627 : st->h[0] = 0;
169 : 1368627 : st->h[1] = 0;
170 : 1368627 : st->h[2] = 0;
171 : 1368627 : st->h[3] = 0;
172 : 1368627 : st->h[4] = 0;
173 : 1368627 : st->r[0] = 0;
174 : 1368627 : st->r[1] = 0;
175 : 1368627 : st->r[2] = 0;
176 : 1368627 : st->r[3] = 0;
177 : 1368627 : st->r[4] = 0;
178 : 1368627 : st->pad[0] = 0;
179 : 1368627 : st->pad[1] = 0;
180 : 1368627 : st->pad[2] = 0;
181 : 1368627 : st->pad[3] = 0;
182 : 1368627 : }
183 : :
184 : 6843052 : void poly1305_update(poly1305_context *st, const unsigned char *m, size_t bytes) noexcept {
185 : 6843052 : size_t i;
186 : :
187 : : /* handle leftover */
188 [ + + ]: 6843052 : if (st->leftover) {
189 : 155910 : size_t want = (POLY1305_BLOCK_SIZE - st->leftover);
190 [ + + ]: 155910 : if (want > bytes) {
191 : 2898 : want = bytes;
192 : : }
193 [ + + ]: 1781868 : for (i = 0; i < want; i++) {
194 : 1625958 : st->buffer[st->leftover + i] = m[i];
195 : : }
196 : 155910 : bytes -= want;
197 : 155910 : m += want;
198 : 155910 : st->leftover += want;
199 [ + + ]: 155910 : if (st->leftover < POLY1305_BLOCK_SIZE) return;
200 : 153012 : poly1305_blocks(st, st->buffer, POLY1305_BLOCK_SIZE);
201 : 153012 : st->leftover = 0;
202 : : }
203 : :
204 : : /* process full blocks */
205 [ + + ]: 6840154 : if (bytes >= POLY1305_BLOCK_SIZE) {
206 : 1467229 : size_t want = (bytes & ~(POLY1305_BLOCK_SIZE - 1));
207 : 1467229 : poly1305_blocks(st, m, want);
208 : 1467229 : m += want;
209 : 1467229 : bytes -= want;
210 : : }
211 : :
212 : : /* store leftover */
213 [ + + ]: 6840154 : if (bytes) {
214 [ + + ]: 983971 : for (i = 0; i < bytes; i++) {
215 : 830012 : st->buffer[st->leftover + i] = m[i];
216 : : }
217 : 153959 : st->leftover += bytes;
218 : : }
219 : : }
220 : :
221 : : } // namespace poly1305_donna
|
