解決python3 整數數組轉bytes的效率問題

更新時間：2021年03月08日 11:55:39 作者：b0ring

這篇文章主要介紹了解決python3 整數數組轉bytes的效率問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

昨天在做一道CTF題的時候碰到了一個圖片異或的問題，操作大概如下：

將一個圖片讀入，然后每字節(jié)進行異或操作，核心代碼可簡化為以下：

#coding:utf-8
'''
 @DateTime: 2017-11-25 13:51:33
 @Version: 1.0
 @Author: Unname_Bao
'''
import six
key = b'\xdcd~\xb6^g\x11\xe1U7R\x18!+9d\xdcd~\xb6^g\x11\xe1U7R\x18!+9d'
with open('flag.encrypted','rb') as f:
 c = f.read()
flag = b''
for i in range(32):
 flag += six.int2byte(key[i%32]^c[i])
with open('flag.png','wb') as f:
 f.write(flag)

然后就碰到了一個效率問題，跑了十幾分鐘都沒有跑出結果，起初以為是類型轉換的問題，因為比較急，于是換了成了C++的代碼去解決，后來一直沒多想。

今天閑下來的時候才發(fā)現代碼之前的代碼中存在一個非常大的問題：

內存申請問題

由于flag.encrypted文件大小為6.47MB之大，由于我的腳本思路是不斷在byte數組后添加，但忽略了其本質。

就是在內存申請過程中，由于數組長度最終為600+W大小，期間存在多次數組內存不夠，需要重新申請內存的問題，而python中的內存申請顯然沒有C++的vector的push_back有效率。

而且python中，無論是list、string還是byte，也沒有reserve這種函數，不能預留內存空間（這時候真的要吐槽一下python設計者對速度優(yōu)化的考量了）。

于是只能用另一種方法進行優(yōu)化，就是先用list申請一個需求大小的內存空間，然后再轉為bytes使用，

代碼如下：

#coding:utf-8
'''
 @DateTime: 2017-11-26 14:09:29
 @Version: 2.0
 @Author: Unname_Bao
'''
key = b'\xdcd~\xb6^g\x11\xe1U7R\x18!+9d\xdcd~\xb6^g\x11\xe1U7R\x18!+9d'
with open('flag.encrypted','rb') as f:
 c = f.read()
flag = list('1'*len(c))
for i in range(len(c)):
 flag[i] = key[i%32]^c[i]
flag = bytes(flag)
with open('flag.png','wb') as f:
 f.write(flag)

這樣寫的話幾乎是瞬間完成任務了，但還是比C++慢很多，這是不可避免的。

補充：python2與python3的bytes問題

>>> s = '編程'
>>> print s
編程
>>> s
'\xe7\xbc\x96\xe7\xa8\x8b'
>>>

在python2中直接調用字符串的變量的話，會打印其bytes(可以理解成用16進制表示字符串的內存地址，本質還是二進制）。在python2中，bytes和str是一回事。

為什么要有個bytes呢？因為所有數據本質都是用二進制進行儲存的，當傳輸數據的時候，要把這些數據先轉換成二進制( bytes)在進行傳輸。除此之外，python2里還有個單獨的數據類型，把字符串解碼后，就會變成unicode。

>>> s
'\xe8\xb7\xaf\xe9\xa3\x9e' #utf-8
>>> s.decode('utf-8')
u'\u8def\u98de' #unicode 在unicode編碼表里對應的位置
>>> print(s.decode('utf-8'))
路飛 #unicode 格式的字符

原因是python2的默認編碼是ASCII,后來為了支持多國語言，就想弄個unicode。但是直接把ASCII轉成unicode是很費勁的，所以龜叔直接搞了一個新的字符類型，就叫unicode,說白了就是你得在內存里先把字符串存成unicode類型