golang 的string與[]byte轉換方式
相對于C語言，golang是類型安全的語言。但是安全的代價就是性能的妥協(xié)。
下面我們看看Golang不想讓我們看到的“秘密”——string的底層數(shù)據(jù)。
通過reflect包，我們可以知道，在Golang底層，string和slice其實都是struct：
type SliceHeader struct {
Data uintptr
Len int
Cap int
}
type StringHeader struct {
Data uintptr
Len int
}
其中Data是一個指針，指向實際的數(shù)據(jù)地址，Len表示數(shù)據(jù)長度。
但是，在string和[]byte轉換過程中，Golang究竟悄悄幫我們做了什么，來達到安全的目的？
在Golang語言規(guī)范里面，string數(shù)據(jù)是禁止修改的，試圖通過&s[0], &b[0]取得string和slice數(shù)據(jù)指針地址也是不能通過編譯的。
下面，我們就通過Golang的“黑科技”來一窺Golang背后的“秘密”
//return GoString's buffer slice(enable modify string)
func StringBytes(s string) Bytes {
return *(*Bytes)(unsafe.Pointer(&s))
}
// convert b to string without copy
func BytesString(b []byte) String {
return *(*String)(unsafe.Pointer(&b))
}
// returns &s[0], which is not allowed in go
func StringPointer(s string) unsafe.Pointer {
p := (*reflect.StringHeader)(unsafe.Pointer(&s))
return unsafe.Pointer(p.Data)
}
// returns &b[0], which is not allowed in go
func BytesPointer(b []byte) unsafe.Pointer {
p := (*reflect.SliceHeader)(unsafe.Pointer(&b))
return unsafe.Pointer(p.Data)
}
以上4個函數(shù)的神奇之處在于，通過unsafe.Pointer和reflect.XXXHeader取到了數(shù)據(jù)首地址，并實現(xiàn)了string和[]byte的直接轉換（這些操作在語言層面是禁止的）。
下面我們就通過這幾個“黑科技”來測試一下語言底層的秘密：
func TestPointer(t *testing.T) {
s := []string{
"",
"",
"hello",
"hello",
fmt.Sprintf(""),
fmt.Sprintf(""),
fmt.Sprintf("hello"),
fmt.Sprintf("hello"),
}
fmt.Println("String to bytes:")
for i, v := range s {
b := unsafe.StringBytes(v)
b2 := []byte(v)
if b.Writeable() {
b[0] = 'x'
}
fmt.Printf("%d\ts=%5s\tptr(v)=%-12v\tptr(StringBytes(v)=%-12v\tptr([]byte(v)=%-12v\n",
i, v, unsafe.StringPointer(v), b.Pointer(), unsafe.BytesPointer(b2))
}
b := [][]byte{
[]byte{},
[]byte{'h', 'e', 'l', 'l', 'o'},
}
fmt.Println("Bytes to string:")
for i, v := range b {
s1 := unsafe.BytesString(v)
s2 := string(v)
fmt.Printf("%d\ts=%5s\tptr(v)=%-12v\tptr(StringBytes(v)=%-12v\tptr(string(v)=%-12v\n",
i, s1, unsafe.BytesPointer(v), s1.Pointer(), unsafe.StringPointer(s2))
}
}
const N = 3000000
func Benchmark_Normal(b *testing.B) {
for i := 1; i < N; i++ {
s := fmt.Sprintf("12345678901234567890123456789012345678901234567890")
bb := []byte(s)
bb[0] = 'x'
s = string(bb)
s = s
}
}
func Benchmark_Direct(b *testing.B) {
for i := 1; i < N; i++ {
s := fmt.Sprintf("12345678901234567890123456789012345678901234567890")
bb := unsafe.StringBytes(s)
bb[0] = 'x'
s = s
}
}
//test result
//String to bytes:
//0 s= ptr(v)=0x51bd70 ptr(StringBytes(v)=0x51bd70 ptr([]byte(v)=0xc042021c58
//1 s= ptr(v)=0x51bd70 ptr(StringBytes(v)=0x51bd70 ptr([]byte(v)=0xc042021c58
//2 s=hello ptr(v)=0x51c2fa ptr(StringBytes(v)=0x51c2fa ptr([]byte(v)=0xc042021c58
//3 s=hello ptr(v)=0x51c2fa ptr(StringBytes(v)=0x51c2fa ptr([]byte(v)=0xc042021c58
//4 s= ptr(v)=<nil> ptr(StringBytes(v)=<nil> ptr([]byte(v)=0xc042021c58
//5 s= ptr(v)=<nil> ptr(StringBytes(v)=<nil> ptr([]byte(v)=0xc042021c58
//6 s=xello ptr(v)=0xc0420444b5 ptr(StringBytes(v)=0xc0420444b5 ptr([]byte(v)=0xc042021c58
//7 s=xello ptr(v)=0xc0420444ba ptr(StringBytes(v)=0xc0420444ba ptr([]byte(v)=0xc042021c58
//Bytes to string:
//0 s= ptr(v)=0x5c38b8 ptr(StringBytes(v)=0x5c38b8 ptr(string(v)=<nil>
//1 s=hello ptr(v)=0xc0420445e0 ptr(StringBytes(v)=0xc0420445e0 ptr(string(v)=0xc042021c38
//Benchmark_Normal-4 1000000000 0.87 ns/op
//Benchmark_Direct-4 2000000000 0.24 ns/op
結論如下：
1、string常量會在編譯期分配到只讀段，對應數(shù)據(jù)地址不可寫入，并且相同的string常量不會重復存儲。
2、fmt.Sprintf生成的字符串分配在堆上，對應數(shù)據(jù)地址可修改。
3、常量空字符串有數(shù)據(jù)地址，動態(tài)生成的字符串沒有設置數(shù)據(jù)地址
4、Golang string和[]byte轉換,會將數(shù)據(jù)復制到堆上，返回數(shù)據(jù)指向復制的數(shù)據(jù)
5、動態(tài)生成的字符串，即使內(nèi)容一樣，數(shù)據(jù)也是在不同的空間
6、只有動態(tài)生成的string，數(shù)據(jù)可以被黑科技修改
7、string和[]byte通過復制轉換，性能損失接近4倍
補充：Golang 使用unsafe.Pointer優(yōu)化byte[]與String轉換性能
我們知道一般來說對于一個String
如果想要轉換為byte[]都是通過類型轉換語法來實現(xiàn)的：
Res := string(bytes)
這種方式是Go所推薦的，優(yōu)點就是安全，盡管這種操作會發(fā)生內(nèi)存拷貝，導致性能上會有所損耗，這在處理一般業(yè)務時這種損耗是可以忽略的。
但如果是拷貝頻繁的情況下，想要進行性能優(yōu)化時，就需要引入unsafe.Pointer了：
func main() {
var s = []byte("我永遠喜歡藤原千花.jpg")
Res := *(*string)(unsafe.Pointer(&s))
fmt.Println(Res)
}
通過unsafe.Pointer偽造String的過程沒有發(fā)生內(nèi)存拷貝，所以效率上會比發(fā)生內(nèi)存拷貝的類型轉換快，但代價就是把底層數(shù)據(jù)暴露出來，這種做法是不安全的。
至于為什么Slice能通過這種方式和String轉換
我們可以看下它們的底層結構SliceHeader和StringHeader ：
type SliceHeader struct {
Data uintptr
Len int
Cap int
}
type StringHeader struct {
Data uintptr
Len int
}
兩種類型只差了一個字段Cap（容量），前面剩余的字段都是內(nèi)存對齊的，所以可以直接轉換
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
相關文章
GO語言創(chuàng)建錢包并遍歷錢包(wallet)的實現(xiàn)代碼
比特幣錢包實際上是一個密鑰對，當你安裝 一個錢包應用，或者是使用一個比特幣客戶端來生成一個新地址是，他就會為你生成一個密鑰對，今天通過本文給大家分享go語言遍歷錢包的相關知識，一起看看吧2021-05-05
Goland遠程連接Linux進行項目開發(fā)的實現(xiàn)
有的時候我們的開發(fā)代碼要在linux服務器上運行,本文主要介紹了Goland遠程連接Linux進行項目開發(fā)的實現(xiàn),具有一定的參考價值,感興趣的可以了解一下2024-06-06
對于Go語言的錯誤是通過返回值的方式，本文主要介紹了Golang 錯誤捕獲Panic與Recover的使用，文中根據(jù)實例編碼詳細介紹的十分詳盡，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-03-03
這篇文章主要介紹了使用Golang的Context管理上下文的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-09-09
Go?Web實戰(zhàn)之創(chuàng)建項目及增加日志功能
這篇文章主要為大家詳細介紹了Go?Web項目中如何實現(xiàn)創(chuàng)建項目及增加日志功能，文中的示例代碼講解詳細，感興趣的小伙伴可以了解一下2022-11-11
這篇文章主要介紹了golang字符串轉64位整數(shù),在Go語言中，可以使用strconv包中的ParseInt函數(shù)將字符串轉換為64位整數(shù)，本文通過實例代碼給大家介紹的非常詳細，需要的朋友可以參考下2023-09-09
這篇文章主要為大家介紹了Go 面向包新提案,透明文件夾必要性分析,看看是否合適加進 Go 特性中,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-11-11
Go標準庫http?server的優(yōu)雅關閉深入理解
這篇文章主要為大家介紹了Go標準庫http?server的優(yōu)雅有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪關閉深入理解2024-01-01
golang基于errgroup實現(xiàn)并發(fā)調(diào)用的方法
這篇文章主要介紹了golang基于errgroup實現(xiàn)并發(fā)調(diào)用,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-09-09
這篇文章主要介紹了Go語言中條件語句的使用，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-04-04