黏包

最近一直再看python的网络编程，黏包问题是TCP协议所独有的一种问题，自己平时也有些理解方面的不清晰，所以我的第一篇笔记就从它开始吧。
首先是为什么会出现黏包现象？
只有TCP协议中才会出现黏包现象，因为TCP协议是面向流的协议，在发送的数据传输过程中还有缓存机制来避免数据丢失，因此在连续发送小数据时或者接收数据的大小大于规定数值的时候会出现黏包现象。而黏包最本质的原因就是接收方不知道接收的数据包的大小。

服务端的代码

import socket
read = socket.socket()
read.bind(('127.0.0.1',8090))
read.listen()
conn,addr=read.accept()
conn.send(b'ipconfig')
ret=conn.recv(1024).decode('gbk')
print(ret)
conn.close()
read.close()

服务器端代码

import socket
import subprocess
sk=socket.socket()
sk.connect(('127.0.0.1',8090))
cmd=sk.recv(1024).decode('gbk')
ret=subprocess.Popen(cmd,shell=True,
                     stdout=subprocess.PIPE,
                     stderr=subprocess.PIPE)
sk.send(ret.stdout.read())
sk.send(ret.stderr.read())

上面代码用pycharm执行之后，和命令行比较之后就明白其实接受的数据并不全，但是得益于TCP协议的特性，未接受完的数据会在下一次接收时接收到，并不会丢失，但是也因此带来了问题，和下次需要接收的数据连到了一起。

• 当然上面只是黏包的一种情况

黏包的解决方法

有问题自然就会有解决方法，既然黏包的问题本质是我们不知道要接收的数据包的大小，那么解决问题自然就是首先把我们要发送的数据包大小发送给接收端就好。这个方法可以解决黏包问题，当我们要发送较大的数据时，一次性不可能把所有的数据都接收过来，所以就要先设置一个配置项，每次接受固定长度，而一旦我们知道了需要接受的数据总量，那么依据TCP协议的特性，我们只要设置好接收的filesize，保证最后接受到的数据大小符合发送的数据，那么就不会造成数据的丢失。

• 当然这个方法也有一定的坏处，因为报头的发送与确认也要浪费一次交互的机会，这就让我们的程序效率降低了一些

解决方法的升级版

得益于struct模块，我们可以把任意长度的报头，转换成四个字节大小的信息，这样我们在发送报头数据的时候就不要事先发送报头的长度，因为接收方知道经过struct模块的转换，报头的长度变成了固定的四个字节。
而struct模块也暂时只用得到pack与unpack的方法。这样就省去了一次交互的机会，让我们的程序效率变得更高。

实例代码

下面就是一个应用了升级版的解决方法的传输文件的示例
服务器端

#实现一个大文件的上传或下载
#配置文件 ip地址 端口号
import json
import socket
import struct
cbc=socket.socket()
cbc.bind(('127.0.0.1',9000))
cbc.listen()
buffer=2048#此处的配置文件尽量不要太大
conn,addr=cbc.accept()
#接收报头长度
head_len=conn.recv(4)
head_len=struct.unpack('i',head_len)[0]#此处unpack之后是元组格式的信息
json_head=conn.recv(head_len).decode('utf-8')
head=json.loads(json_head)
filesize=head['filesize']
with open(head['filename'],'wb') as f:#这边就直接接收到当前路径下
    while filesize:
        if filesize>=buffer:
            content=conn.recv(buffer)
            f.write(content)
            filesize-=buffer
        else:
            content=conn.recv(filesize)
            f.write(content)
            break
conn.close()
cbc.close()

客户端代码

import os
import json
import socket
import struct
cbc=socket.socket()
cbc.connect(('127.0.0.1',9000))
buffer=2048#定制配置文件

#发送文件
#定制报头
head={'filepath':r'发送文件的路径',
      'filename':r'文件的名称，注意加上后缀',
      'filesize':None
}
file_path=os.path.join(head['filepath'],head['filename'])
filesize=os.path.getsize(os.path.join(head['filepath'],head['filename']))

head['filesize']=filesize
json_head=json.dumps(head)#字典转成字符串
bytes_head=json_head.encode('utf-8')#字符串转成二进制

#计算head的长度bytes
head_len=len(bytes_head)
pack_len=struct.pack('i',head_len)#struct打包成四个字节

#发送包头
cbc.send(pack_len)#先发报头长度，固定的四个字节
cbc.send(bytes_head)#再发bytes类型的报头
with open(file_path,'rb')as f:
    while filesize:
        if filesize>=buffer:
             content=f.read(buffer)#每次读取的文件大小
             cbc.send(content)
             filesize-=buffer
        else:
            content=f.read(filesize)
            cbc.send(content)
            break
cbc.close()

这样就解决了黏包问题

一些废话

俗话说，万事开头难，学习了python一段时间后，我才迟迟的开始动笔写博客，一方面也对自己的学习过程有个交代，另一方面也让自己的知识更加巩固一些。
而今天的学习我本以为是没有问题的，但是在写博客的时候我还是遇到了许多问题，说明每天的学习需要巩固，而博客也恰好提供给我这样一个平台，让我找到自己的问题所在。
路遥知马力，日久见人心，我也希望我自己的博客能够坚持下去，发现我自己对于技术的本心。