最近在看线性代数和概率论,有点无聊,于是自己做了一个视频传输程序放松一下
TCP和UDP两种协议这里选用UDP协议,主要因为TCP在传输的时候会产生沾包的状况,而UDP不会有这种问题
1.视频信息的采集
对于摄像头,使用OpenCV打开并获取每一帧的图像,将其封装成字节流进行传输
获取摄像头视频流
cam = cv2.VideoCapture(0) #打开摄像头
while (cam.isOpened()): ret,frame = cam.read() #获取视频流
这一步没啥好说的,最基本的API调用
对每一帧图像进行处理
将每一帧图像写入内存(与写入文件类似),然后读出为字节用于网络传输.可以想象为先将每一帧图像都保存为文件,再发送文件,不过写入文件太慢,这里直接写入内存
def array_pic_to_stream(pic): stream = BytesIO() pic = Image.fromarray(pic) pic.save(stream, format="JPEG") jepg = stream.getvalue() stream.close() return jepg
可以将BytesIO理解为一个保存在内存中的文件,通过写入,写出操作将numpy.array()类型数据转化为二进制文件
对于屏幕,使用Image的截图功能截取每一帧图像,将其封装成字节流
获取视频流
img = ImageGrab.grab() out = img.resize((612,480))
这里要注意,之所以对图片的大小进行削减是因为UDP传输的包的大小是有限制的,好像是六万五左右,而屏幕分辨率太高,所以 必须缩减
对每一帧图像进行处理
将Image对象转化为数组,在转化为字节流
def pic_to_array(pic): stram = BytesIO() pic.save(stram, format="JPEG") array_pic = numpy.array(Image.open(stram)) stram.close() return array_pic
def array_pic_to_stream(pic): stream = BytesIO() pic = Image.fromarray(pic) pic.save(stream, format="JPEG") jepg = stream.getvalue() stream.close() return jepg
2.发送
这一步基本没什么区别,直接构建socket发送即可
sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
sock.sendto(jepg,address)
3.接收段端
发送端的反向逻辑,没什么好说的
def receive(process=None): sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) sock.bind(address) while True: img,addr= sock.recvfrom(1024*1024) buf = BytesIO(img) img = numpy.array(Image.open(buf)) a = Image.open(buf) #a.show() cv2.imshow("receive",img) buf.close() if (cv2.waitKey(1) & 0xFF) == ord('q'): break else: continue cv2.destroyAllWindows
4.测试
最后的用路由器组了一个局域网用我的win板和笔记本进行实验,调用摄像头发现FPS很高,清晰度也不错,基本无延迟
但是测试屏幕直播功能发现因为udp传输包的大小限制,图像失真很严重,基本无法辨认