#2024音视频技术发展趋势
在视频编解码器的选择上，H.264/AVC和H.265/HEVC成为主导选择对象。H.266/VVC最新标准相比于前两个标准有较少技术者选择使用。其他视频编解码器在市场上仍占据一片天地，在市场中同时共存。在未来视频编码器的选择上，H.264/AVC使用份额呈现萎缩趋势。AV1 、H. 266 /VVC 、AVS3使用份额将呈现较大增长趋势，其中H.266/VVC的增长势头最为迅猛。
在音频编解码器的选择上，AAC、MP3、Opus成为音频编解码器的三巨头。其他音频编解码器在使用上仍占据一片天地，在市场中同时共存。在未来音频编码器的选择上，与现在编解码的选择份额上并无太大差异。AAC、Opus、MP3仍为音频编码器的主导，AAC份额呈现萎缩趋势，但仍占据主导地位。
下一代感知编码技术可以用AI技术辅助编码工具进行加速或更优决断。此外，未来可以建立与业务相结合的质量评估模型，推动技术进一步发展，包括使用更优的主观质量模型来辅助CAE技术，以达到更优的效果。
大多数技术人员采用的多媒体处理框架是FFmpeg，其次是OpenCV、OpenGL，小部分技术人员采用GStreamer、OpenVino。
基于AI的端到端数据压缩方法受到越来越多的关注，研究对象已经包括图像、视频、语音和基因组学等，其中AI图像压缩的研究最为活跃。AI图像编码目前取得了一定的进展，AI视频编码还有很长的路要走，其中复杂度包括延时、计算量、显存等问题是AI 编解码目前存在最大挑战，其次是泛化、特化、标准化等问题。
对于点播媒体传输协议，HTTP、HLS、RTP三者占比依次排在前三位。其他传输协议仍占据一片天地。未来两年内，QUIC、CMAF的使用占比增长较快，其中QUIC使用占比增长最快。
直播媒体传输协议，HLS、RTMP/FLV、RTP三者的使用占比依次排在前三位。其他传输协议仍占据一片天地。HLS占据榜首并不意外，在分发侧，由于Adobe放弃了FLV，导致了RTMP/FLV通过私有方式维护，促使HLS成为分发侧的主流。不过在推流侧，RTMP/FLV依然是主导方式。
技术存在的三大挑战中，占据前三的挑战依次是控制成本、实时（低）延迟、观众体验质量。 降低成本和提高效率仍然是音视频发展的主题之一，同时用户体验需求不断提高，例如更高清晰度等。对于音视频厂商来说，需要在确保用户体验的同时，考虑降低成本。