視頻編是指兩個協同運行的壓縮-解壓（兩個相反）算法。如果使用不同標準的視頻編彼此之間是互不兼容；也就是說，使用一種標準進行壓縮的視頻內容無法使用另外一種標準進行解壓縮。例如，MPEG-4就不能與編碼器協同運行。
由于不同的視頻壓縮算法會使用不同的方法來減少數據量，因此壓縮結果在比特率、質量和時延方面也各不相同。
圖像壓縮采用幀內編碼技術。這種技術通過刪除肉眼看不到的無關信息，僅壓縮一幀圖像內的數據。M-JPEG是這種壓縮標準的一個例子。M-JPEG序列中的圖像按單個JPEG圖像進行編碼或壓縮。
算法，如MPEG-4和H.264等，采用幀內預測模式壓縮一系列幀之間的數據。這種算法涉及多種技術，如差分編碼，一幀與參考幀進行比較，僅編碼相對于參考幀發生變化的像素。這種方法減少了編碼和發送的像素值數量。這種順序編碼的圖像以原有視頻順序顯示。
對差分編碼（包括H.264在內的大多數視頻壓縮標準都采用這種方法）來說，只有個圖像（I幀）是將全幀圖像信息進行編碼。在后面的兩個圖像（P幀）中，其靜態部分（即房子）將參考個圖像，而僅對運動部分（即正在跑步的人）使用運動矢量進行編碼，從而減少發送和存儲的信息量。
其他技術，如基于塊的運動補償可用來進一步減少數據。基于塊的運動補償考慮到視頻序列中構成新幀的大量信息都可以在前面的幀中找到，但可能會在不同的位置上。
所以，這種技術將一個幀分為一系列的宏塊（像素塊）。然后，通過在參考幀中查找匹配塊的方式，逐個塊地構建或者“預測”一個新幀。如果發現匹配的塊，編碼器只需要對參考幀中發現匹配塊的位置進行編碼。從名稱可以看出，與對塊的實際內容進行編碼相比，只對運動矢量進行編碼可以減少所占用的數據位。
采用幀間預測編碼幀時，將會把圖像序列中的幀劃分為不同類型的幀，如I幀、P幀或B幀。
I幀（幀內編碼幀）是一種自帶全部信息的獨立幀，無需參考其它圖像便可獨立進行解碼。視頻序列中的個幀始終都是I幀。如果所傳輸的比特流遭到破壞，則需要將I幀用作新查看器的起始點或重新同步點。I幀可以用來實現快進、快退以及其它隨機訪問功能。
如果新的客戶端將參與查看視頻流，編碼器將以相同的時間間隔或者根據要求自動插入I幀。I幀的缺點在于它們會占用更多的數據位，但從另一方面看，I幀不會因丟失數據而產生可覺察的模糊現象。
P幀（幀間預測編碼幀）需要參考前面的I幀和/或P幀的不同部分才能進行編碼。與I幀相比，P幀通常占用更少的數據位，但其缺點是，由于P幀對前面的P和I參考幀有著復雜的依賴性，因此對傳輸錯誤非常敏感。
B幀（雙向預測編碼幀）需要同時以前面的幀和后面的幀作為參考幀。采用B幀會加大時延。
當視頻逐個幀地對比特流進行解碼以便重構視頻時，必須始終從I幀開始解碼。如果使用了P幀和B幀，則必須與參考幀一起解碼。
除差分編碼和運動補償外，還可以采用其他*方法減少數據量，提高視頻質量。例如，H.264支持各種高級技術，從用于I幀編碼的預測機制、改進運動補償到亞像素精度、環內去塊效應濾波器直至平滑塊邊緣（模糊現象）等。
