Die Aufgabe eines Video- Servers ist die Aufbereitung und Bereitstellung von digitalen Audio- und Videosignalen für die Übertragung über paketorientierte Datennetze. Neben der konventionellen Aufbereitung, Archivierung und Verwaltung von Videodaten haben Video- Server Hardware und Programme für die Digitalisierung und Kompression von analogen Videosignalen.
Derart behandelte Signale können dann in Datenpakete gepackt und im Live-Streaming oder mit Streaming-Media über das Internet oder andere IP-Netze übertragen werden. Video-Server können für die Verteilung von Fernsehprogrammen, für die Erstellung und Verteilung interner und externer Informationsdienste, für Videokonferenzen und Videoüberwachungen genutzt werden.
Der Video-Server ist ein komplexes System mit vielfältiger spezieller Hardware und großem Hintergrundspeicher auf unterschiedlichen Medien. Das Wichtigste an seiner Architektur ist die Skalierbarkeit in Hardware, Software und Firmware für die Anpassung an unterschiedliche Aufgaben und Leistungsbereiche. Dazu gehört das Multi-Streaming bei dem der Video-Server zeitgleich unterschiedliche Video-Streams über ein Netzwerk an mehrere heterogene Geräte mit unterschiedlichsten Darstellformaten überträgt.
Die Bezeichnung Video-Server wird auch in der Videoüberwachung ( CCTV) benutzt. Hierbei handelt es sich im Gegensatz zu CCTV um eine digitale Technik bei der analoge Videosignale digitalisiert und über IP-Netze zum Video-Server übertragen werden. Dieses Konzept ist vergleichbar einer Videoüberwachung mit IP-Kamera.