Die grundsätzliche Aufgabe des Video-Servers ist die Integration von Bilddaten und Bilddatenverkehr in die LAN-Technologie. Neben der konventionellen Behandlung, Archivierung und Pflege von Bilddatenbeständen ist der Video-Server mit spezieller Hardware und speziellen Programmen ausgerüstet, die auch die Digitalisierung und Kompression von analogen Videosignalen beherrschen. Derart behandelte Signale können dann in herkömmliche Datenpakete gepackt und über ein digitales Datennetz wie das IP-Netz verschickt werden. Diese Grundfunktionen können für die Verteilung von Fernsehprogrammen, für die Erstellung und Verteilung interner und externer Informationsdienste, für Videokonferenzen und Videoüberwachungen genutzt werden.

Der Video-Server ist ein komplexes System mit vielfältiger spezieller Hardware und großem Hintergrundspeicher auf unterschiedlichen Medien. Das Wichtigste an seiner Architektur ist die Skalierbarkeit in Hard-, Soft- und Firmware für die Anpassung an unterschiedliche Aufgaben und Leistungsbereiche.

Die Bezeichnung Video-Server wird auch in der Videoüberwachung benutzt. Hierbei handelt es sich im Gegensatz zu CCTV um eine digitale Technik. Die analogen Videosignale werden digitalisiert und über IP-Netze zum Video-Server übertragen. Dieses Konzept ist vergleichbar einer Videoüberwachung mit IP-Kamera.