Der X.Org-Server liefert die Grundlage für die Benutzeroberfläche von Unix/BSD/Linux Systemen. Als Vorlage diente das Pre-Release von XFree86, der freien Open-Source-Implementation des X-Window-Systems. Der X.Org Server dient zum Ansteuern der  Hardware sowie als Basis für das X-Window System. Der X.Org-Server kommuniziert direkt mit dem Kernel des Betriebssystems und steuert Eingabegeräte wie Maus und Tastatur sowie Ausgabegeräte. Er kann den Kernel aber auch umgehen, beispielsweise um die  Grafikkarte anzusteuern. Mit Hilfe von GLX (OpenGL Extension to the X Window System) wird eine Verbindung zwischen OpenGL und dem X-Window System unterstützt. Die Direct Rendering Infrastructure (DRI) ermöglicht dann den Zugriff eines Clients  auf die Grafikhardware eines Servers, der auf demselben Rechner läuft unter Umgehung der Treiber und 3D-Beschleunigung; der Client hat direkten Zugriff auf die OpenGL Grafik.  Die X.Org-Konfigurationsdateien sind meistens im Verzeichnis /etc/X11 zu finden. Der X-Org Server wird in der Datei xorg.conf konfiguriert. Man kann dort Grafikkarte, Monitor, Tastatur, Maus und mehr konfigurieren. Für Newbies gibt es ein Front-End,  um die Einstellungen vorzunehmen, manche Distributionen verfügen auch über eine eigenständige Geräteerkennung. Der X-Org Server wird mit vielen Treibern ausgeliefert.