В Сераль вели трое последовательно расположенных ворот. Первые ворота, связывающие Сераль непосредственно с городом, назывались Имперскими воротами, или Баб-и-Хумайн. На них сохранилась надпись, сделанная в память его основателя: «Султан Мехмед. Тень и дух Бога среди людей, монарх этой земли, господин двух континентов и двух морей, востока и запада, покоритель города Константинополя». С ранних времен турки использовали дворцовые ворота для отправления закона и справедливости, и, возможно, именно эти ворота, традиционно повторяющие очертания величественного главного входа (портала) султанского шатра с четырьмя шестами, передали турецкому правительству название Порта, или, как впоследствии его стали именовать европейцы, Высокая (Блистательная) Порта.
Ага, или привратник, регулировавший сообщение между Сералем султана и внешним миром, был главой белых евнухов, контролировавших официальную часть дворца и персонал. Он, по сути, был церемониймейстером, а также доверенным лицом султана. Ему подчинялась целая иерархия других белых евнухов, выполнявших разные функции камергеров двора. Параллельно ему существовал начальник черных евнухов, ага, контролировавший тех, кто служил в помещениях для женщин, впоследствии переведенных внутрь Сераля. Использование евнухов, неизвестных ранним османским султанам, было обычаем, заимствованным у Византийской империи, которая в свою очередь позаимствовала его на Востоке. Поскольку ислам запрещал кастрацию, османы ввозили евнухов из христианских стран, в то время главным образом с Кавказа, при посредстве торговли, которая, как и торговля рабами, в основном находилась в руках евреев.
Главный белый евнух контролировал весь персонал двора султана, в то время состоявший примерно из 350 человек. Все они были бывшими христианами, как и все гражданские и большинство военных чиновников Османского государства, от великого визиря и его коллег-визирей до провинциальных губернаторов, владельцев фьефов, сборщиков налогов и исполнительных чиновников различных рангов. Все они входили в «Рабскую челядь» султана, прототипом которой был Сераль. Они были личными рабами своего хозяина и оставались таковыми на протяжении всей жизни, независимо от любого продвижения по службе и властных полномочий, которых они могли достичь. Это был продукт синтеза двух институтов, военного и гражданского. Он изначально произошел от девширме, или закона о наборе, который европейцы назвали «законом внесения дани детьми». На основании его был создан корпус янычар, после чего он развился и при Мураде II стал инструментом не только военного, но и гражданского управления. Мурад создал новый более эффективный правящий аппарат взамен старого,