Do głowy przychodzi tylko Linux. Windows Server jest bardzo drogi i raczej słabo by chodził na takim sprzęcie. Są jeszcze Uniksy (OpenSolaris, rodzina BSD), możesz spróbować, ale nie wiem czy jest sens, a do tego musiałbyś się wywiedzieć jak jest z obsługą sprzętu w takim netbooku pod nimi. Na Twoim miejscu zastanowiłbym się jednak nad tym, nie lepiej kupić płytę główną w formacie ITX z Atomem? Zalety te same, a brak wad laptopa. Sam się nad tym zastanawiałem i jest to w planach na przyszłość. No ale jak pozostaniesz przy tej wersji, to pamiętaj tylko żeby nie kupować netbooka z dyskiem SSD.
Co do systemu znowu to polecam Debiana, jest stabilny i bezpieczny, do tego popularny, wiec jest ogromna społeczność i sporo wiadomości możesz znaleźć w Internecie. Instalujesz bazowy system a potem dorzucasz co Ci tam będzie potrzebne: Sambę, jakiś serwer FTP, itd. Routing można zrobić choćby na iptables. Modem można spokojnie dostać (o ile przez "przewodowy" masz na myśli z wyjściem ethernetowym, z drugiej strony wiele z tych na USB też działa pod Linuksem), ale to chyba tylko w celach edukacyjnych, bo wygodniejszy jest moim zdaniem sprzętowy router. Jeśli chcesz mieć dostęp do tego serwera spoza sieci lokalnej, zainteresuj się usługą DynDNS. Zarządzać możesz przez SSH. Są też jakieś panele, DirectAdmin to chyba jeden z nich, jak wpiszesz w Google znajdziesz sporo, ale mi to nigdy nie było potrzebne. Do używania takiego będziesz potrzebował serwera WWW oczywiście.