Kirja alkaa kun sisarukset Violet, Sunny ja Klaus lähtevät rannalle suunnittelemaan ja kokeilemaan kehittelemiään keksintöjä. Violet kokeilee konetta, joka hakee kiven merestä kun sen on sinne heittänyt. Kone toimi ja siarukset iloitsevat tästä, mutta seuraavaksi kaikki kääntyy huonommaksi. Heidän perhetuttunsa Herra Poe tulee rannalle kertomaan ikävät uutiset heidän vanhemmistaan. Sisarusten vanhemmat ovat kuolleet heidän talon tuhoisassa tulipalossa, josta lapset ovat tietysti surullisia. Herra Poe kuitenkin sanoo, että lapset voivat asua Herra Poen luona siihen asti, kunnes sisaruksille löydetään sijaiskoti. Herra Poe ilmoittaa, että lasten vanhemmat ovat jättäneet lapsille suuren rahallisen perinnön, jonka Violet perii kun hän on täysi-ikäinen, jonka perinnön vartija Herra Poe on. Violet on siis 14-vuotias, Klaus 12-vuotias ja Sunny 2-vuotias. Seuraavan yön lapset asuvat Herra Poen perheen luona, jossa heitä ei oikein arvosteta ja lapset joutuvatkin nukkumaan yhdessä sängyssä kolmestaan, eikä heille anneta puheenvuoroa, koska ovat juuri perineet heidän vanhemmiltaan suuren summan rahaa, vaikkakaan he eivät niitä voi vielä käyttää. Seuraavana aamuna Herra Poe tuo lapsille ilouutisen, hän on löytänyt lapsille uuden holhoojan, jonka nimi on Kreivi Olaf, joka on hänen itsensä mukaan "kuuluisa näyttelijä". Herra Poe on kiireinen mies ja työskentelee pankinjohtajana, jonka vuoksi hän vain nopeasti vie lapset uuden huoltajanssa luokse. Kreivi Olafin "kartano" on vanha ränsistynyt, rähjäinen kummitustalon näköinen iso talo. Herra Poe jättää lapset talolle ja lähtee töihin samalla kun Kreivi Olaf esittelee lapsille heidän huoneensa ja kotiaskarelistan. Lasten huone on pieni vuotava, likainen ja täynnä rottia. Heidän huoneessaan on vain pikkiriikkinen sänky kaikille kolmelle lapselle ja kasa kiviä yhdessä nurkassa. Heidän kotiaskarelistaan kuuluu koko talon siivoaminen läpikotaisin, mukaanlukien vessat, keittiö ja varasto, jotka ovat kaikki aivan törkeän likaisia. Esimerkiksi lasten pitää siivota wc-tilat omilla hammasharjoillaan, aivan hirveää. Kun lapset ovat siivonneet ja tehneet kaikki kotiaskareet Kreivi Olaf pakottaa lapset tekemään hänelle ruokaa. Lapset lähtevätkin hakemaan aineksia ruokaan kaupungista ja valmistavat Kreiville ja yllätyksenä hänen teatteriporukalleen pasta bolognesea. Tämä ei kuitenkaan Kreivi Olafille kelpaa vaan hän moittii lapsia ja lähettää heidät huoneeseensa ja lukitsee heidät sinne. Illalla Kreivi Olaf kutsuu lapset alas ja haluaa lapset osallistumaan hänen Auvoisa Avioliitto näytelmäänsä. Näytelmässä Kreivi Olaf ja Violet menisivät naimisiin ja naapurin Tuomari Strauss vihkisi heidät. Klaus valvoo seuraavan yön lukien kirjaa laista ja saa selville Kreivi Olafin ilkeän suunnitelman. Kreivi Olaf aikoo huijata Violetin oikeisiin naimisiin, jolloin Kreivi saisi kaikki Violetin rahat. Tämän jälkeen lapset lähtevät Tuomari Straussin luo lukemaan kirjoja, sillä Tuomari on antanut heidän tulla lukemaan hänen kirjojaan milloin vain. Kreivi Olaf kuitenkin huomaa, että Klaus lukee lakikirjaa ja päättää lähteä itse hakemaan lapset. Kun Kreivi Olaf saapuu hän tarjoaa tuomari Straussille paikkaa näytelmässään, hänen tehtävänään olisi vihkiä Kreivi Olaf ja Violet. Tuomari Strauss on innoissaan päässessään näyttelemään. Kreivi Olaf myös pyytää