Karlssons kärriär i Nhl fick en dålig start och Ottawa skickade honom till Ahl. En månad senare återvände han tillbaka till Nhl och gjorde sitt första mål när de mötte Minnesota Wild.
Säsongen 2011-2012 är fantastisk för Karlsson, han är den tredje svenska försvararen som har passat 70 poäng linjen i Nhl. Han fick utmärkelsen bästa försvarare i slutet av säsongen, han var bara den andra svenska spelaren som gick det.