Группа была основана в 1996 году, первоначально состояла из: Мэтта Скиба (вокал, гитара), Роба Дорана (бас, вокал) и Глена Портера (барабаны, вокал). После выпуска Sundials EP в 1997 году Роберт Доран был заменен бывшим басистом "Slapstick" Даном Андриано. Их первый полный альбом под названием Goddamnit был выпущен в конце 1998 года. После релиза Goddamnit, трио выпустили еще два альбома в 2000 году. В 2001 г. произошло значительное изменение состава. Майк Фелумли был заменен бывшим барабанщиком The Suicide Machines Дереком Грантом, который так и остался в группе.
24 мая 2005 года вышел пятый альбом "Crimson". Alkaline Trio приняли участие в нескольких Split EP и сборниках: Alkaline Trio / Blue Meanies Split (1999), Alkaline Trio / Hot Water Music (2002) - из серии BYO Split Series, vol. 5 (Alkaline Trio / One Man Army) (2004), "Division For The Peace vol. 1 (2000) - Atticus : Dragging the lake, vol. 1 (2002) - Rock Against Bush vol. 1 (2004) - Tony Hawk - American Westland Soundtrack (2005) - FlatOut 2 Soundtrack (2006).
В 2007 году вышел альбом Remains, представляющий собой сборник синглов группы. В него вошли также несколько каверов на такие группы, как Hot Water Music, John Crawford, The Damned.