Tarkiainen, som blev fil. dr 1974 vid Uppsala universitet, har författat ett tiotal historiska monografier både på finska och svenska. Hans produktion sträcker sig tidsmässigt från medeltiden till andra världskriget och omfattar genremässigt huvudsakligen kulturhistoriska studier, som skildrar olika grupper och individer. Han har behandlat Finlands reformator Mikael Agricola från 1500-talet, den gamla Rysslandsbilden under stormaktstiden, finländarnas historia i Sverige samt Estlands svenska tid. Finnarnas historia i Sverige 1-2 (1990-93) och Sveriges Österland (2008) är några av hans mest betydande verk.
Det centrala för Kari Tarkiainens historieuppfattning har varit identitetsbegreppet, som han har belyst ur språklig, social och politisk synvinkel. Tarkiainen har också skrivit om skönlitterära gestalter, bland andra om poeten Paavo Haavikko och om sin egen farmor författaren Maria Jotuni.
Flera av Tarkiainens arbeten har haft sin rot i nutiden. I förordet till Finnarnas historia i Sverige skriver han följande om syftet med boken:
”
Detta syfte har varit att göra dagens Sverigefinländare och deras omgivning medvetna om att de alls inte innehar någon unik position, som främlingar i ett nytt land, utan att hundratusentals av deras landsmän långt före deras tillblivelse har befunnit sig i samma situation, som nya finländska invånare i det svenska moderlandet.