Arkin was de zoon van Beatrice Arkin-Wortis, lerares, en David I. Arkin, tekenaar en schrijver, die meestal werkte als leraar.[2] Arkin groeide op in een Joods gezin, maar er werd weinig waarde gehecht aan het jodendom. Zijn opa aan moeders zijde was een emigrant uit Odessa (Oekraïne).[3] Het gezin verhuisde van New York naar Los Angeles toen Arkin elf jaar was,[3] maar een acht maanden durende staking bij Hollywood, kostte Arkins vader een baan als decorontwerper, die hij graag had willen hebben.
Arkin speelde zowel komische als dramatische rollen, die beide door publiek en critici goed werden ontvangen. Films waarin hij speelde en waarvoor hij al dan niet nominaties kreeg, zijn: Wait Until Dark, als de moordende stalker van Audrey Hepburns personage; Catch-22 van regisseur Mike Nichols; The Seven-Per-Cent Solution als Sigmund Freud; Little Murders, geschreven door Jules Feiffer en geregisseerd door Arkin zelf; The In-Laws, met tegenspeler Peter Falk; en Little Miss Sunshine, waarvoor hij zijn derde Oscar-nominatie kreeg in de categorie "Beste bijrol". Op 11 februari 2007 ontving hij een BAFTA Award voor "Beste acteur in een bijrol", voor zijn vertolking van opa Edwin Hoover in Little Miss Sunshine. Niet veel later kreeg hij voor deze rol ook een Oscar. De toen 72 jaar oude Arkin was daarmee de op zes na oudste winnaar van de Oscar in de categorie "Beste bijrol". In 2013 werd Arkin wederom genomineerd voor een Oscar, ditmaal voor zijn bijrol in de film Argo.
Arkin trouwde drie keer. Met zijn eerste vrouw met wie hij van 1955 tot 1960 was getrouwd, had hij twee zoons: Adam Arkin (1957) en Matthew Arkin (1960), ook acteurs. In 1967 kreeg hij een zoon Anthony met actrice en scenarioschrijfster Barbara Dana; ze waren van 1966 tot 1994 getrouwd. In 1996 hertrouwde hij met een psychotherapeute.
Arkin overleed op 89-jarige leeftijd in zijn huis in het Californische Carlsbad.[1]