Po rodičích byl slovanského původu (otec byl napůl Čech a napůl Polák, matka Ruska). Jako tříletý přišel při operaci nádoru o pravé oko. Ještě před maturitou 1945 na newyorské Ossining High School dělal osmnáct měsíců kuchaře na obchodní zaoceánské lodi. Po studiích sociálních, hospodářských a politických věd na newyorské New School for Social Research a na Syracuse University pracoval 1953-55 jako finanční expert Státního úřadu pro rozpočet v Connecticutu.Jeho zájem se však začal upírat víc k divadlu; vystupoval se souborem Mark Twain Maskers a navštěvoval herecké kurzy Evy Le Gallienneové v connecticutském White Barn Theatre. 1955 přesídlil do New Yorku, kde o rok později debutoval v mimobroadwayské inscenaci Molièrova Dona Juana. Mezitím ještě absolvoval hereckou průpravu u Jacka Landaua a Sanforda Meisnera. Posléze také slavil úspěchy na Broadwayi, mj. ve hře G. B. Shawa Svatá Jana a v komedii Neila Simona Zajatec 2. avenue.
Před film. kamerou se nejprve uplatnil ve vedlejších úlohách pobudů, zlodějů a gangsterů. Výrazněji na sebe upozornil rolí zabijáka Abe Relese, za jejíž ztvárnění v kriminálním filmu Vražda, s.r.o. (r. B. Balaban a S. Rosenberg) byl nominován na Oscara 1960, o něhož se ucházel hned v následujícím roce rolí tělesného strážce Joye Boye v satirické komedii Plná kapsa zázraků (r. F. Capra).
Do širšího diváckého povědomí se dostal díky účinkování v mnoha zábavných TV pořadech a seriálech. Mimořádnou popularitu mu přinesla zejm. postava sympatického detektiva, poručíka Columba , jehož na TV obrazovce ztělesňoval od poč. 70. let až do své smrti a který mu zajistil ceny emmy (1972, 1975, 1976 a 1990). Přestože těžiště svých hereckých aktivit přesunul během 70. let především do TV, kde dokonce režíroval některé epizody seriálu o Columbovi.
Spolufinancoval psychologická dramata režiséra Johna Cassavetese Manželé a Žena pod vlivem, v nichž vytvořil rovněž působivé herecké kreace. Jeho doménou se staly portréty lidiček z nejnižších vrstev, kteří nedbají příliš na zákony (Mikey a Nicky nebo Kasař Tony), a detektivů, jimž při vyšetřování stačí místo pistole a tvrdých pěstí důvtip, rozvaha a černý notýsek (Columbo, Vražda na večeři a Detektiv ze San Franciska).
V květnu 2000 se představil po boku Jasona Alexandera na jevišti hollywoodského Geffen Theater v jednoaktové hře Lee Kalcheima Defiled. S první manželkou Alyce Mayovou adoptoval dvě dívky (Jacqueline a Katherine) a od 1977 byl ženatý s Sherrou Lynn Daneseovou.
Ke konci života trpěl těžkou demencí, a ve čtvrtek 23.6.2011 zemřel v kruhu rodiny.
