호(號)는 지족당(知足堂)․지정(止亭), 곡산 군수(谷山郡守) 치신(致信)의 아들. 김종직(金宗直) 문하에서 문명을 떨쳤으며, 1489년(성종 20) 생원시(生員試)․진사시(進士試)에 모두 합격, 1494년 별시문과(別試文科)에 을과(乙科)로 급제, 검열(檢閱)을 거쳐 사가독서(賜暇讀書)를 했다.

부제학(副提學)․좌부승지(左副承旨)를 지내고 1504년 갑자사화(甲子士禍) 때 서변(西邊)에 유배되었다가 풀려나 대제학을 지냈다.

뒤에 찬성(贊成)을 지내고 1518년 주청사(奏請使)로 명나라에 가서 종계(宗系)를 변무(辨誣)하고 돌아와 예조 판서(禮曹判書)가 되었다. 1519년(중종 14) 훈구파(勳舊派) 대신으로 심 정(沈 貞) 등과 함께 기묘사화(己卯士禍)를 일으켜 집권자 조광조(趙光祖) 등 신진 사류(新進士類)들을 숙청한 후 좌의정(左議政)이 되고, 1523년 영의정(領議政)에 올랐다.

문장에 뛰어나고 글씨에도 능했으나, 만년에는 죄를 자책, 자신의 글로 뒤에 화를입을까봐 사고(私稿)를 불태웠다. 죽은 뒤문경(文敬)이란 시호가 내렸으나, 1558년 (명종 13) 관작(官爵)과 함께 삭탈당했다.