1941年2月20日出生于峇株巴辖,福建人。
学历:曾经在夜校接受两年半的小学华文教育,后转到英文小学就读。中学毕业。
1961年到新加坡《海峡时报》当记者。1963年转任新加坡电台记者。1965年参加民主行动党。1968年担任组织秘书,并任该党机关报《火箭报》英文版主编。1969年5月10日大选,中选马六甲市区国会议员,在5月15日在前往沙巴州助选时被驱逐出境,再由新加坡转机回马时,被警察拘捕,在《内部安全法令》被扣留16个月。
自1972年起担任国会下议院反对党领袖。1987年10月,政府展开的茅草行动先后扣留了106名异议份子,包括林吉祥、林冠英父子。父子二人是整个事件中最后被释放的两个人。 1990年的大选,林吉祥发动“丹绒二役”攻势,行动党夺得14个州议席,扳倒槟州首长林苍佑。
1999年大选,林吉祥落败升旗山国会议席。他辞卸秘书长职,改任党主席,由郭金福接棒。2004年中选怡保东区国会议员后,再次担任国会反对党领袖。308大选,再度蝉联怡保东区国会议员。