汤若望原名约翰·亚当，沙尔·冯·白尔。1592年5月1日出生在德国莱茵河畔科隆城一个叫沙尔·冯·白尔的贵族之家。沙尔家族是科隆城古老的名门望族，其爵邸就在阿波斯特尔大教堂附近，全家人都是天主教的虔诚信奉者。
1534年西班牙贵族罗耀拉创建耶稣会，帮助罗马教会在反宗教改革的运动中自上而下地实行自身的改革，重振天主教，重建教皇的绝对权威。耶稣会成了天主教各修会中势力最大的一个修会团体。
汤若望就读于耶稣会所创办的著名的三王冕中学。这个学校非常重视对学生的素质教育，把培养学生虔诚善良的人生操守视为主要目标。聪明好学的汤若望学习成绩优秀。
1607年，科隆城内流行瘟疫，三王冕中学被迫停办。16岁的汤若望被当地耶稣会教区推荐到罗马德意志学院学习。
三年过去，他以优异的成绩学完了哲学、古典文学、数理天文学等全部课程，特别在数学和天文学方面，显示出他具有很大潜力和才华。他就是在这里第一次接触到伽利略的望远镜，并对此产生浓厚的兴趣。
1611年10月，汤若望加入了耶稣会，宣誓终生安贫、贞洁、服从。随后，搬到了罗马耶稣的圣·安德烈奥修道院，当一名见习修士，接受严格的修士训练。也加入了灵采研究院，探索着不断发展着的新科学，尤其是天文学和数学。
安德烈奥修道院有一个图书馆，馆里藏着许多经过印刷，装订成册的海外耶稣会士写给总会的年报、报告、信函。
汤若望经常到图书馆翻阅这些材料。早期传教士在东方在中国所建立的丰功伟绩，让他激动不已。他钦佩利玛窦在中国采取的适应中国文化习俗的，所谓“合儒”的传教策略，竭力把天主教义与中国的儒家文化相结合。当他听说利玛窦神父以其数学天文学的智慧，惊倒了中国人，并且受到皇帝的优礼和敬重，为上帝的教会开拓了新的、非常大的信仰领域时，他为西方的数理天文这在中国获得这样的价值而欣喜若狂。
两年见习期满后，1613年10月，他进入了罗马学院。开始了为期四年的神学和数学研究。罗马学院是罗耀拉于1551年创办的，虽说是一所“基督精神的神学院”，该学院的课程设置除宗教内容外，还有数学、天文学、地理学、机械力学、化学等科目。
伽利略也担任过该院的教师，他曾在学院的报告厅里展示过经他改良后的望远镜，受到热烈欢迎和钦佩。汤若望都听过他的演讲，对伽利略的学说产生浓厚的兴趣。
1617年，他以最优秀的成绩完成了在罗马学院的学业，晋升为神父。1618年4月16日，在金尼阁的带领下，汤若望、邓玉函、罗雅谷等22名传教士，以葡萄牙政府的名义派遣，从里斯本启航东渡。
1619年7月15日，汤若望和他的教友们抵达了澳门，被安置在圣·保禄学院里。
传教士们一踏上中国土地，便开始精心研习中国语言文化，甚至以掌握北京官话为目标。这些西方修士入乡随俗，脱下僧袍，换上儒服，住进中式房屋，并潜心研究中国经史和伦理，寻找其中东西方文化的融合点。在同朝野名流交往的过程中，这些上通天文，下知地理，又熟读汉文典籍的西方传教士，自然赢得了中国文人士大夫的好感和信任，从而达到其传播信仰的目的，这就是利玛窦开创的“合儒超儒”的传教策略。但有些狂热的传教士们，认为利玛窦过于迁就中国人，影响了天主教的“纯正性”，发展教徒速度太慢。在利玛窦去世之后，开始改变利氏的传教路线，采取激进式的传教方式，坚决排斥儒家思想，严禁中国教民祭天、祭祖、拜孔子，激起了社会人士的反感与怀疑，酿成“南京教案”，传教士们被驱逐，在中国内地几乎无立足之地。
其时正是明朝内忧外患之际，满洲努尔哈赤的勇兵悍将“非火器战车不可御之”。朝廷派人到澳门向葡萄牙人购买大炮。滞留澳门的传教士们以军事专家的面目，跟着大炮随行，得以进入内地。
1622年夏天，汤若望换上了中国人的服装，把的德文姓名“亚当”改为发音相近的“汤”,“约翰”改为“若望”，正式取名汤若望，字“道未”出典于《孟子》的“望道而未见之”取道北上。1623年1月25日到达北京。
汤若望到北京后，仿效当年的利玛窦，将他从欧洲带来的数理天算书籍列好目录，呈送朝廷。又将带来的科学仪器在住所内一一陈列，请中国官员们前来参观。汤若望以他的数理天文学知识得到朝廷官员们的赏识。
他到北京不久，就成功地预测了当年10月8日出现的月食。后来他又准备地预测了第二年(1624)9月的月食。还用了一种罗马关于月食计算的方法，计算了北京子午圈与罗马子午圈的距离。为此，他写了两篇关于日食的论文，印刷分赠给各官员并送呈给朝廷。
中国传教会给他的任务是研究中国的语言文字与儒家学说，数理天文学以及传教工作只是附带的。他在北京见习了四年，在钦天监官员李祖白的帮助下，用中文写了一本介绍伽利略望远镜的《远镜说》，第一个将欧洲的最新发明介绍给中国，在以后的历法改革中起了相当大的作用。
《远镜说》刊印于1629年。该书前面有汤若望的自序，正文分四个部分：1.望远镜的利用，按仰观和平视分述，2.构成望远镜的各透镜的分别利用，如解决近视和远视患者的苦恼;3.光学原理，4.望远镜的制造方法、使用说明和保养说明。
《远镜说》从原理、结构功能和使用方法上详细介绍了伽利略式望远镜，全书通篇条理清楚、浅显易懂、图文并茂。成为传播光学和望远镜制造技术的奠基性著作，对后世有重要影响。
1627年，汤若望被派到西安接替金尼阁的传教工作。他在西安城内建立了一座小教堂，除了开展宗教活动外，他始终坚持科学研究。他研究了从西安通向中亚、中东和欧洲的交通道路问题。为此，他不断向过往商人、到北京向中国朝廷进贡的附件小国的使团，打听和记录他们行走的路线，经过的国名、地名、驿站名以及来往商品的名称、贸易状况等等。他据此写山详细的研究报名，寄往欧洲。他还花了不少时间考察了欧洲长期争论不休的契丹和北部中国的关系问题，理清了在中国的北部并没有所谓契丹的地方。旧日所谓“汗巴利可城”是蒙古语对北京的称谓。在地图上应置于北纬40度，而竞置于50度以上，位置太靠北了。他这些观点和利玛窦是一致的。
崇祯三年(1630)，由礼部尚书徐光启疏荐，回京供职于钦天监，译著历书，推步天文，制作仪器。同时，利用向太监讲解天文的机会，在宫中传播天主教，受洗入教的有御马监太监庞天寿等。
汤若望在历局期间，还同中国学者合作翻译了德国矿冶学家阿格里科拉于1550年撰写的论述16世纪欧洲开采、冶金技术的巨著“矿冶全书”，中译本定名为“坤舆格致”。此书编成后，汤若望进呈给朝廷，崇祯皇帝御批：“发下‘坤舆格致’全书，着地方官相酌地形，便宜采取”。
崇祯七年，协助徐光启、李天经编成《崇祯历书》一百三十七卷。又受明廷之命以西法督造战炮，并口述有关大炮冶铸、制造、保管、运输、演放以及火药配制、炮弹制造等原理和技术，由焦勗整理成《火攻挈要》二卷和《火攻秘要》一卷，为当时介绍西洋火枪技术的权威著作。
崇祯九年，汤奉旨设厂铸炮，两年中铸造大炮20门。为谋取天主教在各省的合法地位，十一年奏请崇祯赐“钦褒天学”四字，制匾分送各地天主堂悬挂。
清朝顺治元年(1644)，清军进入北京，明亡。汤若望以其天文历法方面的学识和技能受到清廷的保护，受命继续修正历法。
汤若望多次向新统治者力陈新历之长，并适时进献了新制的舆地屏图和浑天仪、地平晷、望远镜等仪器，而且用西洋新法准确预测了顺治元年（1644年）农历8月初一丙辰日食时，初亏、食甚、复圆的时刻，终于说服当时的摄政王多尔衮，决定从顺治二年开始，将其参与编纂的新历颁行天下。他用西法修订的历书（就是《崇祯历书》的删节版）被清廷定名《时宪历》，颁行天下。
顺治元年十一月，命掌钦天监事。次年，他将《崇祯历书》压缩成《西洋新法历书》一百零三卷，进呈摄政王多尔衮，封太常寺少卿。
顺治七年，清政府赐地在宣武门内原天主堂侧重建教堂。汤若望将利马窦建的一座经堂扩大，建成了北京城内的第一座大教堂（南堂），此处成为汤若望等神父的起居地。 汤若望工作的地点则是在北京建国门附近的古观象台。在古观象台工作的传教士有50多人，汤若望是其中最主要的传教士，还担任台长，即钦天监监正。
顺治八年顺治帝亲政后，先后授太仆寺卿、太常寺卿、通政使并赐号“通玄教师”(康熙帝时为避讳，改“通微教师”)。汤若望经常出入宫廷，对朝政得失多所建言，先后上奏章三百余封。顺治帝临终议立嗣皇，曾征求汤若望意见。当时顺治帝因得天花，而当时朝延中只有汤若望一人知道天花如果流行会造成什么样的后果，于是他就说一定要找一位得到天花的皇子来继王位，于是便有了后来的康熙大帝。
中西历法之争，由来已久，吴明煊早在顺治十六年便上疏举报汤若望天算错误，结果反落了个“诈不以实”的罪名，险些被判了死刑。1661年，顺治病逝，八岁的康熙登基，辅政大臣鳌拜等反对西洋学说，大臣杨光先，言汤若望等传教士有罪三条：潜谋造反；邪说惑众；历法荒谬。
1664年冬，鳌拜废除新历，逮捕了已经中风瘫痪的汤若望和南怀仁等传教士。
康熙三年九月二十六日，清廷“会审汤若望，以及钦天监官员，翌年三月十六日，廷议将钦天监监正汤若望，刻漏科杜如预，五官挈壶正杨弘量，历科李祖白，春官正宋可成，秋官正宋发，冬官正朱光显，中官正刘有泰等皆凌迟处死。已故刘有庆子刘必远，贾良琦子贾文郁，宋可成子宋哲，李祖白子李实，汤若望义子潘尽孝俱斩立决。”
在汤若望等人经初审被判处死刑之后，曾进行了一次由中国、回回和西洋三种观测法同时预测日食时间的实际检验活动。结果南怀仁等人据西洋历法预测的日食时间与事实相符，最为正确。但是，对汤若望等人的处罚非但没有减轻，反而又加重了：由绞刑变成了最残酷的凌迟。事情很清楚，朝廷只是希望南怀仁等人出现错误，从而为迫害他们寻找有力的借口。否则的话，西洋人正确的日食预报应该成为减轻或撤销他们罪名的理由和依据。
按照判决，次年汤若望应凌迟处死。但不久天上出现被古人认为不祥之兆的彗星。京城又突然发生了大地震，皇宫在地震中遭到破坏，而且有宫殿着火。这显然吓呆了清宫统治者。汤若望免死羁狱，旋获孝庄太皇太后特旨释放，汤的仆人潘尽孝也免去一死。而其他上面列出的从事西学的汉人，还是被斩头。至此，徐光启在崇祯年间，精心培养的一大批汉人的西方数学天文专家，被彻底杀灭扫荡干净。
康熙五年七月十五(1666年8月15日)，汤若望病死于寓所。 康熙八年，康熙给汤若望平反。1669年十一月十六日，康熙又发布了对汤若望的祭文：“皇帝谕祭原任通政使司通政使，加二级又加一级，掌钦天监印务事，故汤若望之灵曰：鞠躬尽瘁，臣子之芳踪。恤死报勤，国家之盛典。尔汤若望，来自西域，晓习天文，特畀象历之司，爰锡通微教师之号。遽尔长逝，朕用悼焉。特加因恤，遣官致祭。呜呼，聿垂不朽之荣，庶享匪躬之报。尔有所知，尚克歆享。”
汤若望在顺治年间所受的恩宠与隆遇使得天主教当时在中国的传播较为顺利。随着传教士人数的增加，活动范围的扩大、信徒在不断发展。在汤若望时代，教堂在中国已有30多处，据德礼贤先生统计1650年信徒人数就已达到150000人。
顺治皇帝的去世，使汤若望失去了宫廷保护人，他的命运也发生了巨大的转折。
虽然关外的爱新觉罗氏家族直入北京，统一中国，但具有几千年历史的儒家思想仍然是当时中国传统文化的主流，孔孟之道根深叶茂。早在顺治时期，就有一些汉族士大夫反对顺治信任汤若望等传教士，对汤若望竟然在中国发展了十几万天主教徒极其不满，极力主张从葡萄牙人手里收回澳门。安徽歙县的官生杨光先就是他们的代表，他首先向西方传教士发难。杨光先对天主教早有所闻，于顺治十五年在京城看到被钉死于十字架上的耶稣受难画像之后，才确认天主教就是耶稣教，从此即有“弹劾”汤若望的念头。顺治十六年至十七年之间，杨光先撰写了《辟邪论》上、中，下三篇以及《摘谬十论》、《正国体呈》、《中星说》、《选择议》等多篇文章，又多次亲自来到礼部，通政使司等衙门状告汤若望。杨光先指出，天由二气结撰而成，并非天主所造。耶稣是彼国谋叛的罪魁，因事败露而被正法，绝非造天圣人。所谓天主耶稣于汉元寿二年降生之说，纯属荒唐怪诞。“若耶稣即是天主，则汉哀以前尽是无主之世界”。“设天果有天主，则覆载之内四海万国，无一而非天主之所宰制，必无独主如德亚一国之理。独主一国，岂得称天主哉”。他进而又说，汤若望等“非我族类，其心必殊”，倘若天下之人，“只爱其器具之精工，而忽其私越之干禁”，则无异于“爱虎豹之文皮，而豢之卧榻之内，忘其能噬人矣”。同时，又斥责汤若望在《时宪历书》封面上题写“依西洋新法”五个字，其目的是“借大清之历以张大其西洋，而使天下万国晓然知大清奉西洋之正朔”。说汤若望借西洋新法阴行邪教，而“谋夺人国是其天性，今呼朋引类，外集广澳，内官帝掖，不可无蜂虿之防”。因为当时顺治帝尚在，汤若望仍受朝廷器重，而礼部又不理睬杨光先的状告，所以汤若望等人对杨光先的反教举动未加重视。
康熙初，汤若望等耶稣会士加紧宣传天主教，将天主教捧为全世界之惟一正教，只以天主教为独尊。汤若望与当时在京的传教士利类思、安文思、南怀仁等人认真研究之后，令奉教钦天监夏官正李祖白执笔，根据明崇祯皇帝所赐“钦褒关学”匾额的“天学”二字，于康熙二年冬撰写了《天学传概》一书，三年正月，又求国子监助教许之渐为该书作序。该书刊行之后，散发给在华天主堂的传教士及有关人员。据汤若望、李祖白等人讲，此书是针对杨光先指责天主教为邪教的论点而作，以阐明天主教并非邪教，而是正教。但是，在该书中却大谈特谈许多令当时人无法理解和接受观点。譬如，在该书中写到，“天主上帝开辟乾坤，生初人男女各一。初人子孙聚居如德亚国”。其后生齿日繁，散走世界各地。“考之史册，推之历年，在中国为伏羲氏，即非伏羲，亦必先伏羲不远为中国有人之始。此中国之初人，实如德亚之苗裔”。接着又说到，中国自有初人之始，即信奉天主之教，而六经四书之类，不过是天主教的“微言法语”。自秦始皇焚书之后，天主教也在中国失传。等等。这种将中国的社会，宗教思想甚至人种完全纳入欧洲的体系，变成为欧洲的附庸和分支的理论，充分反映了欧洲中心，欧洲至上论的傲慢与偏见，导致了人们的极大反感和不信任。杨光先见到《天学传概》一书后，把它当作击败汤若望的一把利剑，于康熙三年三月二十五日，先写信给该书的作序者许之渐，指斥天主教是邪教，《天学传概》是妖书，敦促许之渐举揭汤若望，反对天主教。于七月二十六日，又写《请诛邪教状》一文，再赴礼部呈递，正式控告汤若望有三大罪状：一是潜谋造反，二是邪说惑众，三是历法荒谬。又将《天学传概》一本、《邪教图说》三本、《正国体呈》稿一本、《与许之渐书》稿一本，以及金牌，绣袋，会期等物，一并递呈礼部，要求依律将汤若望正法。清廷从三年八月初六日至四年七月，用将近一年的时间审理此案，最后作出了禁止耶稣会士在中国传播天主教的决定。并拘审捕外省传教士30余人解京。判汤若望绞刑。由于当时北京接连五天发生地震，加之“太皇太后(孝庄)力主开释”，汤若望才免于一死。清廷又恐传教士们仍然传教，收徒，建堂，也严加饬交继任各官防范。这就是康熙初发生的有名的“教案”，
康熙五年(1666年)8月15日，汤若望逝于南堂，享年75岁。康熙八年(1669年)9月，汤若望得到彻底昭雪，恢复“通玄教师”之名，1669年12月8日，康熙帝赐地重葬汤若望于利玛窦墓旁，御赐祭文一篇，镌刻在汤若望墓碑的反面，从“鞠躬尽瘁，恤死报勤，国之盛典”等用词足以见中国一代明君对这位来自万里之遥、莱茵河畔的德国传教士高度的评价和认同。