日本侵略者一开始并不看重张作霖，川岛浪速曾打算暗杀他。由于张处处对日本人表“忠心”，寺内正毅上台后日本对华政策有了改变，在满洲重用张作霖，张也积极为日本人效力。
张作霖和日本人的关系源远流长，最早始于１９０４年日俄战争期间。那时，张作霖不过是小小的新民府游击马队营管带。日俄战争爆发后，身为地方军队的一名官员，张作霖表面上遵从清政府宣布的“中立”政策，其实则大不以为然，他把这当作发展自己势力，壮大自己力量，从而有更多发言权的机会。为了达到这一目的，张作霖采取了投机的两面手法，看到俄军强大，就助俄，随着战争形势的发展，日军明显转为优势，他又倒向日本这一边，为日军效劳，从中渔利。
１９２８年６月离开北京时的张作霖
１９０４年１２月，日本陆军满洲军司令部翻译黑泽兼次郎在新民府进行间谍活动时，曾住在张作霖家中。张作霖认为战争的最后结局一定是俄军胜，因此对黑泽等“特别任务班”的人不抱好感。“特别任务班”本是个间谍组织，其成员岂是吃素的，于是策划干掉张作霖，幸而总司令部参谋福岛安正得知后制止说：“现在张作霖已在为我军效犬马之劳，要留着他加以利用。”福岛还派黑泽赠张作霖银币一千元，以图他专门为日军效劳，同时又密令黑泽严密监视张作霖。
随着日军的胜利，张作霖的态度也就不一样了。１９０５年２月，“特别任务班”成员土井市之进少佐潜入锦州活动，他先在新民府设置搜集情报的据点。翻译中町香桔给他带来一个身材矮小其貌不扬的中国人，说这个中国人是新民府的营官，对日本军队抱有非常的好感，愿为日军效劳，他还允诺将中町香桔隐藏在他家里。土井十分高兴，对他大加夸赞，并委托他在新民府中庇护中町，这个身材矮小、其貌不扬的营官就是张作霖！
日俄奉天战役之后，日军派井户川辰三少佐为新民屯军政署长，当地宪兵认为张作霖曾当过俄军间谍而予以逮捕，呈请井户川判处死刑。井户川认为张作霖手下有精锐的骑兵可以利用，于是设法向儿玉参谋次长请示，并请参谋部参谋福岛安正和田中义一从中斡旋，最终张作霖获释。井户川命张作霖在表示“愿为日本军效命”的誓约上签字，他便捺下了手印。
日俄战争是张作霖与日本侵略者相互勾结的开始，张作霖不惜在日军面前立字画押，表示效忠。但那时的张作霖只是一个小营官，日本人对他并不很重视，日张的关系并不十分亲密，张作霖不过是日本在东北的一个小小的砝码而已。
１９１２年１月２６日，张作霖亲自拜访了日本驻奉天总领事落合谦太郎，对落合说：“我深知日本在满洲有许多特权，而且和满洲有特殊关系……日本如果对我有何吩咐，我一定尽力而为。”张作霖这样主动地向日本人献媚，原因是多方面的。最主要的一点是，当时日本在东北，特别是南满势力很大，没有日本的支持，张作霖想在奉天称霸，无异于白日做梦。
１９１２年１２月，日本关东都督福岛中将路过奉天，张作霖又趁机前往拜访，他向福岛流露出对奉天将军张锡銮的不满，表示愿按日本的指示行动。不久，他又访问满铁公所长佐藤安之助中佐，说：“本省和贵国的关系最为密切，作为本省人民的代表，我和冯德麟与日本代表福岛都督，来决定本省大事，我相信是不困难的。”张作霖的言行，赤裸裸地表现出他要称霸奉天的欲望，表现出他对日本人的投靠。但是这个时候，他还不敢表示独霸，因为冯德麟是张作霖的“绿林”老前辈，又是老亲日派，张作霖不能不有所顾忌。
落合、佐藤都把张作霖的言行详细地报告给了日本外务省和参谋本部，并向日本政府建议要充分利用张作霖。日本人对张作霖的亲日自然有好感，但张作霖的资历尚浅，而在东北可供日本利用兴风作浪的力量或对象有宗社党，有冯德麟等，因此对张作霖的作法没有明确表态，有关东北问题的交涉也未和张作霖直接交往，而是与袁世凯、张锡銮进行。
１９１５年１０月，在全国人民反对“二十一条”的反日运动刚过不久，张作霖便假借参观日本在朝鲜召开所谓“始政纪念博览会”的机会，前往汉城，会见朝鲜总督寺内正毅，向寺内表述中日亲善，表述满洲和日本的关系，表白自己的亲日态度。这次朝鲜之行给寺内留下了深刻印象，引起了日本统治集团的极大重视。
然而，日本侵略集团内部对于在东北是否支持张作霖还存在分歧，因而没有把他作为主要的支持对象，当时，不少日本人主张继续利用宗社党搞“满蒙独立运动”，使东北脱离中国而“独立”。
袁世凯称帝后，这些人趁机在中国东北策动了“第二次满蒙独立运动”。日本参谋本部、日本关东都督及日本浪人川岛浪速等积极支持宗社党，并策动与宗社党密切勾结的蒙匪巴布札布来实行他们的“满蒙独立计划”。但日本参谋本部次长田中义一、日本外务省、日本驻奉总领事却竭力主张利用张作霖，两派之间各自活动，互相争斗。
支持宗社党的一派在川岛浪速指挥下于１９１６年３、４月间，纠合宗社党，拥护肃亲王，叫嚣“讨袁复清”，企图在东北组织傀儡政府，复辟清王朝。因而，对于积极参加袁世凯称帝活动的“机会主义”的张作霖深为不满，决定用“非常手段”杀他，然后乘乱杀入奉天城，使满洲成为宗社党的天下。
１９１６年５月中旬，日本土井少将在奉天满铁附属地内，召集人员密商干掉张作霖的计划，决定由伊达顺之助、三村预备少尉等组成的“满蒙决死团”执行这一任务。
５月２７日，日本关东都督中村雄次郎到奉天“访问”，张作霖率部下汤玉麟等乘５辆俄式马车赴车站迎接。会见中村后，归途经过小西边门里时，日本派出的刺客陆军少尉三村丰等由一楼窗口投出了炸弹。但因刺客紧张，只炸伤了汤玉麟和一些随从卫士。张作霖急中生智，飞身上马，弃车狂奔，并在马背上与卫士互换上衣，直奔军署。
当奔马驰经大西门里附近的奉天图书馆时，又有刺客从图书馆门洞里投出炸弹，因为张作霖策马急驰，炸弹只碰掉了张作霖的帽子，投弹人却被当即炸死。张作霖快马赶回军署，尚未来得及更换衣服，奉天的日本铁路守备队已经派人赶来“慰问”。张作霖神色自若地接待了他们，使他们不禁暗自称奇。
这次奉天炸张事件，是日本人第一次谋杀张作霖的事件，日本人却造谣说，暗杀行动是宗社党干的。对此，张作霖故作不知，也不予深究，因为他要继续讨好日本人。
一个多月后，日本人操纵蒙匪巴布札布与宗社党串通一气，从海拉尔南下窜扰，与大连的宗社党头子肃亲王遥相呼应。
既然巴布札布威胁自己的统治，张作霖便毫不客气地派洮辽镇守使阻击巴匪，而后又派冯德麟的二十八师五十五旅进驻郑家屯大败巴匪。日本人见巴匪溃败，急派一大尉至二十八师五十五旅，声称南满铁路附近不得开战，以阻止他们追击蒙匪。８月１３日，进驻郑家屯的日军，借日本商人与华童吵架这一微不足道的事情，杀入中国团部，挑起中日军事冲突，即所谓郑家屯事件，使中国军队不得追击蒙匪，从而蒙匪乘隙逃脱。
面对日本人的挑衅，张作霖奴颜婢膝，派日籍顾问菊池武夫到郑家屯、郭家店与日方疏通，答应只要蒙匪退兵，奉军不予追击。
而日本借郑家屯事件掩护蒙匪退却时，又无理地向北京政府提出种种侵害主权的要求，要求严惩二十八师有关将校，要求在必要地点增设日本警察官，要求军队中聘用日本顾问。这些无理要求，激起东北人民的愤怒，奉天省议会、奉天师范学校与其他各界群众，召开大会抗议，并到奉天省公署请愿，师范学校还组织了抗日铁血团。张作霖畏日如虎，对东北人民却是头狼，他大发雷霆，呼叫卫队传令二十七师，包围奉天师范学校，捉拿铁血团分子，并向日本道歉，赔偿日本“损失”，惩办与郑家屯事件有关官兵。
郑家屯事件的“妥善”处理，是张作霖任奉天督军后的第一次直接对日交涉，张作霖的做法深得日本主子的欢心。
１９１６年１０月，寺内正毅上台组阁力主支持张作霖。寺内一改前任大隈重信赤裸裸的侵华手段，转而采取较为隐蔽的手段：对北京政府，决定以大借款的方式攫取中国的权益；在东北支持张作霖的“统一东北”，推行日本的“大满鲜主义”。
老相识寺内上台，张作霖喜出望外，他对日本顾问菊池武夫说：“我对日本在满蒙有特殊地位一点十分了解，对日开发满蒙之事……抱欢迎态度”，并表示要“一意和日本提携，维持东三省及东蒙的安宁秩序。”回国后任内务大臣的后藤新平在考察了东北的各种势力后，认为宗社党不得力，而认为日本极有必要利用张作霖。后藤说：
“张作霖在满洲有一种特别之地位，他并无特别官历，也与中央政府无密切因缘。其心中惟有权势利欲，别无何等经纶。且张认为日本在满洲有绝大权力，知背日本之不利，而顺日本之有益。若利用有如此地位，和有如此思想之张作霖……满蒙之事，日本皆可横行无阻。”
此后，日本对张作霖的支持显著加强。张作霖夺取东北霸权的每一步，都与日本的支持密不可分。
张作霖在“统一”奉天军政过程中，所遇到的严重阻碍，是老亲日派冯德麟的反抗，他因为害怕得罪日本方面，所以对冯委曲求全，迟迟不敢动手。经菊池武夫向日本疏通，日本外务大臣本野一郎致电驻奉总领事赤冢，让他转告张作霖：“帝国政府对张作霖的立场充分同情”，并告诉张，如果他对冯德麟采取行动，日本“决不加妨碍”。得到了日本方面的许可和支持，张作霖才对冯德麟采取军事行动。
张作霖为了把自己的势力从奉天扩展到东北三省，就在吞并了黑龙江之后，又与吉林军阀孟恩远刀兵相见。在奉吉争斗一触即发之际，日本帝国主义在长春制造了宽城子事件，支持张作霖的吞并行动。
宽城子是长春旧名，地处长春北部，吉军的一个团驻宽城子以北，禁止行人通过。但长春车站站长日本人船津不顾哨兵阻挡，强行通过，引起相互斗殴。事后，船津奔赴长春日本兵营求援。日军马上开到吉军营地，接着又从公主岭、铁岭调来大批军队，挑起军事冲突，双方各有死伤。日本以此为借口，提出无理要求：
要长春驻军退出三十里外，等到督军问题解决即免去吉林督军之后再返回驻地。在日本的威胁下，段祺瑞政府下令免去孟恩远、高士傧职位。但高士傧不服，扬言“不惜以生命相赌，讨伐奉军，如其失败即归绿林，扰乱东三省”，并招集土匪密谋反对张作霖。高士傧决心虽大，但其部下却投诚的投诚，被收买的被收买，溃散的溃散，终于心有余而力不足，不得不在孟恩远的劝说下停止反抗。
孟恩远用长途电话向张作霖表示交出吉林政权，张作霖喜出望外。后来孟恩远路过奉天时，张还特地为孟“设宴压惊”。在日本人的支持下，张作霖轻而易举地得到了吉林。
１９１６年张作霖任督军后不久，在对日谈判中曾说，日本要求矿山、土地等问题，“不用北京政府的许可，我就有有效的许可办法”。张作霖的办法，实质上就是暗中损害东北的权益，让日本光干不说地进行。同年４月，在张的许可之下，日本的“满铁会社”以“振兴铁矿无限公司”的名义，控制了著名的鞍山铁矿。张作霖的老朋友、老牌汉奸于冲汉当上了挂名总办，为日本效力。
关于土地“商租权”的问题，是日本在侵华“二十一条”中向袁世凯提出的侵害中国主权的要求，其内容是日本人在“满洲、东部内蒙古”可以自由租买土地。对此和整个“二十一条”，袁世凯后的北京政府一概不承认，张作霖却敢冒天下之大不韪，私下承认“商租权”。
“二十一条”中的第五条是要求中国聘用日本人作军事顾问和警察顾问等，对此，袁世凯都不敢承认，但张作霖在东北却私自承认并加以实行。在辽源、奉天等地均有日本警察顾问，菊池武夫、町野武马、本庄繁等是张作霖的日本顾问，每当对日交往棘手之际，他往往要求教于日本顾问。张作霖把町野当作亲信，每年必定派他去日本一次，联络朝野要人。日本顾问成为日张勾结的重要纽带，而这些顾问其实都是日本的坐探，他们的所作所为，可想而知。
张作霖不仅出卖东三省的白山黑水，还竭力镇压反日爱国运动。
１９１８年５月，中国青年学生为反对段祺瑞与日本签订的中日共同防敌协定，掀起了反日、反段斗争，东三省留日学生返回奉天组织铁血团、殉国团进行反日活动。张作霖竟下令禁止旅馆收留学生，诬蔑学生“扰乱治安，有碍邦交”。
五四运动爆发后，张作霖公开致电挽留卖国贼曹汝霖、陆宗舆、章宗祥，公然指责学生“白昼行暴”，为日本帝国主义辩护。如此公开地站在日本侵略者一边，毫无民族气节，极力反对和镇压爱国运动，在全国都是首屈一指的。故而日本主子对张作霖颇为满意，对张“能防患于未然”，深表感激，并让驻奉总领事向张作霖当面致谢。
１９２０年１０月，延边地区发生了珲春事件，即朝鲜爱国者与延边朝鲜族、汉族同胞相互团结反抗日本侵略者的事件。他们焚烧了珲春的日本领事馆，又烧了日本侵占的市街。日本帝国主义者无视中国主权，公然出兵一万多人向延边和珲春地区进犯，并无耻地要求中国出兵配合镇压爱国群众。张作霖得到主子的命令后，表示作为东三省巡阅使有尽力协助日本镇压延边抗日人民的责任。于是派兵３２００余名，又派顾问町野武马到吉林，会同鲍贵卿围剿延边人民。
张作霖自以为抱着日本人的大腿便可相安无事，一直做他的东北王了，谁知未等人民群众斗争的烈火焚毁他，日本人便一脚把他蹬开了。
张作霖一向唯日本马首是瞻，但随着张在中国处境的日益不妙，日本人图谋中途换人。日本人想利用张作霖控制北京政府，攫取更大权益，而张则企图利用日本人巩固北京政府，二者产生矛盾。
蒋介石和汪精卫相继叛变国民革命之后，日本帝国主义者感到张作霖已经无力维持自己的统治，于是准备直接动手，干涉中国革命，以保护自己在华的利益。
这时，日本本土爆发了严重的经济危机，以“中国征服派”闻名的田中义一上台，主张对华采取“强硬外交”，于是爆发了济南惨案，日军出兵山东阻止蒋介石北上。此举果然动摇了蒋介石北上信心，于１９２７年８月１３日宣布下野，９月即偕亲日派张群亲赴日本会见田中，乞求田中的支持。
日本田中内阁在出兵山东的同时，着重研究了对张作霖的策略。６月间，日本外务省亚洲局局长木村向日本外务省提出了一份有关中国时局对策考察的报告，这份报告详细地分析了张作霖的处境，提出了日本对张的策略。
报告认为“对华北尤其是对满蒙，因为与日本有密切接壤的利害和为东亚的安宁起见，从帝国的立场来看，必须讲求确保政局安定的对策”。日本“对满蒙问题，不能像火灾中的小偷似的，攫取一两件权利”，“其先决条件首先是在相当时期内，保持该地区的安定。因此，总是以张作霖为惟一支持的目标，是极为短见的，而且是颇不策略的”。这是因为从张作霖的现状来看，他在中国国内各政治家、各团体、各军人中间已没有威信，“现在恢复他的愿望，不过是空想”。报告说，在这次中国大变革时期，日本朝野必须考虑的重要问题应该是：
“及早把张作霖的一身沉浮和帝国在满蒙特殊地的维护，加以截然区别考虑，并付诸实行的时机已经到来。即鉴于现在张之苦境，我们只要不予援助，他的自我消亡已是时间问题，……必须抛弃和他生死与共的想法，……为此，对他不但要绝对不予援助，必要时对他施以相当压力，也在所不辞。”
报告中还对张作霖下场的几种形式作了预测，并设想将来以王永江或杨宇霆为日本在东北的代理人，等等。这份报告明确地提出了要抛弃张作霖的建议。
同年夏天，田中又“赠张作霖人型一具”，暗示他：“汝为小孩，须从吾命，若不从者，我可玩汝于股掌之上。”另外田中又派山梨大将以首相特使身份来华，“劝张作霖退隐”。上述事实表明，日本田中内阁已决定采取卸磨杀驴或使其完全傀儡化的对策。
１９２７年６月，日本首相田中在外相官邸召开了所谓东方会议，其目的就是“使满洲脱离中国本土，置于日本势力之下”。东方会议之后，日本立即采取措施，乘张作霖还掌握北京政权之机，向张索取满蒙权益。为此，田中内阁先后派遣日本驻奉总领事吉田、驻华公使芳泽谦吉、满铁总裁山本条大郎等，用软硬兼施的手段，对张作霖展开了索取满蒙权益的交涉，交涉的主要内容是日本在东北铁路修筑权和履行郭松龄反奉时张作霖与日本签订的密约。
日本帝国主义提出的这些要求，并非从东方会议后开始的。此前日本已对张施加压力，但张对日本的要求，或推托，或拒绝，不愿完全按日本意图行事。张作霖随着自己势力的发展和扩大，日益感到自己的一举一动都受到日本的约束，动辄受日本的“劝告”是件苦恼的事；同时又感到，在未入关之前非依靠日本不可；入关后控制北京政权，单靠日本的支持是不够的，也要争取美英等国的支援，以便“以夷治夷”。此外，国内日益高涨的反帝浪潮，也使张作霖不敢轻易答应日本的侵略要求。张作霖的这些行为使日本大为不满，为了防止自己权益的丧失，日本人在张作霖的统治即将瓦解之际，更加快了对东北权益的掠夺。
在“满蒙交涉”过程中，日本采取的第一步行动是派态度蛮横的驻奉总领事吉田茂向奉天当局直接施加压力。１９２７年８月，吉田茂会见奉天省省长莫德惠，狂妄地要求莫德惠接受日本的要求。这时，由于日本出兵山东，召开东方会议和索取东北权益的侵略行径，激起了全国人民的愤怒，使人民的反帝斗争的矛头集中指向日本。在东北，久受日、张压迫的人民，也迅速掀起了反抗斗争，斗争扩展到各个阶层，遍及东北各大城市。８月下旬，奉天省议会开始协商反日办法，这一切为莫德惠抵制吉田茂的无理要求提供了一面很好的盾牌，使吉田在奉天的交涉不得不陷于中断。
日本当局看到与东北地方交涉无甚结果，决定派驻日公使芳泽谦吉在北京与张作霖作直接交涉。
芳泽带着田中亲笔书信及所赠礼物面交张作霖，向张提出了“满蒙党书”（党书即备忘录），要求解决一切“悬案”。张作霖假装糊涂，说他不知详情，让芳泽与杨宇霆交涉。芳泽走后，张作霖马上在“帅府”召集会议，商量对策，在场的人都赞同由地方去直接交涉，以便留下缓冲余地。于是，杨宇霆向芳泽提出这个意见，并希望芳泽转告吉田茂收敛自己的脾气，以利于谈判。芳泽深知东北地方当局一切唯张作霖的命令行事，与他们的交涉，只能是浪费时间，因此只想在京与张直接交涉。这时，东北人民又再次爆发了反日运动，为张作霖提供了一面很好的挡箭牌，结果日、张交涉又陷于停顿。
但日本侵略者与张作霖的交涉并未停止，田中内阁鉴于中国人民反日运动的兴起和考虑到张作霖对日表面强硬，暗中屈服的特点，于８月上旬密派山本条太郎（即将上任的满铁总裁）直接与张秘密谈判。山本一改吉田茂强硬交涉的做法，企图用其他办法促使张解决“满蒙”悬案。为完成任务，山本选用了两名助手：一是与张作霖私交很深的中国通——中日实业公司的江藤斗二，此人可以自由进出张作霖的内室，一是张作霖的顾问町野武马。
町野和江藤在北京和张作霖交往，不断向张吹捧山本，并拿出山本提出的“东北铁路方案”与张作霖私下商谈。张作霖开始不大同意，但经不住町野、江藤二人的威逼利诱，软磨硬缠，张作霖提笔在记载着铁路线的文件上圈了四条铁路。江藤说：“我们可以放弃两条，请再圈一条，共留五条吧。”张说：“在我不了解的地方修铁路，是无法约定的。”江藤说：“五十步和百步的区别嘛。”无奈，张作霖又拿起笔圈了一条，这时，张作霖忍不住说道：“这只是预备性的协商，请暂且不要发表。”
江藤在事后去大连向山本汇报情况，山本问他：“有希望吗？”江藤说：“大概能成。”山本为了探听张作霖的虚实，决定派自己的妻子亲到北京拜访张作霖。于是，满铁派专车送山本夫人到北京游览，张作霖闻讯，派自己夫人主持欢迎，并派专车前往迎接。随后设宴招待山本夫人，其款待之情“是史无前例的”。山本听到这一消息后，认为他亲自前往北京结束交涉的时机已到。
１０月１０日，山本到了北京，随后与张作霖订立了所谓“满蒙五路协约”。同时，为了收买反对者，山本送给张作霖５００万元。至此，张作霖终于在日本的压力下和日本签订了出卖中国东北路权的密约。
日本田中内阁在向张作霖索取东北主权时，又在东京和前来日本求援的蒋介石进行了秘密谈判。蒋介石在取得田中“日本绝不援助张作霖”的承诺后，承认了日本在“满蒙”的特殊地位。
蒋介石在取得日本的谅解，特别是取得美国的支持之后，于１９２８年１月，重任“北伐军”总司令，决定北攻张作霖。同年４月，他和冯玉祥、阎锡山、李宗仁等新军阀，组成一、二、三、四集团军，对张作霖发起了进攻。在蒋冯联军的进攻下，山东的张宗昌节节败退，丢失了济南，张作霖见势不妙，令奉军仓皇后退，北京政权已危在旦夕。
但这时，张作霖并不想退出关外，放弃他赢来的北京政府。于是故技重施，于５月９日发出了“息争议和”的通电，重弹“凡属讨赤者，虽敌为友”的老调，幻想停战议和。同时，派代表到南京与蒋介石商讨联合问题。一个明送秋波，一个暗抛媚眼，你来我往，一场蒋张联姻之戏似乎就要在１９２８年的中国政治舞台上演出。因为冯玉祥与奉系结怨甚深，绝不同意联系，蒋介石只有作罢。
日本人的目的是逼张作霖承认其在东北的权益，一再逼张作霖回东北，张作霖一心留恋北京。日本人准备除掉他，方案有二：一是在北京刺杀，二是在皇姑屯炸车，结果选择了后者。
当时，张作霖不但与蒋介石勾勾搭搭，而且向美国大献殷勤，幻想求得美国的支持。奉张的联美活动，引起日本的极大不满，也成为后来皇姑屯事件的导火索之一。
当国民党军队逼近京津时，日本惟恐战乱波及满洲，一面增兵青岛，威胁南军北进；一面对张作霖施加压力，逼迫张作霖及早离京，避免战火由关内烧到关外，威胁到日本在东北的权益。
５月１７日晚，为逼张退回东北，日使芳泽会见张作霖，与张谈至深夜。芳泽说：“大势已经如此，为使战乱不波及京、津，收拾军队撤回满洲以维持治安对奉天派是万全之策。”张作霖怎么肯听从芳泽的劝告而轻易放弃北京政权呢？因此非常不高兴，拒绝了芳泽的要求。芳泽仍然不肯罢休，继续追问道，你们能打过北伐军吗？张作霖说，如果打不过他们，我们可以退回到关外。
张作霖
芳泽却不怀好意地说了一句“恐怕未必回得去吧”。张作霖生气地说，关外是我们的家，愿意回去就回去，有什么不行呢？芳泽看到张作霖并未被这些话所吓倒，就进一步采取威胁手段，警告说：“帝国政府为维持满洲治安计，不得不取适宜且有效之措置”，并乘机向张索取“满蒙”权益。不仅如此，他又向张威胁说：“张宗昌的兵在济南杀死几十名日侨，你对此应负一切责任。”
这一连串的威逼，使张作霖勃然大怒，从座上站起来，把手里的翡翠嘴旱烟袋猛力地向地下一摔，磕成两段，声色俱厉地冲着芳泽说：此事（指张宗昌杀日侨事）一无报告，二无调查，叫我负责，他妈拉巴子的，岂有此理！他说完之后，就扔下愣在一边的芳泽，怒气冲冲地离开了客厅，三个多小时的会谈就这样结束了。
那时，张作霖本想借日本的武力留在关内，但是对日本的逼迫行径大为反感，干脆拒绝日本的“警告”。而且，这时全国人民的反日浪潮使张作霖感到：在这种形势下回到东北，做日本的傀儡，日子是不好过的，因而不愿接受日本的要求。
日本见张不听摆布，对他继续施加压力，警告他：如果不听劝告，等到失败后回到东北，就要解除他的武装。同时，日本关东军也开赴战略要地。在这种形势下，张作霖大势已去，不得不表示离开北京退回关外。
５月３０日，张作霖召集张作相、孙传芳、杨宇霆、张学良举行会议，决定下总退却令。６月１日，张作霖邀请外交团到元帅府，在怀仁堂与外交团告别。在致词中，他以极悲痛的语句道出自己被迫出关的无奈与沮丧。
张作霖虽然宣布退出北京，但决不甘心放弃既得的统治地位。在离京前，他命许兰洲将安国军大元帅府的印、旗，国务院的印信，外交部的重要档案全部运往关外，并下令一切重要命令，仍由他（大元帅）的印盖印发布，想在关外遥控北京政权，有朝一日再卷土重来。
张作霖退出北京之前，日本已经策划了对付他的办法。当时，在日本内部有两种意见，一种以土肥原贤二、松井七夫等人为主，主张解除张作霖败军的武装，逼其下野，以杨宇霆代之；一种是关东军司令官村冈及其高级参谋河本大佐，积极倡导除掉张作霖。前者较为温和，后者较为激进，但无论温和还是激进，抛弃张作霖却是殊途同归。最终，他们选择了日本关东军的方案。
村冈司令官和河本大佐谋杀张作霖的计划本来是一个目的两种方案。在张作霖出关的前几天，村冈与河本正在为谋杀张作霖而各自活动。村冈密派竹下义晴少佐到北京组织刺客。竹下受命后，从司令官室退出来时，在走廊上遇见了河本大佐。他对河本说：“现在要去北京。”说话时神色不太自然，河本察觉到竹下表情有异，认为必有要事，很想探听到真情。于是对竹下说：“去京是今天晚车……上车前我们一起吃点饭吧。”
随后他就把竹下少佐领到沈阳十间房“招待所”的一个“绿”字号的客间里。吃饭时，竹下在河本的追问下，泄露了到北京杀张的计划。当时河本等正准备炸张，于是对竹下说，在北京刺张太危险，失败后将由个人负责，又表示关切地说：“我不能让你去，还是我替你干吧。”让竹下照样去北京，但去北京的使命由杀张变为侦察张作霖的行动，尤其是把张退出关外的时间坐的火车准确通知他，并表示愿意承担一切责任。这样，在关东军内的两个谋杀计划嫁接成功，合二为一了。
日本关东军参谋部的人员在河本大佐的亲自指挥下，事先在离沈阳一公里半京奉路和南满路交接点皇姑屯车站布下所谓“必死之阵”；在铁路交叉点里埋置了３０麻袋黄色炸药，在五百米外的瞭望台上用电气机控制触发爆炸；在交叉点以北装置了脱轨机，在附近又埋伏了一排冲锋队，以备万一。这时，万事俱备，只欠张作霖专列的到来。
在张作霖决定回奉的前几天，奉天宪兵司令齐恩铭曾有密电到京，说老道口（南满路与京奉路的交叉点）近日被日方封锁，恐怕有什么行动，希望张作霖防备。但一生机警的张作霖，却对这生死攸关的消息丧失了应有的警惕，不以为然。他虽然也曾想坐汽车取道古北口出关，但最后因怕公路坎坷不平，仍决定乘火车离京。他也“故布疑阵”，一再改变行期，最后决定６月３日离京。
在张离京前夕，日使芳泽仍去纠缠张作霖，逼他正式履行日张密约的手续。张作霖对于这种趁火打劫的行为，非常气愤，在办公厅大声骂道：“日本人不够朋友，竟在人家危急的时候，掐脖子要好处。”拒绝在芳泽送来让他签字的文件上签字。这时，日、张关系已非常紧张，张的随身官员都有一种惴惴不安的预感，惟恐出事，有的还私下准备了药布、饼干，以备万一。
６月３日夜间，张作霖出帅府西门，乘黄色的钢制汽车出发，汽车在警戒严密的夜色中开往车站。张学良、杨宇霆、孙传芳等都带着沮丧的表情前来送别，月台上明亮的灯光照射在卫兵的刺刀上，反射出炫目的光芒，气氛森严却又沉闷。张作霖在告别时，故作镇静愉快，可当他踏上火车，向中南海方向回顾时，眼里却异乎寻常地泛出泪花，他是多么的留恋自己曾得到的北京政权啊！随行回奉的除了“大元帅府”的官员及卫队外，还有张作霖的六姨太和三公子学曾以及日籍顾问町野等。
专车是慈禧太后乘坐过的花车，共２２节，张作霖乘坐的包厢在中间。当专车到达天津时，日籍顾问町野在天津站下车，但这也没有引起张作霖的警惕，仍然走向死亡之路。专车预定４日午前３时３０分到沈阳，误点两个小时。沈阳车站已有上千名军警警戒，恭迎张的大驾。
１９２８年６月４日当专车开到皇姑屯附近时，早已埋伏好的日本关东军东宫大尉一按电钮，预先埋下的炸药全部爆炸，张作霖所乘的蓝色铁甲车被炸得粉碎，车身迸出三四丈远，只剩下两个车轮。张作霖身受重伤，他的六姨太受炸身亡，未死的随从在附近找到一辆结婚汽车，强行将新娘赶出，张作霖在齐恩铭的扶送下，坐汽车回到“帅府”。此时，张已奄奄一息，对他的老婆卢夫人说：“我受伤太重……恐怕不行啦……叫小六子（张学良）快回沈阳……”，说完就死了。
张作霖被炸后，日本关东军司令部为掩盖事实真相，按预先计划，立刻调动工兵赶修铁路被炸的部分，并且逮捕了十多名无辜的中国居民，诬陷为国民党北伐军谋杀犯。他们还专门杀了两名中国人扔在肇事地点，口袋里塞上伪造的北伐军的信，以便混淆视听。这两名被杀者是沈阳车站的小工，因吸食毒品，被日本警察抓去，拘留在一处，先给他们剃头洗澡，然后换上衣服，给他们吃好的。住了几天后，忽然把他们叫出来，带到南满铁桥附近，然后把他们处死于路旁，装成炸车的凶手。
日本关东军在制造皇姑屯事件之后，又在沈阳制造了一系列事端，企图引起东北混乱，挑起军事冲突，乘机占领东北，他们甚至还想谋杀张学良。日本帝国主义者的阴谋诡计当即为奉天当局识破，为稳定局势，防止日本乘机举动，决定对张作霖的死，密不发丧。６月６日，奉天公署发表通电称，在皇姑屯爆炸事件中，“主座身受微伤，精神尚好”。
除此之外，元帅府的厨房每日照常为张作霖准备饭菜，杜医官天天到帅府上假装换药并填写医疗经过和处方，以瞒过日本人的窥探。日本方面大起疑心，不断派人慰问求见，都被婉言谢绝。一次，日本派本庄繁夫人与林权助总领事夫人以慰问为名，突然到元帅府拜访张作霖的五姨太。五姨太盛妆出来招待，谈笑依旧，找不到一丝漏洞，元帅府内外也一切正常，毫无变动，两夫人只得悻悻而归。直到张学良回奉，日本才知道张作霖早死了。
张家墓园
张学良接到其父被炸的消息，当即秘密化装返沈。在惊恐中到达奉天，当即在父亲灵前痛哭失声，对日本侵略者恨之入骨，发誓要报仇雪恨。为稳定局势，他决定６月２１日为父亲发丧。发丧时，日本政府故作镇静，特派林权助前来吊祭，还想拉拢张学良。但张学良内怀国仇家恨，拒绝日本的劝说。随后，在美国人和蒋介石的劝说下，改旗易帜，服从了南京政府。河本暗杀张作霖，原是为了引起东北政局的混乱，然后乘机独占东北，却无意中帮了蒋介石一个忙，促成了南北的统一！
