孔子自鲁国大司寇的位置离开后，就再也没有从政的机会，开启了颠沛流离的周游列国的流浪的旅程，多次陷入被人围困的窘境，也被人形容为“丧家之犬”。最让孔子郁闷的是，徒弟离开自己都能混个很不错的官当，而自己就是没机会，只能无奈地感叹“河不出图，洛不出书，我已矣夫”，临死时痛苦地说“天下无道久矣，莫能宗予”。这些都能让人体会到，孔子想改变社会却又无处着力的无奈。
仔细研究孔子的传记，不难发现孔子不能实现理想是有原因的。
孔子因贵族出身的缘故，自小能够进入执政者的视野，所以自幼好礼才能被孟釐子高度重视，孟釐子要求儿子孟懿子一定要拜孔子为师。正是由于孟懿子与南宫敬叔拜孔子为师，鲁国国君在南宫敬叔要求与孔子同行时，才会资助孔子车马和仆人前去学习周礼。此外，孔子所有的执政经历都是在鲁国发生的。这都表明，孔子的基础是在鲁国。
反观年轻时在其他国家的遭遇，孔子就比较悲催了：在齐国受到排斥，在宋国、卫国遭到驱逐，又在陈国和蔡国之间被围困。期间，孔子结识了齐景公，后来也多有交集，但在齐国仍没机会。所以，鲁国才是孔子的大本营。因此，孔子后来出走鲁国的行为可算是轻易地抛弃了自己的根本。
孔子出走鲁国，主要原因是堕三都行动引发的与季氏之间的矛盾（参见孔子真实的执政水平是怎样的？）。季桓子急不可耐地接收齐景公送来的美女和好马，又在郊祀的时候不给大夫们分祭肉。孔子认为鲁国君臣无礼以及发出了不用自己的信号，便直接出走了。因为孔子在时将鲁国治理得很好，以及长久的好名声摆在那，所以季氏并没想对孔子下死手的打算，最多会将孔子免职，这点可以从季桓子知道孔子出走后的反应看出来。只是孔子看不下去了，或者说，孔子的脸皮没那么厚，于是出走。但孔子永远想不到的是，自己这一次主动辞职，却再也没有执政和实践理想的机会了。
孔子自鲁国出走后至返回鲁国期间共十四年，在卫国、曹国、陈国、蔡国、郑国、宋国和楚国都待过，而在卫国的时间最长，留下的记述最多。这段时间里，孔子一直得不到重用，甚至几度面临杀身之祸，归结起来是理念不合、利益冲突和无妄之灾。
一、理念不合
孔子再次到卫国时，卫灵公夫人南子以卫灵公的名义召见了孔子。孔子不得已前去拜见，还行了礼，引起子路极大不满，只好对天发誓才算完事。一个月后，卫灵公与南子同行，还让宦官坐在同一辆车，而让孔子坐在后面的车里，一行人招摇过市，使孔子深以为耻，便离开了卫国。孔子又一次回到卫国后，卫灵公虽然亲自出城迎接，但也不予重用。之后，卫灵公询问排兵布阵之事，孔子以没学过为由回避了；第二天，两人谈话时，卫灵公又心不在焉，孔子又一次离开卫国。
孔子不回答卫灵公关于排兵布阵的问题，主要认为卫灵公更该问礼和治国之事，而不是军事问题；其他的则是，孔子认为卫灵公太无礼，不可以共事。像在陈国、蔡国及不见赵简子等都属于理念不合的缘故。因此，孔子在陈蔡之间遭受重大困境之时，才会以询问的方式来安抚弟子们，而子贡同孔子的对话则说明了孔子为何与人理念不合的原因—不肯向现实做出一点让步。
二、利益冲突
孔子第一次到卫国时，卫灵公参照孔子在鲁国的待遇，给“俸粟六万斗”。但不久，孔子就遭人谗言，被卫灵公派人监视，吓得离开卫国。在宋国时就更危险，司马（掌兵权）桓魋厌恶孔子的宋国后裔身和个人能力，便派人下杀手，只是未成功罢了。
孔子在陈、蔡之间就更惨了。大夫们得知孔子接受楚昭王的邀请并要前往楚国的消息后，惧怕孔子当政后会威胁到自己，便直接派兵围困孔子，差点将孔子一行人饿死。所幸，子贡前往楚军军营游说楚昭王派人迎接，然后孔子等人才幸免于难。
三、无妄之灾
孔子前往陈国时，经过一个叫匡的地方，弟子颜刻替他赶车。颜刻用马鞭子指着说：“从前我进入过这个城，就是由那缺口进去的”。匡人听说后，误以为是鲁国的阳虎来了，而阳虎曾经残害过匡人。于是匡人就围困孔子。孔子的模样很像阳虎，所以被困在那里整整五天。
孔子路过一个叫蒲的地方，正好遇上公叔氏据蒲反叛卫国，蒲人还扣留了孔子。弟子公良孺身材高大，有才德和勇力，拼死跟蒲人作战，将蒲人打害怕了。蒲人逼着孔子订立盟约，才放孔子等人从东门出去。而孔子到了卫国就违约，留下一句“要盟也，神不听。”
孔子到达楚国之后，楚昭王想将书社的七百里地封给孔子。孔子此时即将迎来人生中最光明的时刻，但随即便被令尹子西给扑灭了。子西先拿楚国但任使者、辅相、将率、官尹的人员同孔子的弟子们比较，又拿孔子与商武王、周文王比较，认为封给孔子七百里土地对楚国很不利，打消了楚昭王封赏孔子的打算。
昭王将以书社地七百里封孔子。楚令尹子西曰：“王之使使诸侯有如子贡者乎？”曰：“无有。”“王之辅相有如颜回者乎？”曰：“无有。”“王之将率有如子路者乎？”曰：“无有。”“王之官尹有如宰予者乎？”曰：“无有。”“且楚之祖封於周，号为子男五十里。今孔丘述三五之法，明周召之业，王若用之，则楚安得世世堂堂方数千里乎