“为了工人大众的事业，各国人民必须团结一致，对付我们共同的敌人！”“我们要团结起来解放自己！”
这是1864年9月28日，伦敦圣马丁教堂里工人们互相发言的热烈场面。
原来，这里正在举行集会，声援波兰人民反抗沙皇统治的斗争。会议大厅里挂满了许多国家的国旗。
当时，也来出席大会的马克思看到这种场面非常高兴，他感觉到，有必要把全世界的工人无产者联合起来，组成工人联合组织，以便更好的开展工作。
这次大会就是英国工人联系法国工人而召开的，英法工人率先发言，鼓励倡导大家团结起来，共同斗争。
这标志着工人运动已进入一个新的发展时期，建立国际工人组织的时机已经成熟。
在马克思的支持下，各国工人一致要求，大会成立了“国际工人协会”即“第一国际”，还选举成立了其领导机构——中央委员会，后改称为“总委员会”，马克思当选为总委员会委员，担任德国通讯书记。
大会委托马克思起草纲领和章程，在起草之前，还有一段不小的风波。
本来，大会决定由总委员会领导起草纲领和章程，马克思因为有病而未能参加，这样，各国代表之间便产生了严重的分歧。
英国代表起草纲领时，把改善工人的地位放在首位，要求工人阶级为了经济利益而斗争，而意大利代表则要求把意大利工人协会的章程作为第一国际的章程，甚至提出要成立一个以意大利人为首的“欧洲工人阶级中央政府”，这明显是偏向于意大利的工人，会在第一国际中造成不和，甚至分裂。不管是英国或意大利代表，他们所提出的问题都是围绕经济利益，而没有涉及到工人阶级所迫切要求的政治地位问题，而工人的政治利益才是最根本的利益，有了政治地位作保障，其他一切问题都好解决。
德国代表看到这么多不同意见，便写信把情况告诉马克思，马克思接到信后，立刻意识到，这样下去会产生严重问题，会背离组建第一国际的实质与意义。所以，10月18日，马克思带病来参加会议。
总委员会又经过长时间激烈的争论，于10月20日作出最后决定，由马克思负责对文件作具体的修改。
于是，马克思不顾疾病缠身，严肃认真地把所有文件进行审阅、修改。经过七昼夜的辛勤劳动，马克思于10月28日，向总委员会提交了修改后的文件。文件共有两份：《第一国际成立宣言》和《第一国际共同章程》。
总委员会在随即召开的全体会议上，一致通过了马克思修改后的《成立宣言》和《共同章程》。
《成立宣言》是第一国际的纲领性文件，它对国际工人运动的要求十分清楚，它说：“夺取政权已成为工人阶级的伟大使命。”国际工人阶级要团结起来，形成一支强有力的队伍，只有这样，才能最终战胜资产阶级。工人阶级也只有团结在自己的组织周围，才能促进国际工人运动的发展，赢得自身的解放。
第一国际成立之后，立刻组织各国工人开展运动，掀起了国际工人运动的高潮。如1866年英国裁缝工人大罢工，1867年法国青铜工人大罢工，1868年日内瓦建筑工人大罢工等，这些斗争，在第一国际的有力支持下，都取得了胜利。第一国际在支持各国工人反对各国资产阶级，争取自己应有的权益的同时，也在同各种机会主义者作顽强的斗争。这些斗争主要有与普鲁东主义和巴枯宁主义的斗争。
普鲁东主义的代表人物是普鲁东，是一个无政府主义者的典型代表，他主张取消国家、取消政党，实现个人的绝对自由，不受任何约束。这种想法说透了，就是要求世上所有的人，想干什么就干什么。这种主张明显是在捣乱，也是根本行不通的。但是，真是萝卜白菜，各有所爱，这种无政府主义思想居然在法国、西班牙、意大利等国家有不少信徒，不少人在为之摇旗呐喊。
本来，普鲁东在世界各地捣乱，还没有形成什么气候，也就算了，可是，他居然找到了第一国际来捣乱，这就使第一国际的领导们不能视而不见了。
1864年秋，普鲁东趁人不备，加入了第一国际，到1865年1月，他就死了。他虽然死了，可是，他的信徒却有不少也偷偷摸摸地混进了第一国际，而且已经形成一股不小的势力，到处捣乱。有时还试图夺取第一国际的权力，用他们的无政府主义思想改变第一国际的性质。
如1865年9月，第一国际代表会议在伦敦召开，会议刚一开始，就有不少人违背第一国际的纲领，如第一国际要组织工人斗争，他们说，那没有必要！各国有各国的情况，无法指导，更无法组织等。第一国际要援助波兰工人反对俄国沙皇统治，他们又说，那是波兰工人自己的事，第一国际没有必要去把这件小事列入议事日程等。
第一国际总委员会的委员以及第一国际的其他代表们感到奇怪，为什么这些人专门和大多数代表们的意见相对抗？经过调查了解后，委员们知道了，这伙人都是法国第一国际支部派来的，他们都是普鲁东主义者。
认清了他们的身份与目的，马克思对他们作了尖锐的驳斥。马克思指出，各地工人阶级的斗争，是第一国际总行动的一部分。第一国际纲领中指明了进行政治斗争的必要性，不进行政治斗争，就无法赢得被压迫的无产阶级的彻底解放。政治斗争是第一国际的主要任务，今后仍然要全力支持各国工人的政治斗争。至于援助波兰工人的斗争，实际上也是第一国际争取民族解放的主要任务中的一部分，第一国际就是要反对专制政府，反对剥削制度，提倡被压迫者的彻底解放，实现人人平等的大同世界。
经过斗争，大会代表一致通过了支持波兰工人的决议。普鲁东主义者失败了。
但象所有失败者一样，普鲁东主义者并不甘心自己的失败，他们在会议上又提出了一个荒谬的问题。他们说，第一国际是工人组织，因此，应该全部由体力劳动者参加，不应该吸收脑力劳动者。他们这样说的目的，是想挤走马克思、恩格斯等人，因为他们都是知识分子。
马克思又痛斥了这种思想，指出排斥一切知识分子就是不要知识作指导，那么，工人运动就会变成蛮干，结果只能是失败。
在全体代表的支持下，普鲁东主义者张口结舌，无话可说，他们中的不少人灰溜溜的溜走了，另有不少人离开了普鲁东主义阵营，来到了第一国际这边。
第一国际所开展的第二个斗争，是与巴枯宁主义的斗争。巴枯宁也是一个无政府主义者，曾参加过奥地利1848年革命，但被捕后三次写信给俄国沙皇，奴颜卑膝地乞求政府宽恕。以后窜到英国。加入第一国际时，把这段不光荣的历史隐瞒了。
1868年10月，巴枯宁在日内瓦背着第一国际，组织了一个“社会主义民主同盟”组织，大肆宣传“废除国家”、“阶级平等”、“主张个人绝对自由”等无政府主义思想，还派人到意大利、西班牙、法国等去建立支部。巴枯宁这样做的目的是想造成强大的声势，提高自身的威望，最后夺取第一国际的领导权。
1868年12月，他还给马克思写了一封信，说了一大堆恭维马克思的话，并希望马克思接纳他的“社会主义民主同盟”所有成员，集体加入第一国际。
马克思接到信后，立即意识到巴枯宁的险恶用心，于是他代表第一国际总委员会给巴枯宁写了一封回信，告诉他，第一国际本身就是一个国际组织了，其内部不能再有一个国际组织。拒绝了巴枯宁的无理要求。
巴枯宁口头表示同意，并“解散”了“社会主义民主同盟”，但他却指使心腹以个人身份，加入第一国际，妄图伺机捣乱。
机会终于来了，1869年，第一国际在巴塞尔召开代表大会，巴枯宁分子便伪造了许多证件，冒充代表，试图取得多数选票，挤走马克思及总委员会主要成员。马克思发现后，立刻予以斥责，并揭穿了他们的阴谋。这样，巴枯宁主义者的捣乱也以失败而告终。
第一国际在斗争中不断发展壮大，更加有力地团结各国工人，支持各国无产阶级的斗争，在世界各国的工人运动中，起到了巨大作用。