劳山下清宫，耐冬高二丈，大数十围，牡丹高丈余，花时璀璨似锦。胶州黄生，舍读其中。一日，自窗中见女郎，素衣掩映花间。心疑观中焉得此。趋出，已遁去。自此屡见之。遂隐身丛树中，以伺其至。未几，女郎又偕一红裳者来，遥望之，艳丽双绝。行渐近，红裳者却退，曰：“此处有生人！”生暴起。二女惊奔，袖裙飘拂，香风洋溢，追过短墙，寂然已杳。爱慕弥切，因题句树下云：“无限相思苦，含情对短窗。恐归沙咤利，何处觅无双？”
归斋冥想。女郎忽入，惊喜承迎。女笑曰：“君汹汹似强寇，使人恐怖；不知君乃骚雅士，无妨相见。”生略叩生平。曰：“妾小字香玉，隶籍平康巷。被道士闭置山中，实非所愿。”生问：“道士何名？当为卿一涤此垢。”女曰：“不必，彼亦未敢相逼。借此与风流士长作幽会，亦佳。”问：“红衣者谁？”曰：“此名绛雪，乃妾义姊。”遂相狎。及醒，曙色已红。女急起，曰：“贪欢忘晓矣。”着衣易履，且曰：“妾酧君作，勿笑：‘良夜更易尽，朝暾已上窗。愿如梁上燕，栖处自成双。’”生握腕曰：“卿秀外惠中，令人爱而忘死。顾一日之去，如千里之别。卿乘间当来，勿待夜也。”女诺之。由此夙夜必偕。每使邀绛雪来，辄不至，生以为恨。女曰：“绛姊性殊落落，不似妾情痴也。当从容对驾，不必过急。”一夕，女惨然入，曰：“君陇不能守，尚望蜀耶？今长别矣。”问：“何之？”以袖拭泪，曰：“此有定数，难为君言。昔日佳作，今成谶语矣。‘佳人已属沙咤利，义士今无古押衙’，可为妾咏。”诘之，不言，但有呜咽。竟夜不眠，早旦而去。生怪之。
次日，有即墨蓝氏，入官游瞩，见白牡丹，悦之，掘移径去。生始悟香玉乃花妖也，怅惋不已。过数日，闻蓝氏移花至家，日就萎悴。恨极，作哭花诗五十首，日日临穴涕洟。一日，凭吊方返，遥见红衣人，挥涕穴侧。从容近就，女亦不避。生因把袂，相向汍澜。已而挽请入室，女亦从之。叹曰：“童稚姊妹，一朝断绝！闻君哀伤，弥增妾恸。泪堕九泉，或当感诚再作；然死者神气已散，仓卒何能与吾两人共谈笑也。”生曰：“小生薄命，妨害情人，当亦无福可消双美。曩频烦香玉道达微忱，胡再不临？”女曰：“妾以年少书生，什九薄幸；不知君固至情人也。然妾与君交，以情不以淫。若昼夜狎昵，则妾所不能矣。”言已，告别。生曰：“香玉长离，使人寝食俱废。赖卿少留，慰此怀思，何决绝如此！”女乃止，过宿而去。数日不复至。冷雨幽窗，苦怀香玉，辗转床头，泪凝枕席。揽衣更起，挑灯复踵前韵曰：
“山院黄昏雨，垂帘坐小窗。相思人不见，中夜泪双双。”诗成自吟。
忽窗外有人曰：“作者不可无和。”听之，绛雪也。启户内之。女视诗，即续其后曰：“连袂人何处？孤灯照晚窗。空山人一个，对影自成双。”
生读之泪下，因怨相见之疏。女曰：“妾不能如香玉之热，但可少慰君寂寞耳。”生欲与狎。曰：“相见之欢，何必在此。”于是至无聊时，女辄一至。至则宴饮唱酧，有时不寝遂去，生亦听之。谓曰：“香玉吾爱妻，绛雪吾良友也。”每欲相问：“卿是院中第几株？乞早见示，仆将抱植家中，免似香玉被恶人夺去，贻恨百年。”女曰：“故土难移，告君亦无益也。妻尚不能终从，况友乎！”生不听，捉臂而出，每至壮丹下，辄问：“此是卿否？”女不言，掩口笑之。旋生以腊归过岁。至二月间，忽梦绛雪至，愀然曰：“妾有大难！君急往，尚得相见；迟无及矣。”醒而异之，急命仆马，星驰至山。则道士将建屋，有一耐冬，碍其营造，工师将纵斤矣。生急止之。
入夜，绛雪来谢。生笑曰：“向不实告，宜遭此厄！今已知卿；如卿不至，当以艾炷相炙。”女曰：“妾固知君如此，曩故不敢相告也。”坐移时，生曰：“今对良友，益思艳妻。久不哭香玉，卿能从我哭乎？”二人乃往，临穴洒涕。更余，绛雪收泪劝止。又数夕，生方寂坐，绛雪笑入曰：“报君喜信：花神感君至情，俾香玉复降宫中。”生问：“何时？”答曰：“不知，约不远耳。”天明下榻，生嘱曰：“仆为卿来，勿长使人孤寂。”女笑诺。两夜不至。生往抱树，摇动抚摩，频唤无声。乃返，对灯团艾，将往灼树。女遽入，夺艾弃之，曰：“君恶作剧，使人创痏，当与君绝矣！”生笑拥之。坐未定，香玉盈盈而入。生望见，泣下流离，急起把握。香玉以一手握绛雪，相对悲哽。及坐，生把之觉虚，如手自握，惊问之。香玉泫然曰：“昔，妾花之神，故凝；今，妾花之鬼，故散也。今虽相聚，勿以为真，但作梦寐观可耳。”绛雪曰：“妹来大好！我被汝家男子纠缠死矣。”遂去。香玉款笑如前；但偎傍之间，彷佛一身就影。生悒悒不乐。香玉亦俯仰自恨。乃曰：“君以白蔹屑，少杂硫黄，日酹妾一杯水，明年此日报君恩。”别去。明日，往观故处，则牡丹萌生矣。生乃日加培植，又作雕栏以护之。香玉来，感激倍至。生谋移植其家，女不可，曰：“妾弱质，不堪复戕。且物生各有定处，妾来原不拟生君家，违之反促年寿。但相怜爱，合好自有日耳。”
生恨绛雪不至。香玉曰：“必欲强之使来，妾能致之。”乃与生挑灯至树下，取草一茎，布掌作度，以度树本，自下而上，至四尺六寸，按其处，使生以两爪齐搔之。俄见绛雪从背后出，笑骂曰：“婢子来，助桀为虐耶！”牵挽并入。香玉曰：“姊勿怪！暂烦陪侍郎君，一年后不相扰矣。”从此遂以为常。生视花芽，日益肥茂，春尽，盈二尺许。归后，以金遗道士，嘱令朝夕培养之。次年四月至宫，则花一朵，含苞未放；方流连间，花摇摇欲拆；少时已开，花大如盘，俨然有小美人坐蕊中，裁三四指许；转瞬飘然欲下，则香玉也。笑曰：“妾忍风雨以待君，君来何迟也！”遂入室。绛雪亦至，笑曰：“日日代人作妇，今幸退而为友。”遂相谈咽。至中夜，绛雪乃去。二人同寝，款洽一如从前。后生妻卒，遂入山，不复归。是时，牡丹已大如臂。生每指之曰：“我他日寄魂于此，当生卿之左。”二女笑曰：“君勿忘之。”后十余年，忽病。其子至，对之而哀。生笑曰：“此我生期，非死期也，何哀为！”谓道士曰：“他日牡丹下有赤芽怒生，一放五叶者，即我也。”遂不复言。子舆之归家。即卒。次年，果有肥芽突出，叶如其数。道士以为异，益灌溉之。三年，高数尺，大拱把，但不花。老道士死，其弟子不知爱惜，斫去之。白牡丹亦憔悴死；无何，耐冬亦死。
异史氏曰：“情之至者，鬼神可通。花以鬼从，而人以魂寄，非其结于情者深耶？一去而两殉之，即非坚贞，亦为情死矣。人不能贞，亦其情之不笃耳。仲尼读唐棣而曰‘未思”，信矣哉！”