Тут хочется отметить, что выражение «с изюминкой» употребляется не только по отношению к людям, но и к неодушевленным предметам.
Кто-бы мог подумать, что «изюминка в человеке» появилась благодаря квасу!

Например, можно сказать: «Я люблю читать произведения Толстого, потому что они всегда с изюминкой».
Кстати, именно Лев Толстой подарил нам «изюминку» – ту самую пикантную деталь, которая придает ощущение остроты и необычности. Именно он впервые употребил выражение «женщина с изюминкой» в своей драме «Живой труп», в которой Протасов жалуется на свою семейную жизнь и объясняет, чего именно ему не доставало в образе его жены.
«Моя жена идеальная женщина была...Но что тебе сказать? Не было изюминки. Знаешь, в квасе изюминка? — не было игры в нашей жизни».
Квас и изюм – вещи очень даже совместимые
Наверняка найдутся среди нас те, кто слышал русскую пословицу «не дорог квас, дорога изюминка в квасу». По-видимому, именно ее взял за основу своего выражения Лев Толстой.

А родилась пословица ведь не на пустом месте. По сей день, чтобы приготовить вкусный квас, советуют добавлять в него несколько ягод изюма, которые никак не повлияют на вкус, зато ускорят процесс брожения. При разливе изюминки попадают далеко не в каждую кружку кваса, и потому их присутствие может считаться особенным.
Возможно, именно поэтому в наши дни изюминка означает чью-либо особенность, выделяющую ее обладателя из всех.