노래 가사로 그림을 그려보자 with Stable Diffusion

노래 가사를 기반으로 그림을 그리면 어떤 작품이 나올까요? Stable Diffusion(SD)을 이용해 시도해 보겠습니다. 사용한 그래픽카드는 AMD RX 6700XT 12G입니다. 만약 AMD 그래픽 카드에서 SD 사용에 어려움을 겪으신다면, 다음 글을 참고하시기 바랍니다. 

 

AMD GPU의 Stable diffusion 설치 with ZLUDA

Prompt Generation

SD는 프롬프트를 이용해 그림을 그립니다. 따라서 노래 가사를 SD가 이해할 수 있는 프롬프트로 변환해야 합니다. 이 과정에서 생성형 AI를 사용하여, 가사 전체를 기반으로 한 프롬프트를 만들었습니다.

※ 프롬프트 : SD가 생성할 이미지를 설명하는 텍스트 명령어. 프롬프트는 SD에게 어떤 이미지(스타일, 주제, 를 생성해야 하는지에 대한 지시사항을 제공해야 합니다. 

Image Generation

1. 첫 번째 노래는 독립과 자기주장을 강조하며, 해로운 관계에서 벗어나 새로운 길을 찾겠다는 의지를 담고 있습니다.  

A dramatic and intense scene of a person breaking free from a toxic relationship, symbolized by a vibrant and sweet apple being bitten into. The background is filled with swirling emotions and conflicting thoughts, represented by chaotic and dynamic patterns. The figure stands confidently, exuding strength and liberation, with a slight smile indicating the newfound sweetness of freedom. There is a shadowy, demonic figure lurking in the background, symbolizing the toxic lover being left behind. The overall atmosphere is one of empowerment, self-discovery, and the sweetness of moving on from negativity. The colors are bold and contrasting, highlighting the intensity of the emotions and the clarity of the decision to move forward.

어둠의 세계에 있는 여전사 느낌의 그림이 그려졌습니다. 원곡의 느낌과는 차이가 있지만, 그림의 퀄리티는 괜찮은 것 같습니다. 그런데 손에 든 사과는 왜 그린 걸까요?

2. 다음으로 사랑에 빠진 사람이 사랑하는 사람과 함께 있을 때의 감정을 이야기하는 노래입니다. 

Create a dreamy, vibrant illustration inspired by the lyrics of a song about a sweet, romantic relationship. Imagine a scene where two people are surrounded by a whimsical, colorful world filled with floating bubbles and balloons. The atmosphere should be soft and ethereal, with a touch of fantasy. The characters should appear excited and joyful, reflecting the lyrics' theme of excitement and anticipation in each other's presence. One character could be holding a basket with the other person in it, floating like a balloon, symbolizing their elevated and carefree emotions.

가사에 매우 충실한 그림이 나왔습니다. 전체적인 느낌이 잘 표현되었습니다. 

3. 세 번째 노래입니다. 상대방에 대한 강한 끌림과 진지한 관계를 원하며, 그와 함께 있을 때 느끼는 높은 감정상태를 표현한 노래입니다. 

A vibrant, dreamy scene inspired by the song lyrics. A young couple in a modern cityscape, surrounded by neon lights that reflect their excitement and energy. The atmosphere is lively and filled with a sense of euphoria, with bright and bold colors dominating the scene. The couple is looking at each other with intense, loving gazes, their chemistry palpable. The background features elements like tall skyscrapers, digital billboards, and a clear night sky filled with stars. Everything feels like a daydream, blending reality with a touch of fantasy. The image captures the feeling of being in love and the thrill of being with someone special, with a modern, urban twist.

그림에서 두 사람의 감정은 희미하게 느껴지지만, 배경이 사이버펑크 느낌이 나는 도시로 표현되었습니다. 배경은 조금 이질적인 느낌이 듭니다. 

그런데 이 거대 사이보그(Cyborg)는 왜 나온 걸까요?

4. 네 번째 노래는 상대방에게 지금 만나고 있는 사람이 믿을 수 없는 사람이며, 더 나은 사람을 만나야 한다는 내용의 노래입니다. 

Create a dynamic and emotional illustration inspired by the lyrics of a song about confronting a dishonest relationship and seeking something better. Imagine a modern urban scene where one person is reaching out to another, offering comfort and support amidst the vibrant energy of the city. The atmosphere should be both intense and hopeful, with a mix of confrontation and encouragement.

AI에게는 어려운 개념인가 봅니다. 생뚱맞은 그림이 나왔습니다. 

5. 마지막으로 좋아하는 사람에게 다가가고 싶지만 부끄러움과 자신감 부족으로 쉽게 나서지 못하는 상황을 나타내는 노래입니다. 

A heartwarming and intimate scene inspired by the song lyrics. A young woman, feeling shy but determined, is in a cozy and charming outdoor cafe setting. The ambiance is romantic with soft, warm lighting and a hint of twilight in the background. She is dressed casually yet stylishly, sitting at a small table with a thoughtful expression, perhaps holding a cup of coffee or a notebook. The background features quaint buildings, fairy lights, and a serene atmosphere. The image captures a moment of vulnerability and courage as she contemplates expressing her feelings. Her eyes reflect a mix of shyness and hope, creating an overall mood of tender anticipation and gentle romance.

부끄러워한다는 느낌은 전혀 들지 않는 그림이 그려졌습니다. 오른쪽 그림은 사랑보다는 공포와 걱정이 느껴집니다.  

Conclusion

노래 가사를 SD용 프롬프트로 만들어 그림을 그렸습니다. 하지만 가사만을 이용해서 그린 그림은 원래 노래의 분위기와 상황을 잘 표현하지 못하는 경우가 많습니다. 이는 멜로디가 제외되었기 때문일 수도 있고, AI가 중요시하는 단어와 분위기가 원래 노래와 다를 수 있기 때문일 수도 있습니다. 어찌 되었든, 가사만을 이용해 그린 그림은 원래의 노래를 완전히 표현하지 못하는 경우가 많습니다. 

그럼에도 불구하고, SD로 그린 그림들은 원래 이미지나 분위기와는 상관없이 다양한 배경, 표정, 여러 가지 상황을 담고 있습니다. SD를 이용해 그림을 그리다 보면 아이디어가 부족해질 수 있는데, 이때 노래 가사로 만든 프롬프트들이 다양한 이미지를 만들어주기 때문에 또 다른 의미가 있다고 할 수 있습니다. 

멋지고 화려한 그림을 그리고 싶은데 좋은 아이디어가 떠오르지 않는다면, 노래 가사를 이용해 보세요. 다양한 그림을 그릴 수 있을 것입니다. 

※ 위에서 선택한 노래는 음원 차트의 상위권에 있는 한 그룹의 곡들입니다. 어떤 그룹의 어떤 노래일까요?

Additional Illustrations