요새 시맨틱 웹 검색이라는 개념의 검색서비스가 포털 사이트를 중심으로 많은 곳에서 제공되고 있는데요~

이번 포스팅에서는 시맨틱 웹 검색이 무엇인지, 그리고 이와 관련된 대표적인 사례들을 소개하면서 앞으로의 시맨틱 웹이 가지는 영향에 대해서 한번 이야기 해 볼까 합니다.

그럼 우선 시맨틱 웹에 대해서 위키디피아에 나온 정의를 통해 간단히 살펴보도록 하겠습니다.

그렇다면 지금까지 살펴본 시맨틱 웹을 기반으로 한 시맨틱 웹 검색이란 것이 어떤 의미를 가지고 있고 기존의 검색 서비스와 어떻게 다른지 사례를 통해서 살펴보도록 하겠습니다.

먼저 시맨틱 웹 검색이란 어떤 검색을 말하는 것일까요?

시맨틱(semantic) 검색은 한 마디로 뜻을 이해하는 검색입니다. 기존 키워드 기반 검색에서 진화한 차세대 검색 기술로 주목받고 있습니다. 기본적으로 사용자의 검색 의도를 분석하고, 주제를 분류해서 다양한 검색결과 값을 보여주는 형태를 시멘틱 검색이라고 합니다.

앞서 살펴봤던 시맨틱 웹에 대한 개념을 다시한번 생각해 보도록 하겠습니다. 시맨틱웹은 컴퓨터가 정보의 의미를 이해하고 이를 개념으로 정의하여 개념과 개념과의 관계를 설정한다는 것으로 사람의 판단이 개입되지 않고 자동화된 에이전트에 의해 검색이나 새로운 지식의 생성이 가능한 웹이라는 의미입니다. 시맨틱 검색을 이 개념에 비추어 본다면 검색엔진이 판단하여 검색결과의 중요성을 결정하고 검색결과에 대한 순위를 매긴 후 중요한 검색결과가 먼저 오게 조정 할 수 있음을 의미합니다.

간단한 예를 들어 보겠습니다. 검색창에 '해리포터' 라는 키워드를 쳤을 때 (스폰서링크를 제외하고) 가장 먼저 나와야 할 검색결과는 무엇일까요?  해리포터 영화? 해리포터 책? 해리포터 게임? 영화라면 1편인 마법사의 돌? 7편인 혼혈왕자?

현재 네이버나 다음음 검색결과에는 영화 해리포터 7편의 메인페이지가 가장 먼저 나오고있습니다. 왜냐하면 지난 여름 이 영화가 개봉 되었기 때문입니다. 만일 해리포터 책 8권이 나 프리퀄 같은 책이 나온다면 그 시점을 전후해서는 그 책의 정보가 가장 먼저 나올 것입니다.

이렇듯 같은 키워드에 대응하는 검색결과라도 시점이나 화제성, 트랜드에 따라 검색결과의 순위는 바뀌어야 하는데 네이버나 다음 검색에서는 이를 사람이 판단하고 순위를 수동으로 조정합니다. 그래서 통합검색을 편집검색이라고 이야기 합니다. 해리포터 책이 나와 화제가 될 때는 책이 상단으로, 영화가 화제일때는 영화를 상단으로 조정합니다.

현재 키워드 검색이 키워드가 포함된 문서를 정확히 찾아 주는 것이라면, 시맨틱 검색은 검색 의도와 어휘 의미, 문맥 등을 종합적으로 판단해 결과를 제시해 주는 것이라 할 수 있습니다.. 사람이 문서를 읽어 의미를 이해하는 것처럼 기계가 의미를 분석하여 앞말과 뒷말의 인과관계, 문맥 등을 분석해 포착하며 종합적으로 지식 체계를 만들어 놓는 것입니다.

이와 같은 추세를 반영하듯이 최근 포털 쪽에서도 사용자에게 편리한 인터넷을 제공하기 위한 시도들이 더욱 적극적으로 수행되고 있습니다.

네이트를 운영하고 있는 SK커뮤니케이션즈는 지난 9월 검색어 뿐만 아니라 그와 유사한 의미를 갖는 다른 연관어를 찾아 사용자가 찾고자 하는 결과를 도출하는 '시맨틱' 검색이라는 새로운 서비스를 도입했는데요~ 이 기법은 구문이나 문장 분석에서 중요 주제어를 추출하고, 이에 대한 값을 찾는 자연어 처리기술을 뜻하는 기술입니다.

지금까지 'A의 나이'를 검색하면 이전에는 '나이'라는 단어가 들어간 것만 검색되고 '연세' '몇살'등으로 된 문장은 결과를 내놓지 못했지만 이 서비스를 이용하면 이러한 것까지 포함해 가장 많이 검색되고 가장 최신의 검색 내용이 제공되고 있습니다. 사용자의 의도를 최대한 파악해서 서비스 하겠다는 시도인 셈입니다.

 

네이트의 시맨틱 검색은 검색 결과를 문장의 의미별로 분류하고, 각각의 분류항목별로 예상답변을 제시함으로써 이용자가 원하는 검색 결과를 더욱 빠르고 정확하게 얻을 수 있도록 지원한다고 합니다.. 또 검색어에 대한 이해를 통해 관련된 다양한 주제들이 한눈에 펼쳐지기 때문에 키워드를 조금씩 바꿔가며 반복해서 검색하던 수고를 덜어주는 것입니다.

예컨대 피겨선수 ‘김연아’를 검색했다면, 최근 소식, 라이벌, 경기기록, 수상대회, 신체사항, 선호음식, 등 수십 개의 의미 주제어가 제공되고, 수상대회에 대한 예상답변으로 세계피겨선수권대회 등이 검색 결과로 제시되는 방식입니다.

정보 검색에 대한 두 가지 접근에서 보다시피 네이트가 이용한 (시맨틱) 기술은 전산학에서 꽤 오래된 분야로서 텍스트 분석, 자연어 처리, 인공 지능 분야에서 쓰이는 시맨틱 기술이라고 합니다.

SK컴즈는 이러한 시맨틱 검색 기술을 쇼핑몰에도 활용해 가격비교, 상품 정보, 상품 평가 등 사용자가 원하는 내용을 제공하는 내용을 제공하는 기술을 개발 중이라고 합니다.

국내 최대포털 네이버를 운영하는 NHN도 영화 검색과 관련한 시맨틱 서비스를 내놓은 데 이어, 최근에는 개인별로 맞춤형 검색 결과를 선보일 수 있는 서비스 개발에도 적극적으로 나서고 있습니다.

그 중 네이버에서 온톨로지 검색 차원에서 노력한 결과로 나온 것이 영화 시맨틱 검색입니다. 영화 콘텐츠 DB의 관계성을 RDF로 추출(Exporting)한 후 URI를 기반으로 그래프를 따라 의미를 쫓아가는 방식인데 앞서 소개한 네이트의 시맨틱 검색이 텍스트 형태의 문서를 데이터를 검색하기 위한 것이라면 네이버의 시맨틱 영화 검색은 데이터베이스에 저장되어 있는 구조화된 데이터에 대한 검색이라는 점이 다릅니다.

사용자가 검색창에 입력한 검색어를 많이 포함한 문서를 찾는 텍스트 기반의 기존 검색과는 달리 검색어를 온톨로지로 정의된 의미 기반으로 분석하여 해당 검색어에 대한 정답형 검색결과를 제공합니다.

이는 미리 제작해서 만들어 두는 것이 아니라 사용자가 입력한 키워드를 분석해 데이터 간의 관계 속에서 답을 찾기 때문에 검색할 때마다 매번 새로운 검색결과를 얻을 수 있다고 합니다. 이와 같은 시맨틱 웹 검색 방식은 구조화된 지식을 담고 있는 그릇이 필수적이라고 할 수 있습니다. 포털의 경우, 영화나 음악 같은 DB를 RDF로 관계를 정하고 이를 URI 기반으로 사용자 콘텐츠와 유기적으로 엮음으로서 좀 더 의미적인 시맨틱 웹 검색이 가능할 것이라고 합니다.

위키피디아를 통해 웹에서 구조화된 데이터가 가능 하다는 것을 보여준 이후, 이를 RDF 방식으로 변환 시킨 DBPedia라는 프로젝트로 인해 크게 바뀌었습니다.  LinkedData라고 불리는 이름으로 RDF 기반으로 데이터 웹을 구조화 시키거나 RDFa나 마이크로포맷 같은 방식으로 HTML 의미 마크업을 시도하고 있는 것입니다.

구글의 스퀘어드나 MS가 인수해 Bing에 추가한 파워셋의 경우, 위키피디아의 구조화된 DB를 기반으로 하는데 시맨틱 웹 검색의 시초라할 수 있는 하키아 역시 LinkedData를 기반으로 하고 있고 일부 NLP 기술을 반반씩 섞고 있는 상태입니다.

이 밖에도 요즘 큐로보와 아울림이라고 하는 검색엔진이 시맨틱검색 서비스로 잘 알려져 있습니다.

큐로보(http://www.qrobo.com/)는 검색시 '한뼘요약'이라고 하는 공간에 검색하는 사람이 찾고자 하는 것에 가장 적합한 검색결과를 보여준다고 알려져 있습니다. 실제로 큐로보를 방문해 보면 기존 포털사이트와는 조금 색다른 검색 기능들이 많이 보였는데 그 중에서도 가장 대표적인 것이 쿼리 분류(query classification; query categorization) 기능이었습니다.

예를 들어 마이클 잭슨이라고 검색해보면 다음과 같이 연예, 문화, 음악 등으로 분류된 결과가 나옵니다. 특정 카테고리 하나만 선택하지 않고, 각각에 얼마나 속하는지 퍼센트를 보여주는 것이 합리적인 시도로 보입니다. 이러한 한뼘 검색 기능을 활용하면 특정 키워드의 단어에 대해서 내가 원하던 카타고리의 정보들을 쉽게 조회할 수 있겠다라는 생각이 듭니다.

마지막으로 소개할 아울림(http://www.owlim.com/)은 솔트룩스에서 개발한 검색엔진으로 '보이는 검색'을 지향하고 있습니다.


마이클잭슨을 검색해보면 다음과 같이 나온다.



마이클 잭슨과 연관된 키워드를 마인드맵 형식으로 보여주고 있습니다. 그런데 한가지 눈여겨 볼만한 기능으로 검색창에 마이클잭슨를 입력하는 도중에 '마이'까지 입력했을때 뜨는 자동완성기능에 추가로 인물, 기관, 지역, 인공, 기타 등으로 키워드에 속성을 부여하도 있습니다. 동음이의어의 경우 검색하고자 하는 속성을 부여하면 원하는 검색결과를 얻을 수 있을 것이다. 이와 같은 것이 시맨틱검색에서 중요하게 생각하는 메타데이터인 것입니다. 


하지만 지금까지 선보인 시멘틱 웹 검색 서비스들이 이론상 시맨틱 웹의 원래 의도를 100% 반영하서 만족스러운 결과를 제공하고 있다고 보기는 힘들것 같습니다. 짧은 시간내에 전세계의 수많은 온톨로지를 구축하기가 쉽지 않고 그 기능도 제한적일 것이기 때문이다. 오히려 시맨틱검색의 검색DB가 훨씬 적기 때문에 더 나은 검색결과를 얻기 힘든 경우도 있습니다.

네이트의 시맨틱 검색을 통해서 이 부분에 대해 잠시 살펴보도록 하겠습니다. 네이트 시맨틱 검색에 '잭슨' 이라고 쳤을 때 네이트는 마이클 잭슨에 대한 검색 결과를 주로 보여주는데 과연 사용자들이 마이클 잭슨만 검색하냐 하면 그것은 아니라는 것입니다. 영화감독인 피터잭슨이나 영화배우 사무엘 L 잭슨, 동생인 재닛 잭슨 일 수 도 있고 또 다른 가수인 잭슨 브라운일수도 있고 미술가인 잭슨 폴록 일수도 있습니다.

네이트의 시맨틱 검색에서 미국의 포크가수인 '잭슨 브라운'을 검색한 결과입니다. 잭슨 브라운과 금호생명은 어떤 관계가 있길래 잭슨브라운의 활약이라는 검색결과에 금호생명의 승리소식만 검색결과에 나올까요? 시맨틱 검색이 진정으로 구현되었다면 검색엔진은 '잭슨 브라운'이라는 단어가 '미국의 포크가수' 라는 의미로서 인식한다는 것이고 기사내에 잭슨 브라운이라는 단어는 금호생명의 '잭슨'과 '브라운' 이라는 선수이름이라고 판단 해야하므로 이 검색 결과에서 제외 시켰어야 합니다.

네이트 공식 검색블로그(http://natesearch.egloos.com/10158929) 에 따르면, 검색어 포함 매칭 방식과, 시멘틱 검색을 유기적으로 융합시켜 사용자에게 다양한 결과를 보여 주도록 한 서비스. 검색의 의미 분류를 좀더 쉽고 편하게 볼 수 있도록 디자인 된 서비스 라고 설명하고 있다.

여기에서 Key Point는. 사용자의 검색 의도 분석과, 문서 저작자의 저작의도 분석이 함께 이루워 져야 한다는 것. 사용자의 Needs 는 대부분 간단한 키워드로 이루어진 쿼리이므로, 비교적 사용자의 검색 의도 분석은 손쉬운 편이나, 장문의 글로 이루어져 있는 문서에서 작자의 의도 혹은 주체가 되는 객체를 찾아 내는 것은 쉽지 않은 일입니다.

이처럼 앞으로도 시멘틱 검색은 가야할 길이 멀다고 할 수 있습니다. 아직까지 검색의 대상이 되는 객체의 수에 한계가 있고, 더불어 분류로 보여지는 속성값들도 한계가 보인다. 특히나 가비지라고 불리는 잘못된 정보, 혹은 정형화 되지 안은 정보들이 많이 노출되어, 정확한 정보를 전달하는 것이 목적인 검색의 근본적인 목적에 부합되지 않을 수도 있습니다.

Reference

http://ko.wikipedia.org/wiki/%EC%8B%9C%EB%A7%A8%ED%8B%B1_%EC%9B%B9
http://searching.egloos.com/2443646
http://blog.creation.net/403
http://cykaneys.tistory.com/93
http://natesearch.egloos.com/10158929
http://blog.naver.com/naver_search/20093206367

"웹 프로그램(ASP.NET)을 시작할 때가 가장 기본이 되고. 중요하게 생각하는  언어는 무엇입니까? " 라고 누군가 질문을 했을 때에 뭐라고 대답하시겠습니까? 그 질문을 저에게 했다면 저는 이렇게 말씀드리겠습니다. "프로그램의 관점에  따라서 차이가 있다고 생각합니다." 라고 대답하겠습니다. 

그럼 누군가 이렇게 말하겠죠! " 닷넷으로 작업하니깐... C#이 가장 중요하고 기본이 되어야 하지 않을까요? 그담에는 HTML, JavaScript 등으로 그 중요성을 구분 할 수 있을 것 같습니다. " 물론 틀린 말은 아닙니다. 

하지만 저의 생각에는 조금 다른 부분이 있습니다! 

ASP.NET을 단순한 웹의 관점에서 보는 것이 아닌 서버프로그램으로 본다는 것입니다. 

"그걸 모르는 사람이 어디 있어" 라고 말할 수도 있겠지만... 프로그램을 시작한지 얼마되지 않은 분들은 개념적으로 이해가 잘 되지 않을 거라 생각합니다.  그이유는 HTML과 JavaScript 등 클라이언트에서 작동할 코드를 서버단계에서 만들기 때문입니다.  

질문 : 무슨소리야? 

ASP.NET으로 작업을 하신지 얼마 되지 않은 신입 개발자 분들은 이러한 부분에서 많은 혼동을 가지고 있습니다.  쉽게 말을 풀어 드리면... 이러합니다.!!!!

	"인터넷" 이라는 대형 네트웍이 생긴 이후 프로그램의 가장 기본이된 환경은 서버/클라이언트 입니다. 우리가 가장 많이 사용하는 "네이트온" 을 보더라도.... 서버에 접속하고 클라이언트들끼리 통신을 합니다. 하지만 서버와 연결을 유지하고 있기 때문에 자신의 상태 그리고 다른 사람의 상태를 쉽게 알 수 있습니다.  그럼 웹은 어떠합니까?  웹도 당연히 서버/클라이언트 모델의 프로그램입니다.  그럼 웹환경에서 서버 프로그램은 무엇으로 만들 수 있습니까?.   ASP.NET으로 만들 수 있습니다.  클라이언트 프로그램은 무엇입니까?   그 누구나 알고 있는 "브라우저"입니다.  브라우저에서 동작하는 프로그램은 무엇입니까?  현재 알고 있는 가장 흔한 자바스크립트가 있습니다.  우리가 처음 프로그램을 했을 때에는  클라이언트 프로그램은 클라이언트 프로그램에서 작업을 하고 서버프로그램은 서버에서 작업을 하였습니다. 그것이 원리라고 생각하고 있었습니다.  하지만 ASP.NET으로 작업하면서 서버에서 클라이언트에서 작동할 프로그램도 만들어야하기 때문에 슬슬 어렵고, 혼동이 되기 시작하였습니다.

정리를 하면 ASP.NET을 시작하는 모든 분들은 서버/클라이언트 라는 개념을 정확하게 이해하시고, 웹이라는 원리도 이해하셔야 합니다. 그리고 ASP.NET 특성상 서버에서 만들어할 것이  서버쪽 프로그램만이 아닌 클라이언트에 동작하는 부분까지 만들어야 한다는 점을정확하게 이해 하셔야 합니다. 

이후 이러한 내용으로 ASP.NET을 위한 준비운동 이라는 주제로 강좌를 준비 하고 있습니다.  아주 간단한 개념 이야기는 벌써 포스팅했지만... 개인 사정으로 조금 늦어지고 있습니다.  조만간 다시 글을 올리도록 하겠습니다.

http://hoons.kr/Board.aspx?Name=asptip&Mode=2&BoardIdx=12598&Key=&Value=

Written by 안재우(Jaewoo Ahn), 닷넷엑스퍼트(.netXpert)

 

지난 시간에 우리는 ASP.NET의 설치에 대해서 알아봤습니다. 여러분들 중에는 이미 이전에 ASP.NET을 설치해두신 분들도 계실 것이고, 행여나 제 글을 읽고 무작정 설치하신 분들도 계실 겁니다.

자, 그럼 일단 우리가 생각해봐야 질문은...

“ASP.NET이 대체 뭘까요?”

“내가 ASP.NET을 설치한 이유는 뭘까요? 어디다 써 먹으려고 설치하셨습니까?”

 

어떤 개발자들은 자신이 설치하는 녀석이 뭔지도 모르고 일단 설치부터 하고 보는 사람들이 많습니다. 왜? 남들이 다 하니깐. 좋은 거라고 하니깐. 새로 나온 거라고 하니깐.

ASP.NET 아키텍처 가르쳐 준다면서 왜 이런 질문을 하냐구요? 성격이랑 정체도 모르면서 얘가 왜 이런 아키텍처로 만들어 졌는지를 이해할 수 있겠습니까?

 

ASP.NET을 한 줄로 정의하자면, ‘.NET 프레임워크를 기반으로 한 웹 애플리케이션 개발 모델, 프레임워크, 관련 기술을 총칭해서 부르는 것’이라고 하겠습니다. MSDN의 정의로는 ‘엔터프라이즈 수준의 웹 응용프로그램을 최소한의 코딩으로 구축하는데 필요한 서비스를 포함하는 통합 웹 개발 모델’이라고 합니다.

 

이 정의는 간단한 내용이지만, 상당히 중요한 사항을 담고 있습니다.

첫째, ASP.NET은 .NET 프레임워크를 기반으로 한다는 점입니다. 따라서 .NET에서 제공하는 클래스 라이브러리를 사용할 수 있으며, 프로그래밍 언어로는 .NET이 제공하는 모든 언어를 사용할 수 있고, .NET 프레임워크 기반의 애플리케이션에 적용되는 모든 요소들이 ASP.NET에도 적용된다는 것입니다. 그 얘기는 .NET에 대해서 잘 알지 못하면서 ASP.NET을 잘 안다는 것은 불가능하다는 의미도 됩니다.

둘째, ASP.NET은 웹 애플리케이션을 만들기 위한 것이라는 점입니다. 따라서 일반적인 웹 애플리케이션의 특성을 그대로 가지며, 웹 애플리케이션이 수행 가능한 범위 내에서만 능력을 발휘할 수 있다는 점입니다.

셋째, ASP.NET은 ‘엔터프라이즈 수준’의 애플리케이션을 맞추는데 가장 큰 초점을 맞추고 있다는 점입니다. 따라서 간단한 애플리케이션 등을 만드는데는 최적의 개발 모델이 아닐 수도 있다는 점을 염두에 두어야 하며, 엔터프라이즈 애플리케이션을 개발할 때 고려해야 할 사항들에 대해서도 알 필요가 있다는 점입니다.

 

이 세가지가 별거 아닌 거 같지만, 이후에 ASP.NET을 이해하면서 이 3가지 사항을 잘 염두에 두고 있느냐 아니냐에 따라서 많은 차이가 나게 됩니다.

 

 

자세히 보러 가기

http://hoons.kr/Board.aspx?Name=asptip&Mode=2&BoardIdx=6992&Key=&Value=



ASP.NET 내부 변경 사항
http://hoons.kr/Board.aspx?Name=asptip&Mode=2&BoardIdx=1133&Key=&Value=

ASP.NET 2.0 시작하기
http://www.taeyo.pe.kr/Columns/View.aspx?SEQ=199&PSEQ=11&IDX=0

ASP.NET Features
http://www.taeyo.pe.kr/Columns/View.aspx?SEQ=57&PSEQ=6&IDX=0