신디케이션 API

신디케이션 API(Syndication API)는 콘텐츠를 보유하고 있는 웹사이트와 네이버와 같은 검색 서비스 사이에 동기화 규약을 정의하는 API로 웹 개방성을 위한 핵심 기술의 하나이다. 네이버 신디케이션, 네이버 신디케이션 API, 신디케이션 등 다양한 이름으로 불린다.

개요

2010년 3월 엔에이치엔 사용자 인터페이스(NHN UI) 기술 고영수 랩장이 개발한 기술이다. 엑스프레스엔진(XpressEngine, XE)을 사용할 사이트가 자동으로 선택하도록 되어 있는 오픈 API로 현재는 네이버 개발자 센터에서 신디케이션 API를 다운로드받아 사용할 수 있다. 웹 사이트 또는 모바일 앱이 보유하고 있는 콘텐츠를 다른 웹 사이트가 이용할 수 있게 하는 방식의 하나로 콘텐츠를 보유하고 있는 웹 사이트와 앱은 정해진 형식에 따라 문서를 구성하여 해당 문서의 링크를 다른 웹사이트에 전송하고, 이를 전송 받은 웹 사이트는 해당 문서의 내용을 분석하여 사용한다.

특징

검색 콘텐츠 수집에 사용하는 기존 방식의 단점을 해결하여 웹 사이트의 부담을 줄이고 검색 서비스의 품질을 높일 수 있다. 기존에는 웹 사이트에 콘텐츠가 올라가면 각 검색엔진의 크롤링 로봇이 무작위 접근 방식을 통해 홈페이지의 콘텐츠를 읽어 웹문서로 노출시키는 형태였다. 그런데 검색 로봇을 이용하여 웹 사이트의 콘텐츠를 수집하는 네이버와 같은 검색 서비스에 무작위 크롤링 기법을 사용하면 웹 사이트에 부하를 줄 수 있고, 문서 내용을 정확하게 분석하기 어렵다. 이때 신디케이션 API를 사용하면 부하를 최소화하고, 원하는 부분만 검색 서비스에 노출시킬 수 있다.

장점

검색 서비스의 무작위 크롤링으로 인한 웹 사이트의 서버 부하가 줄어든다. 신규 콘텐츠 생성, 기존 콘텐츠 수정, 삭제 등의 결과가 즉시 검색 서비스에 반영되어 검색 엔진 로봇이 해당 웹사이트에 방문할 때가지 기다리지 않고 신속하게 콘텐츠 변경 현황을 검색 포털사이트에 반영할 수 있다. 제목, 내용, 태그 등 콘텐츠의 구조가 검색 결과에 정확히 반영된다. 핑(Ping)을 보낸 콘텐츠만 수집하므로 콘텐츠 제공자가 원하는 부분만 검색에 노출시킬 수 있다. 독립 사이트 콘텐츠의 업데이트가 실시간으로 이루어지고 정형화된 웹 문서가 수집되어 검색 정확도가 높아진다. 외부 사이트로의 트래픽 유입량이 증가해 온라인 생태계 전반의 발전에도 도움이 될 것으로 보인다.

단점

의도치 않더라도 과도한 인용이나 홍보성 글로 오인되거나 불확실성이 짙은 정책 위반이 있을 때는 일반 웹사이트 블로그 문서보다 철저한 감시의 대상이 되고 노출 제한으로 이어질 수 있다. 블로그나 사이트로부터의 불법 업로드나 인용이 제한되지 않는다. 또한, 네이버에서 개발된 기술인만큼 웹 사이트의 내용이 네이버에 문제를 일으킬 수 있다고 판단되는 경우 노출이 제한된다. 핑 방식을 사용하기 때문에 검색 서비스가 해킹당할 수도 있다. 해커에게 API KEY를 탈취당할 경우 어뷰징으로 스탠바이(Stanby) 혹은 심하면 블락(Block)을 당할 수 있다,

관련 용어

• 엔트리(entry): 웹 사이트의 한 페이지
• 피드(feed): 여러 개의 엔트리를 담고 있는 채널(예: 게시판, 카테고리) 정보
• 신디케이션 문서: 네이버에서 웹 사이트의 콘텐츠를 전달할수 있도록 하는 엑스엠엘(XML) 문서
• 핑 URL: 네이버 신디케이션 문서의 위치를 지정한 URL

프로토콜

1. 요청 웹사이트는 검색 서비스 사이트로 핑을 보낸다. 이때 핑 요청 속에는 “신디케이션 문서 URL”을 함께 전달한다.
2. 검색 서비스는 핑 요청 시 전달된 신디케이션 문서 URL로 접속한다.
3. 신디케이션 문서를 읽어본다.

사용

조건

신디케이션 API를 연동시킬 웹 사이트는 네이버 검색에서 판단하는 유해 또는 스팸/ 어뷰징 문서를 생산하지 않고, 사이트 생성 이후 6개월 이상 정상적으로 운영되고 있어야 한다. 기계적인 자동생성이 아닌 자체 콘텐츠 또는 이용자 콘텐츠로 운영되고 있어야 하고, 네이버에서 인식한 웹 문서 기준 3만 건 이상, 정상적인 자체 제작 콘텐츠 또는 이용자 콘텐츠 페이지가 일일 5천 개 수준 이상 생성 또는 수정되는 일정 수준 이상의 콘텐츠량을 가지고 있어야 한다.

시나리오

웹 사이트가 네이버 신디케이션을 사용하는 시나리오는 다음과 같다.

• 각 변경 사항에 대해 네이버 신디케이션 문서를 실시간으로 생성하는 경우, 콘텐츠가 생성되거나 수정, 삭제될 때마다 실시간으로 네이버 신디케이션 문서를 작성하고 문서의 위치를 네이버 신디케이션 서버에 핑 URL로 전송한다.
• 일정 시간 동안의 변경 사항에 대해 네이버 신디케이션 문서를 주기적으로 생성하는 경우, 일정 시간 동안 생성되거나 수정, 삭제된 콘텐츠를 내부 저장소(DB)에 저장하고, 이를 모두 포함하는 네이버 신디케이션 문서를 주기적으로 생성하여 문서의 위치를 네이버 신디케이션 서버에 핑 URL로 전송한다.
• 네이버 신디케이션 문서를 생성하는 내부 API를 호출하는 주소를 주기적으로 전송하는 경우, 생성되거나 수정, 삭제된 콘텐츠를 내부 저장소(DB)에 저장하고, 이를 입력받아 네이버 신디케이션 문서로 반환하는 내부 API를 작성한다. 이 API를 호출하는 주소를 주기적으로 네이버 신디케이션 서버에 핑 URL로 전송한다.

불가능한 경우

검색 노출을 위한 의도적인 행위, 홍보성, 어뷰징, 스팸 관련 문서의 노출에 악용되는 경우에 한하여 승인 보류 또는 승인 후 지속적인 모니터링을 통해 발견 시 차단되어 신디케이션 연동이 불가능하다. 타 사이트의 문서, 기사 등을 퍼와서 게시, 의도적인 검색노출을 위해 이슈/홍보성 글을 반복하여 게시하는 경우 또는 다수의 불특정 업체를 홍보, 광고하는 행위일 경우 역시 마찬가지이다. 불법성(도박/ 성인 음란성) 홍보를 위한 스팸 문서를 의도적으로 유포하거나 방치하는 경우, 또는 삭제 정보를 즉시 전달하지 않은 경우 또한 차단되며, 사이트 내에서 확인 가능한 제목과 본문 이외의 다른 정보를 포함하는 경우, 게시글을 확인하기 위해서 로그인을 해야 하거나 인증이 필요한 문서가 연동 정보에 포함된 경우 모두 신디케이션 연동을 할 수 없다.

준비 사항

• 사이트 소유 확인

네이버 웹 마스터 도구에서 콘텐츠를 보유하고 있는 웹 사이트의 소유자임을 확인받아야 한다. 해당 웹사이트에 위치한 콘텐츠에 대해서만 네이버 신디케이션을 사용할 수 있으며, 네이버 신디케이션 문서 또는 네이버 신디케이션 API의 호출 주소도 해당 웹사이트에 위치해야 한다. 인증키는 웹마스터도구의 설정 메뉴에 있는 신디케이션 인증키에서 확인할 수 있으며, 웹 마스터 로그인 계정 당 1개만 발급된다.

• 로봇 배제 표준에 대한 이해

사용자가 수집요청을 하더라도 robots.txt의 설정에 따라 네이버 검색 서비스가 수집요청 문서에 접근하지 못할 수 있다. 웹 사이트의 문서에 네이버 검색 로봇(서비스)의 접근이 가능하게 하려면, 홈페이지에서 설정을 해주어야 한다.

연동하는 방법

• 네이버 웹마스터도구에 로그인한다.
• 연동 사이트 목록의 “사이트 추가”를 클릭하여 사이트를 추가한다.
• 네이버 웹 마스터 도구의 연동할 사이트 도메인을 입력한다.

대표 도메인을 연결한 후 신디케이션에 연동해야하고, 도메인 등록 시 www.를 도메인 앞에 반드시 입력해야 한다,

• 웹 사이트 확인 절차

사이트의 소유정보를 확인하기 위한 확인 절차를 선택한다. 메타태그 사용 방법 , 에이치티엠엘(HTML)파일업로드 방법 중 하나를 택하면 된다.

• 메타태그 적용 시

웹 마스터 도구에서 메타태그를 복사하여 메인페이지의 헤더&메타&js의 메타태그 사이에 태그를 붙여준다.

• HTML 파일 업로드 적용 시

웹 마스터 도구에서 HTML 확인 파일을 눌러 다운받고, 받은 파일은 FTP 접속기 등을 이용하여 “www” 상위 폴더 안에 업로드 한다. HTML 확인 파일이 업로드 되었는지 확인한다.

• 발행된 토큰키(tokenkey) 확인

사이트 정보 확인이 완료된 이후 연동키를 받을 수 있다.

• 게시판 신디케이션 연동

신디케이션을 연동할 게시판 신디케이션 연동을 체크한다. 관리자> 설정변경> 게시판 관리> 연동할 게시판 선택> 전체 보기> 신디케이션 API를 찾아 체크해주면 된다.

• 웹 마스터 도구 신디케이션 연동

모든 설정이 완료되면 웹마스터 도구에서 신디케이션 연동을 선택하여 사이트를 연동할 수 있게 준비한다.

• 핑 신호 전달확인

모든 설정을 마치고 게시판 글쓰기를 할 경우 웹 마스터 도구에서 핑 사용 개수가 증가하는 것을 확인할 수 있다. 핑 사용 개수는 글을 등록, 수정, 삭제할 경우 증가한다.

참고자료

• 네이버 서치어드바이저 공식 홈페이지 - https://searchadvisor.naver.com/guide/syndication-intro
• 정미나 기자, 〈“신디케이션 API로 콘텐츠 검색 품질 높일 것”〉, 《전자신문》, 2010-05-14
• naverdev, 〈Syndication API를 소개합니다.〉, 《네이버 개발자센터》, 2010-08-09
• ADMIN_SHOP, 〈워드프레스 네이버 신디케이션의 개념과 기술적 내용〉, 《심포니소프트》, 2014-06-20
• 〈(웹드로우) 네이버 신디케이션 API (V1) 종료 안내〉, 《웹드로우》, 2014-09-03
• 뮤즈웍스, 〈네이버 웹문서 / 네이버신디케이션 V2 api연동방법〉, 《뮤즈웍스》, 2014-12-11
• 이민형 기자, 〈네이버 개발자 센터, 신디케이션 API 서비스 정식 오픈〉, 《디지털데일리》, 2020-04-01
• 〈신디케이션 연동 – 네이버 제휴 API?〉, 《옴니스로그》, 2020-09-20

같이보기

• API
• 엑스프레스엔진
• 검색 로봇
• 크롤링
• 핑

이 신디케이션 API 문서는 데이터에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

개발 : 프로그래밍, 소프트웨어, 데이터 □■⊕, 솔루션, 보안, 하드웨어, 컴퓨터, 사무자동화, 인터넷, 모바일, 사물인터넷, 게임, 메타버스, 디자인 데이터 ACID • CRUD • CSV • DAO • DB • DBMS • DB 명령어 • DCL • DDL • DML • DTO • ERD • ETL • JDBC • LOD • MDM • ODBC • RDBMS • RDF • SQL • 가상 데이터베이스 • 관계형 데이터베이스 • 그래프 • 기본키(PK) • 내부조인 • 널 • 노드 • 다이어그램 • 대리키 • 대체키 • 데이터 • 데이터댐 • 데이터마트 • 데이터 모델링 • 데이터뱅크 • 데이터베이스(DB) • 데이터베이스 언어 • 데이터 사이언스 • 데이터 사전 • 데이터 웨어하우스 • 데이터 정의어(DDL) • 데이터 제어어(DCL) • 데이터 조작어(DML) • 데이터 클러스터 • 데이터 토큰 (문자열) • 데이터 통합 • 덱 • 디비서버 • 라이트조인 • 락 • 레코드 • 레프트조인 • 로그 • 로그파일 • 로깅 • 롤백 • 리두로그 • 릴레이션 • 마스터데이터 • 마스터데이터관리(MDM) • 마이그레이션 • 메타데이터 • 배열 • 뷰 • 빅데이터 • 서브쿼리 • 수퍼키 • 순차리스트 • 스키마 • 스택 • 슬로우쿼리 • 엔티티 • 역정규화 • 연결리스트 • 외래키(FK) • 외부조인 • 인덱스 • 인덱싱 • 인젝션 • 자료구조 • 정규화 • 정보 • 조인 • 커밋 • 쿼리 • 큐 • 키 • 타깃 • 테이블 • 튜플 • 트랜잭션 • 트리 • 트리거 • 티비마이그레이터 • 풀조인 • 프로시저 • 필드 • 해시 • 해시맵 • 해시태그 • 해시테이블 • 해시함수 • 해싱 • 후보키 데이터베이스 관리 시스템 (DBMS) 관계형 데이터베이스 관리 시스템(RDBMS) • 노에스큐엘(NoSQL) • 데이터베이스 관리 시스템(DBMS) • 더비 • 디비투(DB2) • 레디스 • 마리아디비(MariaDB) • 마이에스큐엘(MySQL) • 몽고디비 • 빅테이블 • 사이베이스 • 선디비 • 알티베이스 • 액세스 • 에스큐엘(SQL) • 에스큐엘라이트(SQLite) • 에이치베이스 • 엠에스에스큐엘(MS-SQL) • 오라클(Oracle) • 인터베이스 • 인포믹스 • 카산드라 • 카우치디비 • 큐브리드 • 티베로 • 파이어버드 • 포스트그레스큐엘(PostgreSQL) • 하이퍼테이블 DB 명령어 alter • array • create • delete • drop • from • full join • grant • inner join • insert • join • left join • null • order by • outer join • rename • revoke • right join • select • truncate • update • where 시스템 연계 API • CGI • EAI • ESB • JPA • RSS • SOA • SOAP • SSL • SSO • web3.js • XML • 디비투디비(DB-to-DB) • 레스트풀(RESTful) • 상호운용성 • 시스템 인터페이스 • 신디케이션 API • 오픈 API • 웹 API • 웹개방성 • 윈도우 API • 자바 API • 크롤링 • 프라이빗 API 위키 : 자동차, 교통, 지역, 산업, 기업, 단체, 업무, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반