| JRI | Rserve | Rsession | |
|---|---|---|---|
| Documentation | 부족 (중) | 부족 (상) | 부족 (하) |
| API | 부족 (중) | 부족 (상) | 부족 (하) |
| Installation | 쉬움 (상) | 보통 (하) | 보통 (중) |
| Configuration | 쉬움 (상) | 보통 (하) | 보통 (중) |
| Programming | 쉬움 (상) | 보통 (하) | 보통 (중) |
| Community | 부족 (중) | 부족 (상) | 없음 (하) |
| Server/Client | O | O | |
| Windows | O | O |
Friday, January 2, 2015
JRI vs. Rserve vs. Rsession
RabbitMQ vs. ActiveMQ
- Web Search
- Review
- Messaging Protocols
ActiveMQ RabbitMQ AMQP 1.0 0-8, 0-9, 0-9-1 MQTT 
OpenWire - REST STOMP STOMP over Websockets XMPP Over Gateway - Client Interfaces
ActiveMQ RabbitMQ C C++ - Erlang - Haskell - Java JMS - Java proprietary .NET - Objective-C - - Perl - PHP - Python - Ruby - - Performance Test 1 (the lower the better)
- Performance Test 2
- send and receive with MQTT QOS 1
- ActiveMQ NIO
- RabbitMQ
- ActiveMQ NIO
- send and disconnect, receive with MQTT QOS 0
- ActiveMQ NIO
- RabbitMQ
- ActiveMQ NIO
- send and receive with MQTT QOS 1
- Reference
Kafka vs. RabbitMQ vs. ActiveMQ
- Web Search
- Producer Test
- Result
- Reason
- Kafka producer doesn’t wait for acknowledgements from the broker and sends messages as faster as the broker can handle
- Kafka has a more efficient storage format. On average, each message had an overhead of 9 bytes in Kafka, versus 144 bytes in ActiveMQ. This is because of overhead of heavy message header, required by JMS and overhead of maintaining various indexing structures. LinkedIn observed that one of the busiest threads in ActiveMQ spent most of its time accessing a B-Tree to maintain message metadata and state
- Result
- Consumer Test
- Result
- Reason
- Kafka has a more efficient storage format; fewer bytes were transferred from the broker to the consumer in Kafka
- The broker in both ActiveMQ and RabbitMQ containers had to maintain the delivery state of every message. LinkedIn team observed that one of the ActiveMQ threads was busy writing KahaDB pages to disks during this test. In contrast, there were no disk write activities on the Kafka broker. Finally, by using the sendfile API, Kafka reduces the transmission overhead
- Result
- Reference
Shiny
- Shiny 소개
- R를 사용하여 웹 응용프로그램을 빌드할 수 있도록 우아하고 강력한 웹 프레임워크를 제공하는 오픈 소스 R 페케지
- HTML, CSS, JavaScript에 대한 지식이 없이 분석을 상호적인 웹 응용프로그램을 통하여 진행할 수 있도록 도움
- Shiny 특징
- 세련된 문서
- 설치부터 Shiny의 큰 틀까지 알수 있는 사용 지침서
- 기본부터 고급 개발을 위한 문서
- 기타 서비스들에 대한 상세한 문서
- 많은 개발 관련 참고 문서
- 세련된 디자인
- 깨끗한 기본 디자인
- 웹 기술을 사용하여 고급 디자인 가능
- Gallery: 많은 앱의 소스가 공유되여 있음
- shinyapps.io
NOTE:- 아래 주소로 가면 제가 올린 demo 앱을 사용하여 볼 수 있음
- https://mungeol.shinyapps.io/demo/
- ID: andy, PW: andy
- Shiny 웹 앱 관리를 위한 PaaS
- 앱을 cloud에 배치하여 사용 가능
- 인증 기능 제공
- shinyapps 포럼: https://groups.google.com/forum/?hl=en#!forum/shinyapps-users
- Shiny Server
- Shiny 앱 배치를 위하여 특별히 디자인 된 웹 서버를 빌드하는 백 앤드 프로그램
- 제어된 환경에 앱을 배치하기에 앱과 관련 데이터는 항상 사용자의 통제하에 있음
- 인터넷을 통하여 앱 사용이 가능하도록 선택 가능
- 인증 기능 제공 (Pro 버전)
- 앱 사용에 관한 정보 보여주는 관리자 대시보드를 제공 (Pro 버전)
- 앱 보안을 위하여 SSL/HTTPS 사용 (Pro 버전)
- RStudio 부터의 우선 지원 (Pro 버전)
- 매개 앱의 자원 사용에 대한 제어 (Pro 버전)
- 무/유료 비교
Open source Edition Professional Edition Overview - Great for hosting lightweight public applications
- Does not support authentication or SSL
- Single R process per application
- All of the features of open source; plus:
- Perfect for workgroups and enterprises
- Supports authentication and SSL
- Includes admin dashboard with both realtime and historical performance data
- Can use multiple R processes per app
Support Community forums only - Priority Email Support
- 8 hour response during business hours (ET)
License Open Source AGPL v3 Commercial Server License Pricing Free - 0 concurrent connections: $9,995/server/year
- 200 concurrent connections: $24,995/server/year*
Deploy Shiny applications to the Internet O O Move computation close to the data O O Host multiple applications on a single server O O Deploy Shiny applications behind firewalls O O Password file authentication O LDAP and Active Directory authentication O Group based authorization O SSL support O Scale applications across multiple processes O View and manage active sessions O Allocate resources on a per application basis O Define application concurrency limits O System performance and resource metrics O Per application: Usage, performance, and resource metrics O Health check end point O
- 지원
- 커뮤니티 지원
- 세일즈 지원 (유료 버전 사용 시)
- 세련된 문서
- 관련 정보
RPostgreSQL
- Installation
- install.packages("RPostgreSQL")
- library(RPostgreSQL)
- Driver
- drv <- dbDriver("PostgreSQL")
- dbListConnections(drv)
- dbGetInfo(drv)
- summary(drv)
- dbUnloadDriver(drv)
- Connection
- con <- dbConnect (drv, user ="tester", password ="tester", dbname ="testDB", host ="IP Address")
- dbGetException(con)
- dbListResults(con)
- dbListTables(con)
- dbBeginTransaction(con)
- dbRollback(con)
- dbCommit(con)
- dbDisconnect(con)
- dbExistsTable(con, "table name")
- dbRemoveTable(con,"table name")
- dbListFields(con, "table name")
- df <- dbReadTable(con, "table name")
- dbWriteTable(con, "new table name", df)
- dbGetQuery(con, "select * from tableName")
- Result Set
- rs <- dbSendQuery(con, "select * from tableName")
- dbGetStatement(rs)
- dbColumnInfo(rs)
- dbGetRowsAffected(rs)
- dbHasCompleted(rs)
- dbGetRowCount(rs)
- dbClearResult(rs)
- fetch(rs, n = 1)
- fetch(rs, n = -1)
RMySQL
- Introduction
- RMySQL is a database interface and MySQL driver for R
- The latest version will always be available here: http://cran.r-project.org/web/packages/RMySQL/index.html
- Binaries No Longer Supported
- It too difficult to keep binary versions of RMySQL up to date with the latest R version and MySQL version
- Always compiling RMySQL from the latest source packages is recommended.
- Installation (officer)
- Download Rtools from here: http://www.murdoch-sutherland.com/Rtools/
- making sure to install the correct version for your R version
- Be sure that you place the Rtools bin path in your default path so that R can invoke the compilers
- Install a MySQL client library from http://www.mysql.com or http://dev.mysql.com
- If you already installed a MySQL server, you may want to re-run the install to ensure that you also installed client header and library files
- Note that Xampp doesn't include these
- Edit or create the file Renviron.site and add the variable MYSQL_HOME which contains the location of your MySQL install
- The file typically isn't created when installing R, so you may need to create it yourself
- You will want to place it under the /etc directory in your R Home area
- If you don't know where that is, you can issue R.home() at your R prompt
- You will be adding a variable named MYSQL_HOME in variable=value syntax
- Here's an example:
- Location of Renviron.site: C:/PROGRA~1/R/R-2.11~1.0/etc/Renviron.site
- Content is: MYSQL_HOME=C:/PROGRA~1/MySQL/MYSQLS~1.0/
- Restart R and execute install.packages('RMySQL',type='source') at the R prompt
- Download Rtools from here: http://www.murdoch-sutherland.com/Rtools/
- Installation (personal)
본 장에서는 Windows에서 RMySQL를 사용하여 원격 MySQL를 연동하는 방법을 설명- Windows 정보
- Windows 7
- 사전 준비
- Rtools 설치
- MySQL Server가 설치된 원격 서버
- 설명
- Connector/C (libmysqlclient) 설치
- 다음 주소에서 다운로드: http://dev.mysql.com/downloads/connector/c/
- libmysql.dll 파일 복사
- Connector/C 설치 위치가 'C:\Program Files\MySQL\MySQL Connector C 6.1' 라고 가정
- lib 폴더에 opt 폴더를 생성 (32 bit)
- lib 폴더의 libmysql.lib 를 opt 폴더로 복사 (32 bit)
- lib 폴더에서 libmysql.dll 를 bin 폴더로 복사 (64 bit)
- R 관련 설정
- R 설치 위치가 'D:\Program Files\R\R-3.1.0' 라고 가정
- etc 폴더에 Renviron.site 파일 생성
- 다음 내용 추가: MYSQL_HOME=C:/Program Files/MySQL/MySQL Connector C 6.1
- R 시작
- 다음 명령어 실행: Sys.getenv('MYSQL_HOME')
- 반환 값: C:/Program Files/MySQL/MySQL Connector C 6.1
- RMySQL 사용
- install.packages('RMySQL',type='source')
- library(RMySQL)
- con <- dbConnect ( MySQL () , user ="계정", password ="비번", dbname ="데이타베이스", host ="IP 주소")
- dbGetQuery (con , " select * from 테이블명 ")
- Connector/C (libmysqlclient) 설치
- Windows 정보
- Reference
Rsession
- Rsession 소개
- 원격 혹은 로컬 R 세션에 접속할수 있도록 사용하기 쉬운 자바 클라스를 제공
- 백-앤드 엔진으로 Rserve 0.6을 사용하며 필요에 따라 자동으로 로컬 서버를 생성
- Rserve 보다 높은 래벨의 API 지원하며 서버 측 Rserve의 스타트업을 포함
- 멀티 세션 R engine 제공
- Windows 지원
- 설치, 설정 및 사용
NOTE:- Window를 선택한 원인은 기타 OS 설치 필요 없이 사용해 보기 위함
- 로컬 서버를 자동으로 생성하게하여 테스트
- 참고할 수 있는 문서가 없어 본인의 방법 사용하였기에 정답이 아님
- 환경 설명
- Windows 7 64bit
- R 3.1.0
- Eclipse Luna
- 파일 다운로드
- libRsession.zip 다운로드
- http://rsession.googlecode.com/files/libRsession.zip
- 압축을 풀면 Rsession 사용에 필요한 JAR 파일이 있음
- Eclipse 사용
- 관련 JAR 파일을 참고 라이버리로 사용
- R 버전 정보를 반환하는 예제 Rversion.java 사용
- Java File -> Run As -> Run Configurations -> Environment -> New -> Variable: R_HOME, Value: [R_HOME] -> Apply -> Run
- [R_HOME]: 예를 들면, D:\Program Files\R\R-3.1.0
- 예제를 실행하면 중간에 'R version 3.1.0 (2014-04-10)'를 출력한 것을 볼 수 있음
- 관련 정보
Rserve
- Rserve 소개
- 다른 언어들이 R을 설치하거나 R함수에 대한 링크 없이 R의 기능을 사용할수 있도록 하는 TCP/IP 서버
- 모든 연결들은 분리된 작업환경과 작업폴더가 있음
- 클라이언트측 구현은 C/C++, JAVA, PHP같은 언어들로 구현
- 원격접속, 인증, 파일전송을 지원
- 통계적 모델이나 시각화 도면을 위한 R 백앤드 측을 접목하는 것이 주된 사용 목적
- Rserve 특징
- 빠름: R의 초기화가 필요없음
- 바이너리 전송: 전송 프로토콕은 R 객체를 R텍스트 결과가 아닌 바이너리 데이터로 전송
- 자동 타입 젼환: 대부분의 R 데이터 타입들은 고유한 데이터 타입으로 변경
- rnorm(10)의 결과는 C/Java 에서 double[10]으로 변환
- Java 클라이언트는 RBool, RList같은 R의 새로운 타입을 위한 클래스를 제공
- 지속성:
- 각각의 연결은 자신만의 C++ 개념인 namespace와 작업 디렉토리가 있음
- 각 객체들은 연결이 종료될때까지 유지
- 클라이언트는 결과값들을 즉각적으로 가져오거나 만들 필요가 없음
- 클라이언트에 대한 독립성: 클라이언트들이 R에 연결된것이 아니기 때문에 RSJava 등등에서 발생하는 쓰레드 문제가 없음
- 안정성:
- 서버측 검증을 가진 암호화된 사용자/비밀번호 인증을 지원함으로써 기본적인 안전성을 제공
- local 연결만 받아들이도록 설정이 가능
- 파일 전송:
- 클라이언트와 서버간에 파일전송이 가능
- plot 이미지를 생성하는 등의 작업을 위한 원거리 서버로써 사용 가능
- 설정 가능:
- 설정들을 조정하기 위한 파일 제공
- 사용자인증, 원거리 접근, 파일 전송같은 특성들의 사용여부를 결정할수 있는 설정파일이 있음
- 없는 기능
- 콜백 기능 없음: 응용프로그램에서 TCP/IP와 R소켓으로 구현가능하나 Rserve에 포함되어 있지는 않음
- R에대한 telnet front-end가 아님:
- 출력된 결과는 전송되지 않음
- 빠른 속도를 위해서 바이너리 프로토콜 사용
- 항상 thread safe가 아님:
- 연결간의 thread safe 지원하지만 eval 메소드들은 thread safe 하지 않음
- eval들이 병렬 호출이 아니라는 보장이 없으면 다양한 쓰레드들이 같은 연결 사용 금지
- 설치, 설정 및 사용
NOTE: Window를 선택한 원인은 기타 OS 설치 필요 없이 사용해 보기 위함- 환경 설명
- Windows 7 64bit
- R 3.1.0
- Eclipse Luna
- Rserve 설치
- R에 Rserve 설치
- install.packages("Rserve")
- Rserve 실행
- R에서 실행
- library(Rserve)
- Rserve()
- message: Starting Rserve... "d:\PROGRA~3\R\R-31~1.0\library\Rserve\libs\x64\Rserve.exe"
- 필요 정보 확인
- 자바 클라이언트 실행에 필요한 JAR 파일 위치 확인
- system.file("java", package="Rserve")
- message: "d:/Program Files/R/R-3.1.0/library/Rserve/java"
- Eclipse 사용
- "d:/Program Files/R/R-3.1.0/library/Rserve/java" 밑의 JAR 파일을 참고 라이버리로 설정
- R 버전 정보를 반환하는 예제 Rversion.java 사용
- 환경 설명
- 관련 정보
- 홈 페이지: http://rforge.net/Rserve/
- 관련 페이퍼: http://www.ci.tuwien.ac.at/Conferences/DSC-2003/Proceedings/Urbanek.pdf
- 관련 문서:
- http://rforge.net/Rserve/doc.html
- http://rforge.net/org/doc/ (org.rosuda.REngine)
JRI
- JRI 소개
- Java/R interface
- R이 자바 응용프로그램에서 단일 쓰래드로 돌아가도록 함
- 기본적으로 R의 동적 라이버리를 자바에 로드하고 R의 기능들에 자바 API 제공
- R함수를 단순히 부르는 것 뿐만아리나 REPL를 완전히 구현하는 것도 제공
- R를 자바에 직접 링크하기 위해 JNI를 사용
- Native 코드를 사용
- 원도우, 맥, 선, 리눅수 등 자바가 가능한 모든 플랫폼 지원
- 설치, 설정 및 사용
- 일반 방법
- 환경 설명
- Windows 7 64bit
- R 3.1.0
- Eclipse Luna
- rJava 설치
- R에 rJava 설치
- install.packages("rJava")
- JRI 설치 위치 확인
- system.file("jri", package="rJava")
- message: "d:/Program Files/R/R-3.1.0/library/rJava/jri"
- PATH 설정
- Windows 7 64bit을 사용하면 'x64'까지 지정
- D:\Program Files\R\R-3.1.0\bin\x64;D:\Program Files\R\R-3.1.0\library\rJava\jri\x64
- Eclipse 사용
- JRI.jar를 참고 라이버리로 사용
- D:\Program Files\R\R-3.1.0\library\rJava\jri\JRI.jar
- D:\Program Files\R\R-3.1.0\library\rJava\jri\examples 밑의 예제를 사용하여 정상 동작 확인
- 환경 설명
- 플러그인 방법
- '일반 방법'의 '환경 설명'과 'rJava 설치'는 동일
- RJava (JRI) Eclipse Plugin
- 아래 주소에서 RJavaPlugin_1.0.0.201211041420.jar 다운로드
- https://docs.google.com/file/d/0B9RCRuTCZ_FRbnNZYVBGWlBOdUE/edit?pli=1
- [Eclipse Home]/plugins/으로 복사
- Eclipse 켜져 있으면 재시작
- Window -> Preference -> Rjava
- Path To JRI DLL Dir: D:\Program Files\R\R-3.1.0\library\rJava\jri\x64
- Path To JRI JARS: D:\Program Files\R\R-3.1.0\library\rJava\jri
- Path To R DLL Dir: D:\Program Files\R\R-3.1.0\bin\x64
- Path to JVM DLL Dir: C:\Program Files\Java\jre8\bin\server
- Java Project -> Proporties -> java Build Path -> Libraries -> Add Library -> User Library -> JRI_DIR
- 예제 사용
- Java File -> Run As -> Run Configurations -> R -> 'double click' -> Run
- 일반 방법
- 관련 정보
- 홈 페이지: http://rforge.net/JRI/
- 관련 문서: http://rforge.net/org/docs/ (org.rosuda.JRI, org.rosuda.REngine)
Subscribe to:
Posts (Atom)