Commit c985f9f2 authored by Morten Nyang Nordseth's avatar Morten Nyang Nordseth
Browse files

Initial commit

parents
# Build files for deployment
target/
# Created by https://www.gitignore.io/api/linux,windows,intellij+all,visualstudiocode
# Edit at https://www.gitignore.io/?templates=linux,windows,intellij+all,visualstudiocode
### Intellij+all ###
# Covers JetBrains IDEs: IntelliJ, RubyMine, PhpStorm, AppCode, PyCharm, CLion, Android Studio and WebStorm
# Reference: https://intellij-support.jetbrains.com/hc/en-us/articles/206544839
# User-specific stuff
.idea/**/workspace.xml
.idea/**/tasks.xml
.idea/**/usage.statistics.xml
.idea/**/dictionaries
.idea/**/shelf
# Generated files
.idea/**/contentModel.xml
# Sensitive or high-churn files
.idea/**/dataSources/
.idea/**/dataSources.ids
.idea/**/dataSources.local.xml
.idea/**/sqlDataSources.xml
.idea/**/dynamic.xml
.idea/**/uiDesigner.xml
.idea/**/dbnavigator.xml
# Gradle
.idea/**/gradle.xml
.idea/**/libraries
# Gradle and Maven with auto-import
# When using Gradle or Maven with auto-import, you should exclude module files,
# since they will be recreated, and may cause churn. Uncomment if using
# auto-import.
# .idea/modules.xml
# .idea/*.iml
# .idea/modules
# CMake
cmake-build-*/
# Mongo Explorer plugin
.idea/**/mongoSettings.xml
# File-based project format
*.iws
# IntelliJ
out/
# mpeltonen/sbt-idea plugin
.idea_modules/
# JIRA plugin
atlassian-ide-plugin.xml
# Cursive Clojure plugin
.idea/replstate.xml
# Crashlytics plugin (for Android Studio and IntelliJ)
com_crashlytics_export_strings.xml
crashlytics.properties
crashlytics-build.properties
fabric.properties
# Editor-based Rest Client
.idea/httpRequests
# Android studio 3.1+ serialized cache file
.idea/caches/build_file_checksums.ser
# JetBrains templates
**___jb_tmp___
### Intellij+all Patch ###
# Ignores the whole .idea folder and all .iml files
# See https://github.com/joeblau/gitignore.io/issues/186 and https://github.com/joeblau/gitignore.io/issues/360
.idea/
# Reason: https://github.com/joeblau/gitignore.io/issues/186#issuecomment-249601023
*.iml
modules.xml
.idea/misc.xml
*.ipr
# Sonarlint plugin
.idea/sonarlint
### Linux ###
*~
# temporary files which can be created if a process still has a handle open of a deleted file
.fuse_hidden*
# KDE directory preferences
.directory
# Linux trash folder which might appear on any partition or disk
.Trash-*
# .nfs files are created when an open file is removed but is still being accessed
.nfs*
### VisualStudioCode ###
.vscode/*
!.vscode/settings.json
!.vscode/tasks.json
!.vscode/launch.json
!.vscode/extensions.json
### VisualStudioCode Patch ###
# Ignore all local history of files
.history
### Windows ###
# Windows thumbnail cache files
Thumbs.db
ehthumbs.db
ehthumbs_vista.db
# Dump file
*.stackdump
# Folder config file
[Dd]esktop.ini
# Recycle Bin used on file shares
$RECYCLE.BIN/
# Windows Installer files
*.cab
*.msi
*.msix
*.msm
*.msp
# Windows shortcuts
*.lnk
# End of https://www.gitignore.io/api/linux,windows,intellij+all,visualstudiocode
# This file is a template, and might need editing before it works on your project.
# Full project: https://gitlab.com/pages/doxygen
image: alpine
pages:
script:
- apk update && apk add doxygen
- doxygen docs/Doxyfile
- mv docs/html/ public/
artifacts:
paths:
- public
only:
- master
FROM jetty:latest
COPY ./target/chat.war /var/lib/jetty/webapps/root.war
\ No newline at end of file
pipeline {
agent any
tools {
maven 'M3'
}
stages {
stage('Test') {
steps{
echo 'Test'
sh 'docker-compose -f docker-compose-test.yaml up -d'
withEnv(["DB_CHOICE=localhost"]) {
sh 'mvn clean test'
}
}
}
stage('Build') {
steps{
echo 'Build'
sh 'mvn clean package -Dmaven.test.skip=true'
sh 'docker build -t devops .'
}
}
stage('Deploy') {
steps{
echo 'Deploy'
sh 'docker-compose up -d'
}
}
}
}
\ No newline at end of file
<h1>Chat applikasjon</h1>
Chat applikasjon med RESTful Java backend (JAX-RS).
## Innhold
- [Hvordan kjøre prosjektet lokalt](#hvordan-kjøre-prosjektet-lokalt)
- [JavaDocs](#javadocs)
- [Mappestruktur](#mappestruktur)
- [Endepunkter](#endepunkter)
- [Databasemodell](#databasemodell)
- [Docker og Maven](#docker-og-maven)
- [Informasjon om server](#informasjon-om-server)
- [Informasjon om klient](#informasjon-om-klient)
- [Informasjon om tester](#informasjon-om-tester)
- [Systemet som helhet](#systemet-som-helhet)
- [Porter](#porter)
## Hvordan kjøre prosjektet lokalt
For å kjøre prosjektet lokalt trenger man Maven på maskinen. Det kan lastes ned [her](https://maven.apache.org/download.cgi). Pakk ut Maven og les README som
følger med for å innstallere Maven.
For at meldingsapplikasjonen skal fungere trenger man en tilkobling til database for lokal kjøring. Drifterne setter opp databaser på VM.
I filen Databse.java må IP til VM legges til i varaiabelen "IP_TO_VM"
Når Maven er installert, og databasetilkobling er satt opp kan prosjektet kjøres med følgende kommando:
```text
mvn jetty:run
```
Her er det vikitg at man står i rot-katalogen når man kjører kommandoen.
Meldingsapplikasjonen er nå tilgjengelig på [http://localhost:8080](http://localhost:8080). Endringer som gjøres i
prosjektet lokalt blir automatisk oppdatert. For å stoppe kjøring av prosjektet trykk på Ctrl+C.
## JavaDocs
Ved hjelp av Gitlab-CI og Doxygen genereres JavaDocs automatisk hver gang nye endringer blir pushet til master. Deretter
blir det automatisk hostet på Gitlab Pages:
[JavaDocs](http://magnewor.pages.stud.idi.ntnu.no/devops/)
## Mappestruktur
```text
devops/
├── docs/
| └── Doxyfile
|
├── gatling/
| ├── chat/
| | └── ChatSimulation.scala
| |
| └── usernames.csv
|
├── groupChat/
| ├── GroupChatDAO.txt
| ├── GroupChatDAOTest.txt
| └── GroupChatResourceTest.txt
|
├── sql/
| └── myChat.sql
|
├── src/
| ├── main/
| | ├── java/
| | | ├── dao/
| | | | ├── Database.java
| | | | ├── GroupChatDAO.java
| | | | ├── MessageDAO.java
| | | | └── UserDAO.java
| | | |
| | | ├── data/
| | | | ├── GroupChat.java
| | | | ├── Message.java
| | | | └── User.java
| | | |
| | | ├── resources/
| | | | ├── CalculatorResource.java
| | | | ├── GroupChatResource.java
| | | | ├── MessageResource.java
| | | | └── UserResource.java
| | | |
| | | └── websockets/
| | | └── Websocket.java
| | |
| | └── webapp/
| | ├── css/
| | | ├── app.css
| | | ├── index.css
| | | ├── popupform.css
| | | └── settings.css
| | |
| | ├── js/
| | | ├── calculator.js
| | | ├── createElements.js
| | | ├── groupchat.js
| | | ├── index.js
| | | ├── message.js
| | | ├── responsive.js
| | | ├── settings.js
| | | ├── user.js
| | | └── websocket.js
| | |
| | ├── WEB-INF/
| | | └── web.xml
| | |
| | ├── app.html
| | ├── index.html
| | └── settings.html
| |
| └── test/
| └── java/
| ├── CalculatorResourceTest.java
| ├── MessageDAOTest.java
| ├── MessageResourceTest.java
| ├── UserDAOTest.java
| └── UserResourceTest.java
|
├── .gitignore
├── .gitlab-ci.yml
├── database.png
├── Dockerfile
├── Jenkinsfile
├── docker-compose-logging.yaml
├── docker-compose-test.yaml
├── docker-compose.yaml
├── glances.conf
├── installGatling
├── pom.xml
├── README.md
├── runGatling
├── runLogging
└── setupJenkins
```
## Endepunkter
Endepunkt er URI som ressurser blir tilgjengelig på. Hvert endepunkt har en funskjon der de henter, legger til, eller endrer på informasjonen som tilhører adressen.
Et typisk endepunkt som bruker en GET-forespørsel henter ut HTML-side eller annen data fra server.
| Endepunkt | Verb | Hva | Type |
| --------- | --- | --- | ---- |
| / | GET | Loginside | HTML |
| /app.html | GET | Applikasjonside | HTML |
| /settings.html | GET | Innstillingside | HTML |
| /user | GET | Hent alle brukere | Data |
| | POST | Legge til bruker | Data |
| /user/{userId} | PUT | Endre bruker | Data |
| /message/{userId1}/{userId2} | GET | Hent meldinger mellom to brukere | Data |
| /message | POST | Legge til ny melding | Data |
| /groupchat | POST | Legge til ny gruppechat | Data |
| /groupchat/{groupChatId} | GET | Hent ut et gruppechat objekt | Data |
| /groupchat/{groupChatId}/message | GET | Hent ut meldinger til en gruppechat | Data |
| | POST | Legge til ny melding | Data |
| /groupchat/user/{userId} | GET | Hent ut alle gruppechatter for en bruker | Data |
| /calculator | POST | Send inn regnestykke til kalkulatorbot | Data |
## Databasemodell
![Databasemodell](./database.png)
## Docker og Maven
Dette systemet bruker Maven. Maven er et verktøy som hjelper til å håndtere dependencies i systemet. Ved å bruke Maven
forsikrer man at alle bruker samme versjon av depencies, og at man lett kan endre de på kun et sted, dersom det
endres hva som trengs for å kjøre systemet. I tillegg brukes Maven både til å kompilere systemet og kjøre tester.
Dependencies deklareres i filen pom.xml. Filen web.xml brukes for å sette URLer i den ferdig kompilerte applikasjonen.
Docker er et verktøy som lar oss kjøre forskjellige programmer i egne konteinere for kjøring av systemet. Dette
er blant annet database, testdatabase, database klient og server som kan kjøre chat applikasjonen. Filene som brukes til dette er
Dockerfile og docker-compose. Dockerfile er en fil med oppskrift til hvordan en enkelt konteiner skal bygges. Filene
som starter med docker-compose er oppsett av flere konteinere i samme miljø. Her er også en av fordelene at man lett kan
bytte verktøy som brukes, eller versjoner av verktøyene. Ved hjelp av docker kan utviklerene enkelt levere kode og
dockerfiler til drifterene, som kun trenger å bruke dockerfilene for å kjøre og rulle ut systemet.
## Informasjon om server
Server består av fire mapper:
- dao
- data
- resources
- websocket
DAO står for Data Access Object, og brukes av systemet for å kommunisere med databasen. I dao mappa finner vi også
klassen Database, som er filen som sørger for tilkobling til databasen. Ved hjelp av dao klassene kan vi bruke java
objekter til å kommunisere med databasen.
I data mappa finner vi objektklassene som brukes i systemet. Vi har GroupChat, Message og User.
Resources er filene som brukes for kommunikasjon mellom klient og server. Her brukes rammeverket JAX-RS for å lage
webtjenester som er RESTful. I resource filene brukes det følgende annoteringer:
- @Path
- @GET
- @POST
- @PUT
- @Consumes
- @Produces
@Path bestemmer hvilke adresse ressursene skal være tilgjengelige på. @GET, @POST og @PUT setter hvilke HTTP verb metoden
svarer til. @Consumes og @Produces definerer hva metodene tar inn, og returnerer.
Websocket er nødvendig for å hente inn nye chatmeldinger etterhvert som de skrives. Alternativet til websockets er å
hele tiden sende forespørsler for å sjekke om det er noen nye meldinger tilgjengelig.
## Informasjon om klient
Klient består av tre forskjellige typer filer:
- HTML
- CSS
- JS
HTML filene er innholdet. CSS filene er utseende og utformingen. JavaScript er filene som bestemmer hvordan de
forskjellige elementene på siden reagerer på brukerinteraskjon, og brukes også til å endre innholdet på siden. Endringer
kan for eksempel være nye brukere som logger på, som må legges til i brukerlista.
## Informasjon om tester
Til testing brukes testrammeverket JUnit. I tillegg settes det opp en testdatabase med docker, slik at testene kan
kjøres opp mot denne. Når testene kjøres blir databasen slettet, og opprettet på nytt. Dette forsikrer at resultatet av
testene ikke er avhengig av innholdet på databasen, og at den andre databasen ikke fylles opp av testdata.
Testene kan kjøres lokalt med kommando:
```text
mvn clean test
```
Her er det vikitg at man står i rot-katalogen når man kjører kommandoen.
Dette krever at Maven er innstallert på maskinen. Alternativt kan testene også kjøres i IDE.
## Systemet som helhet
Klient-siden bruker endepunkter for å kommunisere med server. På server peker de forskjellige endepunktene på metoder i
resource klassene. Resource klassene bruker DAO klassene for å kommunisere med databasen. For å sende data til og motta
data fra databasen bruker DAO klassene objektklasser. For å varsle andre brukere om nye hendelser i sanntid, brukes
websockets.
## Porter
| Port | Hva |
| ------ | ------ |
| 80 | Chat applikasjon |
| 3306 | Test database |
| 3307 | Database til lokal kjøring |
| 3308 | Database til lokal testing |
| 8070 | Adminer (Databaseklient) |
| 8080 | Jenkins |
\ No newline at end of file
# Use root/example as user/password credentials
version: '3.1'
services:
local-db:
image: mysql
command: --default-authentication-plugin=mysql_native_password
restart: always
volumes:
- ./sql:/docker-entrypoint-initdb.d
environment:
MYSQL_ROOT_PASSWORD: example
ports:
- 3307:3306
local-test-db:
image: mysql
command: --default-authentication-plugin=mysql_native_password
restart: always
volumes:
- ./sql:/docker-entrypoint-initdb.d
environment:
MYSQL_ROOT_PASSWORD: example
ports:
- 3308:3306
adminer:
image: adminer
restart: always
ports:
- 8070:8080
\ No newline at end of file
version: '3.1'
services:
grafana:
image: grafana/grafana
restart: always
ports:
- 3000:3000
influxdb:
image: influxdb
restart: always
environment:
INFLUXDB_DB: glances
ports:
- 8086:8086
# Use root/example as user/password credentials
version: '3.1'
services:
test-db:
image: mysql
command: --default-authentication-plugin=mysql_native_password
restart: always
volumes:
- ./sql:/docker-entrypoint-initdb.d
environment:
MYSQL_ROOT_PASSWORD: example
ports:
- 3306:3306
\ No newline at end of file
# Use root/example as user/password credentials
version: '3.1'
services:
db:
image: mysql
command: --default-authentication-plugin=mysql_native_password
restart: always
volumes:
- ./sql:/docker-entrypoint-initdb.d
environment:
MYSQL_ROOT_PASSWORD: example
webserver:
environment:
DB_CHOICE: db
image: devops
restart: always
ports:
- 80:8080
depends_on:
- db
This diff is collapsed.
package chat
import scala.concurrent.duration._
import io.gatling.core.Predef._
import io.gatling.http.Predef._
import io.gatling.jdbc.Predef._
class ChatSimulation extends Simulation {
val httpProtocol = http
.baseURL("http://localhost")
.inferHtmlResources(BlackList(""".*\.css""", """.*\.js""", """.*\.ico"""), WhiteList())
.acceptHeader("*/*")
.acceptEncodingHeader("gzip, deflate")
.acceptLanguageHeader("no,en;q=0.9,en-US;q=0.8,nb-NO;q=0.7,nb;q=0.6")
.userAgentHeader("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36")
val headers_0 = Map(
"Content-Type" -> "application/json; charset=utf-8;",
"Origin" -> "http://localhost"
)
val headers_3 = Map(
"Accept" -> "application/json",
"Content-Type" -> "application/json",
"Origin" -> "http://localhost"
)
val uri1 = "http://localhost/api"
private val userFeeder = csv("usernames.csv").random
val scn = scenario("ChatSimulation")
.feed(userFeeder)
.exec(http("Login")
.post("/api/user")
.headers(headers_0)
.body(StringBody(
"""{
| "username": "${username}",
| "password": "passordpassord"
|}""".stripMargin))
.resources(http("Fetch users")
.get("/api/user/"))
.check(
jsonPath("$[?(@.username=='${username}')].userId").findAll.saveAs("userId")
))
.pause(6)
.exec(http("Click on Ola")
.get("/api/message/${userId(0)}/1"))
.pause(16)
.exec(http("Send msg to Ola")
.post("/api/message")
.headers(headers_3)
.body(StringBody(
"""{
| "userId1": ${userId(0)},
| "userId2": 1,
| "messageContent":"Hei fra gatling"
|}""".stripMargin)))
.pause(15)
.exec(http("Click on kari")
.get("/api/message/${userId(0)}/2"))
.pause(2)
.exec(http("Send msg to Kari")
.post("/api/message")
.headers(headers_3)
.body(StringBody(
"""{
| "userId1": ${userId(0)},
| "userId2": 2,
| "messageContent":"Hei fra gatling"
|}""".stripMargin)))
setUp(scn.inject(atOnceUsers(100))).protocols(httpProtocol)
}
This diff is collapsed.
##############################################################################
# Globals Glances parameters
##############################################################################
[global]
# Does Glances should check if a newer version is available on PyPI ?
check_update=true
# History size (maximum number of values)
# Default is 28800: 1 day with 1 point every 3 seconds (default refresh time)
history_size=28800
##############################################################################
# User interface
##############################################################################
[outputs]
# Theme name for the Curses interface: black or white
curse_theme=black
# Limit the number of processes to display in the WebUI
max_processes_display=30
##############################################################################
# plugins