Problème

Nous essayons d’optimiser notre application de serveur de données. Il stocke les stocks et les devis sur une firebase database mysql. Et nous ne sums pas satisfaits des performances de récupération.

Le contexte

- database - table stock : around 500 lines - table quote : 3 000 000 to 10 000 000 lines - one-to-many association : one stock owns n quotes - fetching around 1000 quotes per request - there is an index on (stockId,date) in the quote table - no cache, because in production, querys are always different - Hibernate 3 - mysql 5.5 - Java 6 - JDBC mysql Connector 5.1.13 - c3p0 pooling 

Tests et résultats

Protocole

• Les temps d’exécution sur le serveur mysql sont obtenus en exécutant les requêtes SQL générées dans la ligne de commande mysql.
• Le serveur est dans un contexte de test: aucune autre lecture de firebase database, aucune écriture de firebase database
• Nous récupérons 857 devis pour le stock AAPL

Cas 1: Hibernate avec association

Ceci remplit notre object stock avec un object 857 quotes (tout est correctement mappé dans hibernate.xml)

 session.enableFilter("after").setParameter("after", 1322910573000L); Stock stock = (Stock) session.createCriteria(Stock.class). add(Ressortingctions.eq("stockId", stockId)). setFetchMode("quotes", FetchMode.JOIN).uniqueResult(); 

SQL généré:

 SELECT this_.stockId AS stockId1_1_, this_.symbol AS symbol1_1_, this_.name AS name1_1_, quotes2_.stockId AS stockId1_3_, quotes2_.quoteId AS quoteId3_, quotes2_.quoteId AS quoteId0_0_, quotes2_.value AS value0_0_, quotes2_.stockId AS stockId0_0_, quotes2_.volume AS volume0_0_, quotes2_.quality AS quality0_0_, quotes2_.date AS date0_0_, quotes2_.createdDate AS createdD7_0_0_, quotes2_.fetcher AS fetcher0_0_ FROM stock this_ LEFT OUTER JOIN quote quotes2_ ON this_.stockId=quotes2_.stockId AND quotes2_.date > 1322910573000 WHERE this_.stockId='AAPL' ORDER BY quotes2_.date ASC 

Résultats :

• Hibernate n’a pas pu localiser le paramètre nommé, même s’il existe
• définir une requête nommée dans orm.xml avec jpa et hibernate
• jpa retirer l’enfant de la collection
• Hibernate cache de second niveau avec Spring
• Comment mettre en œuvre la pagination générale

• Temps d’exécution sur le serveur mysql: ~ 10 ms
• Temps d’exécution en Java: ~ 400ms

Cas 2: Hibernate sans association sans HQL

En songeant à augmenter les performances, nous avons utilisé ce code qui ne récupère que les objects de guillemets et nous les ajoutons manuellement à un stock (afin que nous ne récupérions pas des informations répétées sur le stock pour chaque ligne). Nous avons utilisé createSQLQuery pour minimiser les effets des alias et des erreurs HQL.

 Ssortingng filter = " AND q.date>1322910573000"; filter += " ORDER BY q.date DESC"; Stock stock = new Stock(stockId); stock.addQuotes((ArrayList) session.createSQLQuery("select * from quote q where stockId='" + stockId + "' " + filter).addEntity(Quote.class).list()); 

SQL généré:

 SELECT * FROM quote q WHERE stockId='AAPL' AND q.date>1322910573000 ORDER BY q.date ASC 

Résultats :

• Temps d’exécution sur le serveur mysql: ~ 10 ms
• Temps d’exécution en Java: ~ 370ms

Cas 3: JDBC sans Hibernate

 Ssortingng filter = " AND q.date>1322910573000"; filter += " ORDER BY q.date DESC"; Stock stock = new Stock(stockId); Connection conn = SimpleJDBC.getConnection(); Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery("select * from quote q where stockId='" + stockId + "' " + filter); while(rs.next()) { stock.addQuote(new Quote(rs.getInt("volume"), rs.getLong("date"), rs.getFloat("value"), rs.getByte("fetcher"))); } stmt.close(); conn.close(); 

Résultats :

• Temps d’exécution sur le serveur mysql: ~ 10 ms
• Temps d’exécution en Java: ~ 100ms

Nos compréhensions

• Le pilote JDBC est commun à tous les cas
• Il y a un coût de temps fondamental dans la conduite JDBC
• Avec des requêtes SQL similaires, Hibernate consacre plus de temps que le code JDBC pur à la conversion de jeux de résultats en objects.
• Hibernate createCriteria, createSQLQuery ou createQuery ont le même coût en temps
• Dans la production, où nous avons beaucoup d’écriture en même temps, la solution JDBC pure semblait être plus lente que la solution Hibernate (peut-être parce que nos solutions JDBC n’étaient pas regroupées)
• Mysql sage, le serveur semble se comporter très bien, et le coût en temps est très acceptable

Nos questions

• Existe-t-il un moyen d’optimiser les performances du pilote JDBC?
• Et Hibernate bénéficiera-t-il de cette optimisation?
• Existe-t-il un moyen d’optimiser les performances d’Hibernate lors de la conversion d’ensembles de résultats?
• Sommes-nous confrontés à quelque chose de non réglable en raison de la gestion fondamentale des objects et de la mémoire Java?
• Sommes-nous manquons un point, sums-nous stupides et tout cela est vain?
• Sommes-nous français? Oui.

Votre aide est la bienvenue.

• Remplir les tables de révision envers avec les données existantes d’entités Hibernate
• Meilleures pratiques pour l’annulation des transactions au spring 3 / Hibernate
• Niveaux d’isolation de transaction variables par demande
• Spécifiez le nom de la contrainte de clé étrangère lorsque vous utilisez Map et @ElementCollection avec Hibernate
• Stratégies de gestion des problèmes de concurrence causés par des objects de domaine obsolètes (Grails / GORM / Hibernate)

 SELECT current_timestamp() 

 SELECT 1 + 1