fonction dont la dérivée tends vers 0

[jojo]

Oui, bien sur, mais pas avec la théorie de Riemann (celle vue en sup).
Sur un compact (fermé borné) une fonction est Riemann intégrable si et seulement si elle est continue sauf, peut être, sur un ensemble de mesure nulle.

Sans connaître la théorie de la mesure, ce n'est pas difficile de définir ce qu'est un ensemble de mesure nulle sur R (ou R^n).

Par exemple, la fonction définie sur [0,1] qui vaut 1 sur les rationnels et 0 sinon n'est pas intégrable au sens de Riemann, car justement la fonction est discontinue partout. La manière la plus simple de le montrer, est de voir que l'intégrale supérieure diffère de l'intégrale inférieure. La première valant 1, la seconde 0 (c'est facile à montrer en revenant à la définition et en utilisant la densité des rationnels et des irrationnels dans R).

On peut construire beaucoup d'autres intégrales, notamment on peut construire l'intégrale de Lebesgue, c'est assez compliqué et ca demande beaucoup de connaissances, notamment en théorie de la mesure, mais qu'importe, voyons la mesure d'un ensemble comme le poids que l'on donne à un certain ensemble, avec certaines règles (sous additivité entre autre).
Par exemple, la mesure naturelle que l'on donnerait à un ensemble [a,b] où a<b serait b-a, ce qui correspond à la longueur de [a,b].
Si on se donne certaines règles de base sur ce qu'est une mesure, on peut très facilement montrer que la mesure d'un singleton est nul. Comprendre, son poids est nul. Très facilement, on arrive à généraliser et à montrer que finalement les ensembles dénombrables sont également de poids (mesure de Lebesgue) nul.

Avec la mesure on peut construire l'intégrale, grosso modo, si on intègre f sur un ensemble X compact, on affecte f du poids "mesure(X)", et on fait la somme de tous les poids.
Puisque la mesure d'un ensemble dénombrable est nulle, on peut facilement voir que si M est dénombrable, alors l'intégrale de f sur X est la même que celle de f sur X\M.
Plus précisemment dans notre exemple, si l'intégrale de notre fonction à du sens, alors elle vaut précisemment la même chose que l'intégrale uniquement sur les irrationnels. Sur les irrationnels, notre fonction est nulle, ainsi l'intégrale est tout simplement nulle (si on donne préalablement du sens à notre intégrale).

Pour donner du sens à une intégrale, il faut définir par exemple, ce que l'on appelle les fonctions mesurables. Ce sont tout simplement les fonctions f dont l'image réciproque d'un ensemble mesurable par f est un ensemble mesurable.
Reste à savoir ce qu'est un ensemble mesurable.
Les ensembles mesurables dans la théorie de la mesure jouent le même rôle que les ouverts (et que les fermés) jouent dans la topologie générale.
Pour l'intégrale "classique" est mesurable, tout ensemble que l'on peut obtenir comme union, ou intersection dénombrable d'ouverts ou de fermés (grosso modo). La collection de ces ensembles est appelée tribu, (ou sigma-algèbre) de Borel. Les ensembles sont appelés les boréliens.

J'ai fait un petit topo rapide de ce que c'était. Evidemment rien n'est vraiment rigoureux, mais j'ai jeté les idées principales. Si tu veux un bon bouquin qui parle de ca, évidemment je ne peux que te conseiller le Rudin (et je ne te conseille cependant pas de l'acheter tout de suite, vu qu'il est cher et qu'il ne sert pas dans la vie d'un taupin). Sinon le Bartle est pas mauvais non plus.

Remarque:
Avec cette construction de l'intégrale, celle ci dépend de la fonction et de la mesure. Ainsi, on peut définir une intégrale dépendant d'une autre mesure, et le résultat obtenu sera alors complétement différent.
Par exemple, rien ne nous empèche de définir l'intégrale de f par rapport à la mesure de Dirac, celle qui à un sous ensemble X de R par exemple, associe 1 si 0 est dans X, et 0 sinon. Dans ce cas, que vaut l'intégrale de f sur X?
Autre chose, si on a un sous ensemble fini de R, notons le X. Une mesure sur X peut être donnée par card(X). Dans ce cas, que vaut l'intégrale de f sur X?
Etc.
Bref, on peut donner autant de sens à l'intégrale d'une fonction, que l'on veut.

En espérant avoir été le plus clair possible.
A+