Метрики тестов придумал

[singalen]

Количество классов, инстанцируемых тестом, и среднее число строк кода в них.
Хорошо покажет, где лишняя связность.

И ещё одна метрика наверняка будет очень полезной. Сейчас ведь можно ходить по синтаксическому дереву вызываемой функции/класса. Почему бы тесту не отследить значения, вычисляемые в вызываемой функции, и не посчитать, на какой % их написаны ассерты?

Задача сложная, но вполне выполнимая, даже одним человеко-программистом.
А метрика получится очень объективная и полезная. Вот мы и узнаем, что кто-то ассертит 60% вычислений, а кто-то - 3%.

Comments

[singalen]

Ну, да, про сайд-эффекты - это очень сложная тема. Но идея всё равно кажется перспективной.


> разве сейчас не так?

Сейчас, вообще-то, вообще никак. Не видел ни одной тулзы для мейнстрима, которая проверяет покрытие ассертами.
Есть шанс стать первым :D

[profuel.livejournal.com]

точно. я спутал в голове покрытие и покрытие ассертами.
Осталось попробовать написать это :)
Судя по всему, с дотНета будет проще начать, а потом уже и для Джавы подтянуть

[singalen]

"А по-моему, они одинаковые!"

[profuel.livejournal.com]

ты о покрытиях? если да, то нет :)

[singalen]

Не, я о C# и Java.

[profuel.livejournal.com]

тогда не знаю :)
без понятия, как следить за выполнением строк кода :)

[singalen]

Только статическим анализом, я полагаю.

[profuel.livejournal.com]

Как минимум можно каждым ассертом проверять путь "наверх" по стеку вызова и помечать выполненные строки, а потом сравнить это количество с общим.

[singalen]

Вернее, запоминать каверадж конкретно вызовов, вычисляющих expected value. В самом-то стеке ассерта ничего интересного нет.

[profuel.livejournal.com]

да-да, говоря "ассертом" - имел в виду внутренним кодом функции.